CN112639821A - 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆 - Google Patents

一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆 Download PDF

Info

Publication number
CN112639821A
CN112639821A CN202080004465.8A CN202080004465A CN112639821A CN 112639821 A CN112639821 A CN 112639821A CN 202080004465 A CN202080004465 A CN 202080004465A CN 112639821 A CN112639821 A CN 112639821A
Authority
CN
China
Prior art keywords
obstacle
vehicle
probability
radar
probability distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080004465.8A
Other languages
English (en)
Other versions
CN112639821B (zh
Inventor
夏浪
陈奕强
沈玉杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111422765.0A priority Critical patent/CN114282597B/zh
Publication of CN112639821A publication Critical patent/CN112639821A/zh
Application granted granted Critical
Publication of CN112639821B publication Critical patent/CN112639821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3461—Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种车辆可行驶区域检测方法，一种自动驾驶辅助系统以及一种自动驾驶车辆，方法包括：使用神经网络对摄像装置获取的图像数据进行处理以得到障碍物的第一概率分布；根据雷达回波信号的回波时间和回波宽度获得所述障碍物的第二概率分布；根据障碍物的第一概率分布和障碍物的第二概率分布，获得以概率表示的车辆可行驶区域，所述概率表示车辆不可通行的几率。自动驾驶辅助系统包括摄像装置、至少一个雷达以及处理器，系统被配置可实现方法的技术方案，自动驾驶车辆包括上述的自动驾驶辅助系统。本申请的方法融合了摄像装置和雷达这两种传感器，并将基于两种传感器所获得障碍物分布信息进行融合，融合后的车辆可行驶区域以概率的形式进行表示。从而可以全面地得到车辆周围的障碍物信息，避免了因为摄像装置的盲区或者雷达的探测范围所导致的探测盲区。

Description

一种车辆可行驶区域检测方法、系统以及采用该系统的自动 驾驶车辆
技术领域
本申请涉及自动驾驶领域，特别地，涉及车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆。
背景技术
随着5G通信和车联网技术的快速发展，自动驾驶技术已经成为研究热点。自动驾驶领域核心技术包括智能环境感知、自动导航定位、驾驶行为决策和智能路径规划控制等。在自动驾驶技术中，对于车辆的可行驶区域检测是实现自动驾驶的基础要求，车辆必须识别哪些区域是可行驶的哪些是不可行驶的才可以进行后续的路径规划。而在某些具体的自动驾驶辅助功能(例如泊车)中，可行驶区域的识别尤为重要，以自动泊车为例，它要求：(1)车辆在包含各种障碍物的环境中找到当前位置至目标库位的可行路径；(2)车辆在行驶过程中禁止与运动或静止的障碍物相碰撞。这对车载传感器系统提出了极高的需求：传感器应尽可能精准地提供当前环境中，障碍物相对于车辆自身的坐标信息，以形成车辆在环境中的可行驶区域。
现有技术一般采用传感器获取车辆周边信息并进行分析，从而得出车辆周边的可行驶环境；但是现有技术对于可行驶区域的识别往往不够准确，因此，需要一种新的车辆可行驶区域检测方法，其可以更加准确地识别车辆周围的驾驶环境以及可行驶区域。
发明内容
作为本申请的第一方面，提供一种车辆可行驶区域检测方法，包括：使用神经网络对摄像装置获取的图像数据进行处理以得到障碍物的第一概率分布；根据雷达回波信号的回波时间和回波宽度获得所述障碍物的第二概率分布；根据障碍物的第一概率分布和障碍物的第二概率分布，获得以概率表示的车辆可行驶区域，所述概率表示车辆不可通行的几率。本申请的方法融合了摄像装置和雷达这两种传感器，并将基于两种传感器所获得障碍物分布信息进行融合，融合后的车辆可行驶区域以概率的形式进行表示。从而不仅可以全面地得到车辆周围的障碍物信息，避免了因为摄像装置的盲区或者雷达的探测范围所导致的探测盲区；另一方面，以概率的形式表示车辆可行驶区域使得车辆对于周围的可行驶区域的理解更加全面，即车辆周围的区域并非要么可以行驶要么不可以行驶，对于有些区域，在一定的条件下是可以行驶的，这样，使得车辆的导航规划更加灵活。
结合第一方面的一种可能实现方式，摄像装置包括以下至少一种：鱼眼相机、广角相机、宽视野相机；雷达回波信号包括以下至少一种雷达的回波信号：超声波雷达、激光雷达、毫米波雷达，或者其它任何合适的装置或雷达均可以用于本申请技术方案。
结合第一方面的一种可能实施方式，雷达可以设置在车辆上，也可以设置在道路两侧的装置上，摄像头可以设置在车辆上，也可以设置在道路两侧的装置上；道路两侧的装置可以包括但不限于：路侧的灯柱，测速杆，通信基站塔等。车辆可以完全基于自身所设置的摄像装置和雷达完成车辆周围的障碍物信息获取，也可以基于自身设置的部分传感器(例如仅设置有摄像装置)和设置在道路两侧的装置上的其它传感器共同完成车辆周围的障碍物信息获取。
结合第一方面的另一种可能实现方式，可以使用概率栅格地图的形式来表示识别出的车辆可行驶区域，或者车辆不可通行的几率，在概率栅格地图中，每个栅格均包括一个概率值，该概率值用以指示该栅格可以被车辆行驶的几率，通过概率栅格地图，可以清楚地表达车辆周围的可行驶区域的概率分布，从而为后续的路径规划提供准确的前置依据。概率栅格地图可以在车辆的显示装置(例如但不限于驾驶座舱的中控屏)上显示，从而直观地为驾驶员提供参考指示；概率栅格地图也可以被发送给车辆的自动驾驶辅助系统以使得自动驾驶辅助系统获得车辆周围的障碍物信息。
结合第一方面的另一种可能实现方式，可以使用神经网络对经由鱼眼相机所获取的图像数据进行语义分割处理，具体地，可以先将图像变换处理为俯视图再进行语义分割处理，变换成俯视图后可以全面地示出车辆周围的环境。可以神经网络对变换后的图像进行语义分割处理指依据神经网络的识别判断出图像中的不同物体/人等的分类，例如可以使用神经网络判断出一张图片中的哪些部分是一幢楼房，而另外哪些部分是一辆车。更具体地，可以使用包括编码器-解码器(Encoder-Decoder)结构的神经网络来进行上述的对图像的语义分割过程，编码器使用池化层对数据进行降维，解码器使用反卷积层对数据进行升维，通过降维-升维过程，不仅可以对图像进行语义分割，还可以尽可能地保留图像的细节。通过上述的神经网络对图像的语义分割过程，可以对车辆周围环境的物体/人进行识别，从而可以更好地判断车辆周围障碍物分布。
结合第一方面的另一种可能实施方式，可以使用时间上相邻或者相间隔的多帧图像输入神经网络进行识别，使用时间上相邻或者相间隔的多帧图像，可以利用同一物体在不同图像帧中的视差信息作为神经网络的识别特征，从而可以使得神经网络可以更好地识别图像中的物体，神经网络的输出包括障碍物类型，基于障碍物类型即可确定障碍物第一概率分布。
结合第一方面的另一种可能实施方式，在对神经网络的训练过程中，可以使用障碍物贴图法。所谓障碍物贴图法，是指在神经网络的训练图像中，人工地“贴入”靠近车辆的障碍物，通过这种方法，可以使得神经网络的训练过程中可以获取较多的靠近车辆的障碍物识别信息，从而在后续如果在车辆周围真正出现障碍物的时候，不至于由于训练集不包括这样(靠近车辆的障碍物)的数据所导致的无法识别或者识别错误问题。
结合第一方面的另一种可能实施方式，神经网络的损失函数中，对于较小的障碍物的损失函数给予更高的权重，通过这种设置，可以使得神经网络对于较小的障碍物的识别更加“敏感”，因为在实际中，大多数的车辆碰撞并不是由于较大的障碍物(例如：其它车辆)而是较小的障碍物(例如：路边的地锁等)所导致的。
结合第一方面的另一种可能实施方式，使用分布在车身周围的多个雷达来获取车辆周围的障碍物的回波信号和回波时间。如果雷达使用超声雷达并且超声雷达环绕车身设置，那么，如果障碍物在车辆右侧，则使用车身右侧的超声雷达，如果障碍物在车辆左侧，则使用车身左侧的超声雷达，如果雷达是激光雷达并设置在车顶，则可以依据车顶的激光雷达来获取车辆周围360度范围内的障碍物信息。雷达的数目可以依据具体需求而设置，一般而言，在一辆车辆上，可以设置6-16个超声雷达，和/或1-4个激光雷达，和/或1-4毫米波雷达。基于获得的回波信号和回波时间，依据雷达波速和几何法，即可确定障碍物中心在车辆参考坐标系中的坐标值。
结合第一方面的另一种可能实施方式，可以使用单个雷达的回波宽度和回波时间来确定障碍物的几何尺寸，因为障碍物不可能是几何意义上的“点”，它必定具有一定的几何尺寸，而同一雷达发射的声波/电磁波经过障碍物不同位置反射回来后的时间会不同，基于回波宽度和不同的回波时间，可以大体上确定障碍物的尺寸。在大体上确定了障碍物的尺寸之后，可以将障碍物抽象/简化处理为半径为r的圆，圆心即是障碍物中心在车辆参考坐标系中的坐标值，并以自圆心为中心，圆周为边缘，线性递减地自圆心向圆周分布概率。圆心的坐标即是障碍物的中心在车辆参考坐标系中的坐标值，圆心处的概率最大，圆周处的概率最小。
结合第一方面的另一种可能实施方式，可以使用融合权重函数结合基于所述摄像头和所述雷达所生成的障碍物概率分布，以得到概率栅格地图，具体地，可以选择融合权重函数：
Figure BDA0002936082080000031
其中dmax表示雷达所能探测的边界距离。
融合的目标栅格点的概率值为：
P＝W·PIPM+(1-W)·PUSS
PIPM表示基于摄像头所获得的障碍物概率分布；PUSS表示基于雷达所得的的障碍物概率分布。摄像头可以包括鱼眼相机，雷达可以包括超声雷达、激光雷达、毫米波雷达中的至少一种。
第二方面，本申请实施例还提供一种自动驾驶辅助系统，该系统包括：摄像装置，所述摄像装置配置为可获取图像数据；至少一个雷达，所述雷达配置为可获取雷达回波信号；处理器，所述处理器配置为可执行：使用神经网络对摄像装置获取的图像数据进行处理以得到障碍物的第一概率分布；根据雷达回波信号的回波时间和回波宽度获得所述障碍物的第二概率分布；根据所述障碍物的第一概率分布和所述障碍物的第二概率分布，获得以概率表示的车辆可行驶区域，所述概率表示车辆不可通行的几率。
可以理解的是，第二方面提供的系统对应于第一方面提供的方法，故第二方面各实现方式以及达到的技术效果可参见第一方面各实现方式的相关描述。
结合第二方面的另一种可能实施方式，系统还包括显示装置，显示装置配置为可显示概率栅格地图。
第三方面，提供一种自动驾驶车辆，其包括前述第二方面的自动驾驶辅助系统。
第四方面，本申请实施例提供一种计算机可读存储介质，包括指令集，所述指令集可以被处理器执行以实现前述第一方面任意一种实现方式所述的方法。
本申请的各种实施例提供了一种车辆可行驶区域检测方法，自动驾驶辅助系统以及包括该系统的自动驾驶车辆。本申请实施例使用了多种传感器来获取车辆周围的环境和障碍物信息，并且依据不同传感器的不同特性来融合所获取的信息，并将这些信息以概率栅格地图的形式呈现，从而可以更加准确地识别车辆周围的可行驶区域。另一方面，本申请利用了障碍物视差信息、障碍物贴图等方式，使得本申请的技术方案可以具有较高的可泛化性，广泛适用于多种场景，并且不依赖于训练数据，因此本申请技术方案具有鲁棒性，可以广泛地适用于不同等级的自动驾驶方案、系统、车辆。另一方面，本申请技术方案尤其适用于车辆周围障碍物较多的自动驾驶场景，例如自动泊车场景。
附图说明
图1是本申请实施例提供的一种自动驾驶车辆的架构示意图；
图2是本申请实施例提供的基于图像数据进行障碍物识别的示意图；
图3是本申请实施例提供的障碍物贴图法的示意图；
图4是本申请实施例提供的基于雷达数据进行障碍物坐标确定的示意图；
图5是本申请实施例提供的一种雷达数据确定障碍物尺寸和概率分布的示意图；
图6是本申请实施例提供的基于图像数据和雷达数据进行可行驶区域融合的示意图；
图7是本申请实施例提供的一种计算机可读存储介质和处理器的示意图；
图8是本申请实施例提供的一种自动驾驶辅助系统示意图。
具体实施方式
本申请各种实施例提供了一种车辆可行驶区域检测方法、系统以及采用该系统的泊车装置。通过使用车辆上的多种传感器获得的信息，并将这些信息通过给定的方法进行融合，从而可以实现准确地识别车辆周围可行驶范围，为车辆可行驶区域检测方法提供了一种新方案，并为提高自动驾驶可靠性和优化用户驾驶体验提供支持。
在一些实施例中，参见图1，提供一种具有自动驾驶功能的车辆100，其可以包括驱动系统101，控制系统102，驱动系统103等。传感器系统101可以包括例如但不限于全球定位系统、惯导设备、激光雷达、毫米波雷达、相机等。控制系统102可以包括例如但不限于自动驾驶车辆计算平台等系统/装置。驱动系统103可以包括例如但不限于引擎、传动装置、电动能量源、线控系统等。所述车辆100还可以包括但不限于自动驾驶辅助系统(AdvancedDriving Assistance System:简称ADAS)。传感器系统101、控制系102统、驱动系统103之间可以通信地连接。
下面结合附图2-6进一步详细介绍本申请实施例所提供的车辆可行驶域检测方法。
图2示出了本申请实施例的基于图像数据进行障碍物识别的示意图。图2左侧示出了时间上相邻的T和T+1两帧俯视图，图2中部示出了用于进行障碍物识别的神经网络26，图2右侧示出了最终的识别结果。下面详细介绍障碍物识别过程。
在图2所示场景中，车辆21行驶在车道20之上，车辆21左侧的障碍物包括柱子24和静止车辆25，车辆21右侧有两个停车位22，每个停车位22的区域内还包括一个停车阻拦块23。
在车辆21的车身周围可设置一个或多个多个摄像装置，基于摄像装置可以获取车辆21周围的图像数据。在一些实施例中，用于获取图像数据的摄像装置可以是鱼眼相机，鱼眼相机具有盲区小的特征，从而可以尽可能多地获取车辆周围的信息，应当理解的是：也可以采用其它类型的合适的相机，例如但不限于普通相机、广角相机、宽视野相机等而不违背本申请的精神。
在一些实施例中，通过多个鱼眼相机获取车辆周围的多个图像，并将多个图像通过时间对准处理为俯视图。对于车辆的自动驾驶而言，俯视图可以比较全面地反映出车辆周围的整体环境信息。
在一些实施例中，生成俯视图的流程包括：(1)利用相机的畸变参数进行去畸变处理；(2)透视变换至相机坐标系进而转换至图像坐标系；(3)图像拼接，融合亮度平衡。这三个处理过程的具体说明如下：
(1)相机的畸变是由于透镜特殊形状的导致的径向畸变。实践中，常常用r＝0处的泰勒级数展开的前几项来近似描述径向畸变。矫正径向畸变前后的坐标表示为：
xrcorr＝xp(1+k1r2+k2r4+k3r6)
yrcorr＝yp(1+k1r2+k2r4+k3r6)
(2)俯视图的生成包括：对俯视图中每一个像素，根据物理尺寸与像素的比例，转换为对应的世界坐标系在地面上的点的坐标。对于该世界坐标系中的坐标，在俯视图的生成中，首先决定使用哪个相机的图像，然后使用空间坐标系转换的公式求得该点在相机坐标系中的坐标，再通过制定相机的内参外参模型来求得该点在图像坐标系和像素坐标系中的坐标。
(3)对多个视角的图像进行拼接时，拼接后的图像的不同部分容易存在亮度和色彩差异，而拼接处的图像也容易有明显的拼缝(不同相机在同一区域成像的色差所导致)。为了解决这一问题，使用拼接处两侧相机的重叠区域的像素值，在生成俯视图的过程中，对存有亮度差异的图像部分，通过Gamma矫正进行亮度平衡处理，并将图像转换为YUV格式，计算重叠区域的图像的亮度，并将其适配到整体俯视图的Y通道上。而对存有拼缝的图像部分，可以通过图像的透明混合(Alpha Blending)来处理。在一种实现方式中，对任意两张图像可以合成为一张图像，合成图像的像素取值可以根据以下公式(一)得到。
I＝(1-a)×I1+a×I2 公式(一)
其中a表示混合透明度，其取值范围在[0,1]之间。在重叠区域里a的取值从一张图到另一张图从0逐渐过渡到1。在图像的拼缝处，a的值，例如可以为0.5。
经过上述步骤(1)，(2)，(3)，即可通过车辆周围的摄像装置获取车辆周围环境的俯视图，如图2中左侧部分所示意。
在上述的俯视图生成的过程中，有一个假设：即所有的像素点(包括障碍物的像素点)都具有相同高度，例如，都是来自于地面。然而，障碍物的点有可能具有不同高度的，在对不同高度的物体从三维转换为二维的过程中，会产生比较明显的形变并且这种形变根据观测角度的不同(即鱼眼相机的位置不同)和障碍物的高度不同而不同，障碍物越高，其发生的形变就越大，因此在不同的图像帧中的视差就越明显。参见图2中柱子24，由于其自身高度较高，因而在俯视图中具有较大的形变，而图2中的停车阻拦块23由于其高度较低(一般而言其高度在10-20cm左右)，所以其在俯视图中基本没有发生形变。本申请技术方案利用了视差信息作为神经网络26的一部分输入，从而使得神经网络可以更好地识别出障碍物。
神经网络26可以采用编码器-解码器(Encoder-Decoder)架构，例如，编码器和解码器，所述编码器用于使用池化层对数据进行降维。解码器用于使用反卷积层对数据进行升维。所述编码器用于识别障碍物的纹理特征，而所述解码器用于更好地恢复障碍物的细节。虽然在一些实施例中使用了编码器-解码器架构，但是本申请方案的神经网络并不限于该架构。可以基于实际情况，选取任何其它合适的神经网络(例如包括但不限于:采用卷积-池化-全连接架构)而不违背本申请的精神。
在传统的神经网络对图像的识别过程中，通常采用图像帧中的物体的纹理特征来进行物体识别(语义分割)。然而如上所述，俯视图不同帧中的物体视差信息可以作为障碍物的表征特征。在本申请中，神经网络的输入并不仅仅限于单帧的图像，还包括时间上有关联的多帧图像，例如图2中所示出的相邻的T和T+1两帧图像，这两帧图像在时间上相邻，神经网络通过时间上相邻的图像中的障碍物视差信息，结合传统的基于纹理识别障碍物的方法，来识别出障碍物信息。引入视差信息所带来的好处在于：可以更好地把训练好的模型泛化到模型训练集没有的场景。由于训练数据集很难包括所有可能的障碍物的外形，所以基于纹理特征学习的神经网络会有难泛化的问题。而视差引起的形变是物理普遍规律，学习视差信息判断障碍物可以使得神经网络模型有更好的泛化能力，即可以基于少量的训练数据而应用于多种不同的场景。应当理解的是：虽然在上述实施例中以基于时间上相邻的图像对来进行障碍物识别进行说明，在另一些实现方式中，也可以基于实际情况使用时间上具有一定相邻间隔帧的图像对来进行障碍物识别，例如，可以选用T时刻和T+2时刻(间隔一帧)或T时刻和T+3时刻(间隔两帧)的图像对来进行障碍物识别。在车辆速度较高的时候，可以选择时间帧上最近邻的图像来进行输入，因为车速高的时候，较短的时间间隔内的物体视差即可比较明显；另一方面，而在车辆速度较低的时候，可以选择时间帧上间隔2帧或者3帧或者更多的图像来进行输入。
在一些实施例中，使用神经网络26对图像帧进行语义分割，即将图像帧中的障碍物进行识别和分类，例如，可以将图像区域分成三种：
(1)自由行驶区域(Freespace)，例如道路20就属于自由行驶区域，在自由行驶区域车辆可以自由行驶；
(2)高障碍物区域(High Obstacle)，例如柱子24就属于高障碍物区域，该区域车辆无法行驶；
(3)低障碍物区域(Low Obstacle)，例如停车阻拦块23就属于低障碍物区域，一般情况下车辆不在低障碍物区域行驶，但是特殊情况下车辆也可以在低障碍物区域行驶，例如：车辆可以通过(轧过)停车阻拦块23。
应当理解的是：上述的语义分割的分类是基于实施例的示例性的，技术人员可以依据实际需求采用合适的语义分割种类而不会违背本申请的精神。
在一些实施例中，基于神经网络的输出的障碍物的语义分割种类可以得到障碍物概率分布图，用以表示车辆不可行驶区域或车辆可行驶区域。在另一些实施例中，可以用概率栅格地图来表示车辆不可行驶区域或车辆可行驶区域。以图2为例，图2的右侧示出了实施例中的概率栅格地图，其中每个栅格点都有自己的概率值，每个栅格点的概率值表示该栅格点是障碍物(即车辆不可通行)的几率。例如：图2中的区域28和29的虚线所示区域表示经过神经网络识别的高障碍物区域(车辆和柱子)，该区域对于自车21而言是不可行驶的，图2中的区域28和29中的栅格点的概率值可以设置为一；图2中的区域27所示区域表示经过神经网络识别的低障碍物区域(停车阻拦块)，该区域对于自车21而言有一定几率可以行驶，因此区域27中的栅格点的概率值可以依据需求设定为0-1中的一个数字；而图2中的道路区域21被识别为自由行驶区域，道路区域的栅格点概率值可以设为零。在另外一些实施例中，也可以和上述实施例中的概率值设置相反，即将概率值表示车辆可通行的几率。
在一些实施例中，在以概率值表示车辆不可通行的情况下，如果需要确保高度安全性，可以将概率不为零的栅格点都设定为车辆不可通行区域。此种情况下，概率栅格地图中有可通行区域和不可通行区域两种区域。
在道路或者行驶区域上，由于小的障碍物(例如交通锥、轮胎等)占有面积/体积较小，在对神经网络训练的过程中，即使发生判断错误，所导致的损失函数的代价值也很小，导致神经网络对小的障碍物的识别敏感度较低，并进而导致小的障碍物可能难以被识别出来。对于车辆驾驶者或者自动驾驶辅助系统而言，相较于大的障碍物，意识/识别较小的障碍物会相对困难，因此，较小的障碍物反而更加容易引起和车辆的碰撞。为了解决这一问题，在一些实施例中，在对神经网络26的训练过程中，相对于大障碍物而言，对于小障碍物在损失函数中给予更高的权重，在一些实施例中，可以采用公式(二)来进行损失函数的调整：
Figure BDA0002936082080000072
其中：A为调整参数，在一些实施例中，A可以为8至12中的一个选取值，A可以为整数，例如10，也可以为小数，例如9.5。
losssegmentation和losssmall_obstacle可以为机器学习领域习知的函数，例如(但不限于)Sigmoid，L1-loss，L2-loss等。losssegmentation是对图像进行了语义分割后，对于不同的分割区域(例如上述的自由行驶区、高障碍物区或者低障碍区)的像素进行计算时所采用的损失函数，losssmall_obstacle是对图像中所出现的小障碍像素进行计算时所采用的损失函数，通过结合losssegmentation和losssmall_obstacle，可以在小障碍出现时使得整体的损失函数Loss较大(高于没有小障碍出现时的损失函数)，从而在本申请实施例中，使得神经网络有较高的可能性识别出小障碍。
在一些实施例中，小障碍物包括但不限于例如锥形筒，轮档，车位锁等常见的路面上的物体；从图像角度来看，如果在俯视图上物体的像素小于300个像素点，也可以认为是小障碍物。
通过上述调整，可以使得本申请中的经过训练的神经网络26对于较小的障碍物有更好的识别能力。
在数据采集过程中，很少会出现近距离的障碍物或是障碍物与车辆发生直接碰撞的场景。因此，在目前的图像训练样本中，几乎没有障碍物出现在车身近距离的范围内。从而造成车辆近距离周边区域障碍物(图像)训练样本的缺少，这种缺少使得神经网络往往会过拟合地输出车周边区域为可行驶区域，即使在车周边事实上存在障碍物的情况下也是如此。
为了解决数据分布不平衡(即缺少车辆近距离周边区域内的障碍物训练样本)引起的训练问题，在一些实施例中，引入障碍物贴图法的方法来进行数据增强，从而提高近处障碍物的检出率。
图3示出了障碍物贴图法的示意图，自车31周围环境包括由虚线范围32所示意的实际障碍物，可以在将图像送入神经网络进行学习之前“贴”上一个障碍物33，该障碍物33并不是实际场景中存在的障碍物，而是虚拟地“粘贴”入该图像中，并将贴图后的图像送入神经网络对神经网络进行训练，从而在实际场景中缺乏近距离障碍物的情况下可以对神经网络进行较好的训练，并因此使得神经网络不会发生过拟合现象。
在一些实施例中，障碍物将随机地被贴在车身周边的区域范围中，障碍物的旋转角度会根据落在哪个相机的视角范围内发生变化，从而避免不真实的图像。在一些实施例中，可以随机选取障碍物的种类，例如但不限于路障、推车，动物、行人等。
图4-5示出了实施例给出的使用雷达进行障碍物识别的示意图，在一些实施例中，可以使用超声雷达，超声雷达可以设置在车辆21的周围，一般为6-12个，其中可以包括长距雷达和短距雷达。
图4示出了基于两个超声雷达进行障碍物识别的示意图，驱动超声雷达S2发射信号，超声信号经过障碍物41反射后被S1和S2接收，根据回波时间TOF(Time of Flight)的不同，可以定位出该障碍物41与超声雷达S1和S2的相对位置，并进而可以通过三角定位法求出该障碍物的中心相对于车辆参考坐标系的坐标值。具体的计算过程可以参考下面介绍：
若S2发波，S1与S2收到有效回波，则障碍物41与S2、S1的距离由下面公式(三)给出：
Figure BDA0002936082080000071
其中TOF1、TOF2分别表示超声雷达S1，S2所获取的回波时间，vuss表示在常温下声波在空气中的传播速度。
据此，可以基于下面公式(四)计算出障碍物41的中心在车辆参考坐标系中的具体坐标值(xobj，yobj)：
Figure BDA0002936082080000081
其中(x1，y1)、(x2，y2)分别为超声雷达S1，S2相对于车辆参考坐标系中的坐标值。
在一些实施例中，如图5所示意，可以通过单个超声雷达发送超声波并收取回波信号，获取回波信号的回波宽度和回波时间，根据回波宽度和回波时间，可以获得障碍物的几何形状，在一些实施例中，为了方便起见，可以将障碍物抽象定义为二维平面上的半径为r的圆，圆心的坐标为上述经过两个超声雷达所识别的障碍物的中心点，圆的半径r可以通过下述公式(五)进行确定：
Figure BDA0002936082080000082
其中：ECHO1表示回波宽度，d1表示最短回波距离，d2表示最长回波距离。因为障碍物具有具体几何尺寸，超声波被障碍物的不同部分反射，从而具有最短回波距离d1和最长回波距离d2。
应当理解的是：在本实施例中，为了方便起见而将障碍物抽象定义为半径为r的圆，技术人员也可以将障碍物抽象定义为其它的合适几何形状，例如长方形、多边形等。
在一些实施例中，将识别出的障碍物的几何圆作线性概率分布，具体而言：确定圆心为障碍物中心在车辆参考坐标系中的坐标值，在圆心处，障碍物的概率为100％，随着圆心径向向外延伸至圆周处，概率线性地减少。即：圆的径向r/2周处的障碍物概率可以为50％，而圆周r处的障碍物的概率为0。应当理解的是，概率的线性分布是基于一些实施例的可选方式，技术人员可以依据实际情况而选择其它合适的概率衰减函数(例如：e指数衰减)而不违背本申请的精神。
在一些实施例中，采用栅格地图来实现上述的障碍物概率分布，图5右侧示出了示例图，障碍物51经过超声雷达识别后呈现为概率分布图52，在圆心处的概率最高颜色最深，在圆周处的概率最低颜色最浅。
在一些实施例中，还可以使用例如激光雷达或者毫米波雷达来实现上述过程，将上述计算过程中的的声速改变成光速即可。
在一些实施例中，可以利用融合权重函数W来融合基于鱼眼相机和超声雷达所获得的障碍物的概率分布，以得到概率栅格地图。例如，可以参照下述公式(六)的融合权重函数进行融合处理。在公式(六)中融合权重函数W可以是距离d的函数，d代表目标栅格点(障碍物)距离车体的距离；
Figure BDA0002936082080000083
其中dmax表示超声波所能探测的边界距离。
融合的目标栅格点的概率值由下面公式(七)给出：
P＝W·PIPM+(1-W)·PUSS 公式(七)
其中：PIPM表示基于鱼眼相机所获得的目标栅格点的障碍物概率分布；PUSS表示基于超声雷达所得的的目标栅格点的障碍物概率分布。
基于上述公式(六)，可以看出：如果障碍物距离车辆的距离d超过了超声雷达所能探测的距离边界，则W＝1。当W＝1，在上述公式(七)中(1-W)*PUSS项为0，这表明在此情况下超声雷达无法有效地检测到障碍物，车辆将基于鱼眼相机来获得障碍物的概率分布。
基于上述公式(六)，还可以看出，在d和dmax比较而言较小(例如小于0.2)的情况下，公式(七)中超声雷达的权重将占比较大，这可以解决在障碍物距离车辆较近的情况下，由于鱼眼相机的视觉盲区所导致视觉识别效果不佳的问题。
应当理解的是，上述的融合权重函数和融合公式仅是基于实施例的一种实现举例，技术人员可以依据实际情况来选择任何其它合适的融合权重函数的形式和融合公式而不违背本申请的精神。
应当理解的是，除了上述的鱼眼相机和超声雷达之外，技术人员可以依据情况合理选取其它装置，例如高精度相机、广角相机、激光雷达、毫米波雷达等来实现上述技术过程而不背离本申请精神。
经过上述融合后的二维栅格点构成了以概率表示的概率栅格地图，其中某个栅格点障碍物存在的概率从0％至100％分布，依据栅格点概率的不同，车辆可以决定哪些区域可以自由行驶，哪些区域不可以行驶，哪些区域在一定情况下可以行驶。在一些实施例中，生成的概率栅格地图可以被显示在车辆的座舱显示屏上以供驾驶者参考。
通过上述描述可以看出，本申请实施例所提供的技术方案，结合了基于摄像装置和雷达这两种传感器所获取的障碍物概率分布，并将它们进行结合，从而使得使用了本申请技术方案的自动驾驶车辆不仅可以全面地获取车辆周围的障碍物信息，同时也避免了由于单一传感器的盲区或测量极限所导致的信息缺失。并且，本申请实施例所提供技术方案中，在使用神经网络的训练过程和对图像信息的处理过程中，使用了障碍物贴图法、小障碍物损失函数权重增强、引入了连续图像帧之间的视差信息等技术手段，从而使得本申请技术方案中的神经网络基于图像信息可以更加准确地识别车辆周围的障碍物信息。
图6示出了一些实施例中基于鱼眼相机和超声雷达结合的对于障碍物的识别过程，类似于图2中的场景(在图6中略去了多帧图像的过程)，其中：64代表柱子，65代表静止车辆，车辆61行驶在道路60上，在车辆61右侧有两个停车位62，每个停车位62还包括了一个阻拦块63。在图6右侧的概率栅格图上，68和69表示高障碍物区域(分别对应于图6左侧的柱子64和静止车辆65)，67表示低障碍物区域(对应于图6左侧的阻拦块23)。和图2场景的不同在于：在道路60上出现了一个较低的并且离车较近的障碍物A(例如但不限于是一个扫地机器人)。由于相机具有盲区，并且扫地机器人的高度可能很低。如果仅仅依据鱼眼相机进行车辆周围环境识别，则很可能漏掉/无法识别障碍物A。在本实施例中，结合了超声雷达，超声雷达可以经过上述各实施例的定位和尺寸识别获取障碍物A的位置和几何形状，并将其定义为半径为r的圆形的障碍物概率分布，将基于超声雷达识别的障碍物概率分布信息和基于鱼眼相机识别的障碍物概率分布信息结合，可以得到例如图6右侧所示的概率栅格地图，其中示出了障碍物A的概率分布。在一些实施例中，概率栅格地图进一步地可以被传输给车辆的自动驾驶辅助系统(Advanced Driving Assistance System:简称ADAS)，从而ADAS系统基于获取的概率栅格地图可以“知道”：在右前方的道路区域上有一个障碍物，并因此在进行路径规划的时候可以合理地进行避让。在另一些实施例中，如果是人类驾驶员在驾驶车辆，概率栅格地图也可以被显示在车辆的驾驶座舱的显示屏上，以提示驾驶员右前方道路区域上的有一个障碍物，应当进行合理避让。
在上述各种实施例中，摄像装置和雷达均设置在同一车辆上，在另外一些实施例中，摄像装置和雷达也可以分别设置在不同的车辆上，例如：在车辆A上设置有摄像装置，在车辆B上设置有雷达，车辆A和B之间通过通信网络互相通信并传递/交换各自或获得的信息。这样，即使车辆A或B上仅设置有一种传感器，它也可以在一定条件下获得两种传感器的信息，并进一步地依据本申请实施例所披露的技术方案获取车辆周围的障碍物信息。
在另外一些实施例中，在车路协同的场景中，也可以将摄像装置和/或雷达设置在道路上，或者道路周围的装置上。例如可以设置在道路周围的电线杆或监控装置上，又例如可以将摄像装置和/或设置在路侧的灯柱，测速杆，通信基站塔等装置上，摄像装置和/或雷达可以通过例如V2X(Vehicle to Everything)和车辆进行通信并将获取的信息传输给车辆。基于车路协同，车辆可以仅设置有一种传感器(例如只装备摄像装置)也可以在一定条件下获得两种传感器的信息，并进一步地依据本申请实施例所披露的技术方案获取车辆周围的障碍物信息。
图7示出了基于一些实施例的计算机可读存储介质71，计算机可读存储介质71存储有指令集73，指令集73可以包括上述各种实施例所述的神经网络、利用雷达数据进行障碍物位置和概率计算、以及融合将基于摄像装置获取的障碍物概率分布和基于雷达所获取的障碍物概率分布进行融合的逻辑。计算机可度存储介质71配置为可以和处理器72通信连接，处理器72可以和摄像装置74以及雷达75通信连接(图7中虚线示出)，处理器72在获取了摄像装置74和雷达75的数据后，可以基于计算机可读存储介质71所存储的指令集对数据进行处理以实现上述各实施例的技术方案。处理器72可以包括例如但不限于中央处理器(CPU：Central Process Unit)、图像处理器(GPU：Graphic Process Unit)，现场可编程门阵列(FPGA：Field Programmable Gate Array)、片上系统(SoC：Sysem on Chip)、专用集成芯片(ASIC：Application Specific Integrated Circuit)或它们的组合。
图8示出了基于一些实施例的自动驾驶辅助系统800，所述系统800包括：摄像装置81、雷达82、处理器83。摄像装置81可以是例如但不限于如上述各种实施例所记载的鱼眼相机、广角相机、宽视野相机等；雷达82可以是例如但不限于如上述各种实施例所记载的超声雷达、激光雷达、毫米波雷达等，处理器83可以处理器72可以包括例如但不限于中央处理器(CPU：Central Process Unit)、图像处理器(GPU：Graphic Process Unit)，现场可编程门阵列(FPGA：Field Programmable Gate Array)、片上系统(SoC：Sysem on Chip)、专用集成芯片(ASIC：Application Specific Integrated Circuit)或它们的组合。所述处理器83配置为实现上述实施例中所述的车辆可行驶区域的检测方法。例如，使用神经网络对所述图像数据进行语义分割处理以得到障碍物类型和障碍物第一概率分布；依据所述回波时间和所述回波宽度确定障碍物中心坐标值和障碍物第二概率分布；融合所述障碍物第一概率分布和所述障碍物第二概率分布获得以概率表示的车辆可行驶区域，所述概率表示车辆不可通行的几率。车辆可行驶区域或者车辆不可通行的几率可以使用概率栅格地图的形式表示。所述自动驾驶辅助系统800还可以包括例如但不限于如图7所示的计算机可读存储介质84。所述计算机可读存储介质84存储有指令集，指令集包括用以实现以下一项或多项功能所需的指令：上述各种实施例所述的神经网络、利用雷达数据进行障碍物位置和概率计算、以及融合将基于摄像装置获取的障碍物概率分布、或基于雷达所获取的障碍物概率分布进行融合。所述摄像装置81、所述雷达82和所述处理器83可以和所述存储介质84通信连接。通过上述设置，所述自动驾驶辅助系统800可以实现上述各实施例所描述的技术方案。应当理解的是，在一些实施例中，所述自动驾驶辅助系统800还可以包括其它一个或多个功能模块/装置85(如图8中虚线所示意)，例如功能模块85可以为显示装置，显示装置可以显示概率栅格地图。在一些实施例中，所述自动驾驶辅助系统800可以设置在例如图1所示的所述具有自动驾驶功能的车辆100上。
在另外一些实施例中，还提供一种机器人，其可以包括本申请实施例所提供的自动驾驶辅助系统，即机器人上可以设置有摄像装置和雷达，并可以基于本申请实施例所描述的技术方案来获得周围的障碍物信息，并依据获得的障碍物信息对机器人的路线做出合理的规划。
本申请各种实施例提供了一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆。在本申请技术方案中，通过使用多种传感器，并融合基于多种传感器所获得的障碍物概率信息以获得概率栅格地图，从而可以更加准确地识别车辆周围的可行驶区域；另一方面，本申请利用了障碍物视差信息、障碍物贴图法等方式，使得本申请的技术方案可以具有较高的可泛化性，广泛适用于多种场景，并且不依赖于训练数据，因此本申请技术方案具有鲁棒性。综上：本申请技术方案可以广泛地适用于不同等级的自动驾驶方案、系统、车辆。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑业务划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各业务单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件业务单元的形式实现。
集成的单元如果以软件业务单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、硬盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、高速缓存存储器、电可编程ROM(EPROM)存储器，电可擦除可编程ROM(EEPROM)存储器、寄存器、快闪存储器、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的业务可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些业务存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本申请的具体实施方式而已。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (28)

1.一种车辆可行驶区域检测方法，包括：
使用神经网络对摄像装置获取的图像数据进行处理以得到障碍物的第一概率分布；
根据雷达回波信号的回波时间和回波宽度获得所述障碍物的第二概率分布；
根据所述障碍物的第一概率分布和所述障碍物的第二概率分布，获得以概率表示的车辆可行驶区域，所述概率表示车辆不可通行的几率。
2.根据权利要求1所述的方法，其特征在于：
所述摄像装置包括以下至少一种：鱼眼相机、广角相机、宽视野相机；
所述雷达回波信号包括以下至少一种雷达的回波信号：超声波雷达、激光雷达、毫米波雷达。
3.根据权利要求1或2所述的方法，其特征在于：
所述摄像装置设置在以下至少一种位置：所述车辆上、道路上或者道路周围的装置上；
所述雷达设置在以下至少一种位置：所述车辆上、道路上或者道路周围的装置上。
4.根据权利要求1至3任一项所述的方法，其特征在于：
所述车辆可行驶区域以概率栅格地图的形式表示，或者
所述车辆不可通行的几率以概率栅格地图的形式表示。
5.根据权利要求1至4任一项所述的方法，其特征在于：
所述神经网络包括编码器和解码器，所述编码器用于使用池化层对数据进行降维，所述解码器用于使用反卷积层对数据进行升维。
6.根据权利要求1至5任一项所述的方法，所述使用神经网络对摄像装置获取的图像数据进行处理以得到障碍物的第一概率分布包括：
使用所述神经网络对摄像装置获取的图像数据进行语义分割处理以得到障碍物的类型，基于所述障碍物的类型确定所述障碍物第一概率分布。
7.根据权利要求1-6任一项所述的方法，其特征在于：
所述神经网络的输入包括时间上相邻或相间隔的多帧图像。
8.根据权利要求1至7任一项所述的方法，其特征在于：
在所述神经网络的训练过程中，使用障碍物贴图法来实现数据增强。
9.根据权利要求1至8任一项所述的方法，其特征在于：
对于较小的障碍物，在所述神经网络的损失函数中，给予较高的权重。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述根据雷达获取的回波时间和回波宽度获得障碍物的第二概率分布包括：
使用多个雷达获取所述车辆周围障碍物的回波时间，并依据所述回波时间和所述雷达的波速确定所述障碍物中心在车辆参考坐标系中的坐标。
11.根据权利要求1至10任一项所述的方法，其特征在于，所述根据雷达获取的回波时间和回波宽度获得障碍物的第二概率分布包括：
使用单个雷达获取所述障碍物的回波宽度和回波时间，并依据所述回波宽度和回波时间确定所述障碍物的几何尺寸。
12.根据权利要求10-11任一所述的方法，其特征在于：
将所述障碍物定义为半径为r的圆，并以其圆心为中心，圆周为边缘，线性递减地自圆心向圆周分布概率，所述圆心的坐标定义为所述障碍物中心在车辆参考坐标系中的坐标。
13.根据权利要求1-11任一所述的方法，其特征在于：
根据所述障碍物的第一概率分布和所述障碍物的第二概率分布，使用融合权重函数得到获得所述车辆可通行的概率或者所述车辆不可通行的概率。
14.一种自动驾驶辅助系统，包括：
摄像装置，所述摄像装置配置为可获取图像数据；
至少一个雷达，所述雷达配置为可获取雷达回波信号；
处理器，所述处理器配置为可执行：使用神经网络对摄像装置获取的图像数据进行处理以得到障碍物的第一概率分布；根据雷达回波信号的回波时间和回波宽度获得所述障碍物的第二概率分布；根据所述障碍物的第一概率分布和所述障碍物的第二概率分布，获得以概率表示的车辆可行驶区域，所述概率表示车辆不可通行的几率。
15.根据权利要求14所述的系统，其特征在于：
所述摄像装置包括以下至少一种：鱼眼相机、广角相机、宽视野相机；
所述雷达回波信号包括以下至少一种雷达的回波信号：超声波雷达、激光雷达、毫米波雷达。
16.根据权利要求14-15任一项所述的系统，其特征在于：
所述车辆可行驶区域以概率栅格地图的形式表示，或者
所述车辆不可通行的几率以概率栅格地图的形式表示。
17.根据权利要求16所述的系统，还包括：
显示装置，所述显示装置配置为可显示所述概率栅格地图。
18.根据权利要求14-17任一项所述的系统，其特征在于：
所述神经网络包括编码器和解码器，所述编码器用于使用池化层对数据进行降维，所述解码器用于使用反卷积层对数据进行升维。
19.根据权利要求14-18任一项所述的系统，所述使用神经网络对摄像装置获取的图像数据进行处理以得到障碍物的第一概率分布包括：
使用所述神经网络对摄像装置获取的图像数据进行语义分割处理以得到障碍物的类型，基于所述障碍物的类型确定所述障碍物第一概率分布。
20.根据权利要求14-19任一项所述的系统，其特征在于：
所述神经网络的输入包括时间上相邻或相间隔的多帧图像，所述神经网络的输出包括所述障碍物类型和所述障碍物第一概率分布。
21.根据权利要求14-20任一项所述的系统，其特征在于：
在所述神经网络的训练过程中，使用障碍物贴图法来实现数据增强。
22.根据权利要求14-21任一项所述的系统，其特征在于：
对于较小的障碍物，在所述神经网络的损失函数中，给予较高的权重。
23.根据权利要求14-22任一项所述的系统，所述根据雷达获取的回波时间和回波宽度获得障碍物的第二概率分布包括：
使用多个雷达获取所述车辆周围障碍物的回波时间，并依据所述回波时间和所述雷达的波速确定所述障碍物中心在车辆参考坐标系中的坐标。
24.根据权利要求14-23任一项所述的系统，所述根据雷达获取的回波时间和回波宽度获得障碍物的第二概率分布包括：
使用单个雷达获取所述障碍物的回波宽度和回波时间，并依据所述回波宽度和回波时间确定所述障碍物的几何尺寸。
25.根据权利要求23-24任一项所述的系统，其特征在于：
将所述障碍物定义为半径为r的圆，并以其圆心为中心，圆周为边缘，线性递减地自圆心向圆周分布概率，所述圆心的坐标定义为所述障碍物中心在车辆参考坐标系中的坐标。
26.根据权利要求14-25任一项所述的系统，其特征在于：
根据所述障碍物的第一概率分布和所述障碍物的第二概率分布，使用融合权重函数得到获得所述车辆可通行的概率或者所述车辆不可通行的概率。
27.一种自动驾驶车辆，其特征在于：其包括如权利要求14-26任一项所述的系统。
28.一种计算机可读存储介质，包括指令集，所述指令集可以被处理器执行以实现如权利要求1-13任一项所述的方法。
CN202080004465.8A 2020-05-11 2020-05-11 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆 Active CN112639821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111422765.0A CN114282597B (zh) 2020-05-11 2020-05-11 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/089528 WO2021226776A1 (zh) 2020-05-11 2020-05-11 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111422765.0A Division CN114282597B (zh) 2020-05-11 2020-05-11 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆

Publications (2)

Publication Number Publication Date
CN112639821A true CN112639821A (zh) 2021-04-09
CN112639821B CN112639821B (zh) 2021-12-28

Family

ID=75291156

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080004465.8A Active CN112639821B (zh) 2020-05-11 2020-05-11 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
CN202111422765.0A Active CN114282597B (zh) 2020-05-11 2020-05-11 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111422765.0A Active CN114282597B (zh) 2020-05-11 2020-05-11 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆

Country Status (5)

Country Link
US (1) US20230072637A1 (zh)
EP (1) EP4145339A4 (zh)
JP (1) JP2023525106A (zh)
CN (2) CN112639821B (zh)
WO (1) WO2021226776A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113060131A (zh) * 2021-04-16 2021-07-02 中国第一汽车股份有限公司 一种障碍物地图生成方法、装置、车辆及存储介质
CN113239912A (zh) * 2021-07-13 2021-08-10 天津所托瑞安汽车科技有限公司 Bsd图像有效区域的确定方法、设备和存储介质
CN113255504A (zh) * 2021-05-19 2021-08-13 燕山大学 一种基于深度学习的路侧视角超视距全域融合感知系统
CN113269130A (zh) * 2021-06-11 2021-08-17 国电瑞源(西安)智能研究院有限公司 一种基于人工神经网络的视觉路径搜寻方法
CN113284342A (zh) * 2021-05-17 2021-08-20 上海欧菲智能车联科技有限公司 空车位检测方法及装置、车辆和计算机设备
CN113325400A (zh) * 2021-06-02 2021-08-31 辉创电子科技(苏州)有限公司 一种基于超声波的识别水平车位里高低物体的方法
CN113552574A (zh) * 2021-07-13 2021-10-26 上海欧菲智能车联科技有限公司 一种区域探测方法、装置、存储介质及电子设备
CN113640810A (zh) * 2021-08-11 2021-11-12 北京百度网讯科技有限公司 空间车位检测方法、设备、存储介质和程序产品
CN113905176A (zh) * 2021-09-29 2022-01-07 中科创达软件股份有限公司 全景图像的拼接方法、辅助驾驶方法及装置和车辆
CN113963327A (zh) * 2021-09-06 2022-01-21 阿波罗智能技术(北京)有限公司 障碍物检测方法、装置、自动驾驶车辆、设备和存储介质
CN114379544A (zh) * 2021-12-31 2022-04-22 北京华玉通软科技有限公司 一种基于多传感器前融合的自动泊车系统、方法及装置
CN114407916A (zh) * 2021-12-16 2022-04-29 阿波罗智联(北京)科技有限公司 车辆控制及模型训练方法、装置、车辆、设备和存储介质
CN114648882A (zh) * 2022-02-09 2022-06-21 上海欧菲智能车联科技有限公司 一种车位检测方法及装置
CN114674338A (zh) * 2022-04-08 2022-06-28 石家庄铁道大学 基于分层输入输出和双注意力跳接的道路可行驶区域精细推荐方法
CN115223119A (zh) * 2022-06-15 2022-10-21 广州汽车集团股份有限公司 一种可行驶区域检测方法与系统
EP4287137A1 (en) * 2022-06-02 2023-12-06 Chongqing Vocational College of Transportation Method, device, equipment, storage media and system for detecting drivable space of road

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021201474A1 (ko) * 2020-03-31 2021-10-07 주식회사 비트센싱 객체를 분류하는 레이더 장치 및 방법
CN114926820A (zh) * 2022-06-09 2022-08-19 东风汽车集团股份有限公司 基于深度学习和图像帧优化的斜车位识别方法及系统
CN115027506B (zh) * 2022-08-12 2022-10-25 江苏天一航空工业股份有限公司 一种物流行李牵引车驾驶控制系统及方法
DE102022121109A1 (de) * 2022-08-22 2024-02-22 Valeo Schalter Und Sensoren Gmbh Visuelle Wahrnehmung mit einem Fahrzeug basierend auf einem Kamerabild und einer Ultraschallkarte
CN115468579B (zh) * 2022-11-03 2023-03-24 广汽埃安新能源汽车股份有限公司 路径规划方法、装置、电子设备和计算机可读介质
CN116416504B (zh) * 2023-03-16 2024-02-06 北京瑞拓电子技术发展有限公司 基于车辆协同的高速公路异物检测系统和方法
CN116486377B (zh) * 2023-04-26 2023-12-26 小米汽车科技有限公司 可行驶区域的生成方法及装置
CN116442393B (zh) * 2023-06-08 2024-02-13 山东博硕自动化技术有限公司 基于视频识别的搅拌站智能卸料方法、系统及控制设备
CN116691689B (zh) * 2023-08-07 2024-01-12 山东海量信息技术研究院 一种车辆控制方法、系统、设备及计算机可读存储介质

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2883825A1 (fr) * 2003-11-28 2006-10-06 Denso Corp Appareil d'assistance a la conduite d'un vehicule
CN105549597A (zh) * 2016-02-04 2016-05-04 同济大学 一种基于环境不确定性的无人车动态路径规划方法
CN107506711A (zh) * 2017-08-15 2017-12-22 江苏科技大学 基于卷积神经网络的双目视觉障碍物检测系统及方法
CN107918118A (zh) * 2017-12-20 2018-04-17 武汉万集信息技术有限公司 一种激光雷达
CN108256413A (zh) * 2017-11-27 2018-07-06 科大讯飞股份有限公司 可通行区域检测方法及装置、存储介质、电子设备
CN108780319A (zh) * 2018-06-08 2018-11-09 珊口（深圳）智能科技有限公司 软件更新方法、系统、移动机器人及服务器
CN108959321A (zh) * 2017-05-25 2018-12-07 纵目科技（上海）股份有限公司 停车场地图构建方法、系统、移动终端及存储介质
CN109241855A (zh) * 2018-08-10 2019-01-18 西安交通大学 基于立体视觉的智能车辆可行驶区域探测方法
CN109444902A (zh) * 2018-12-29 2019-03-08 清华大学苏州汽车研究院（吴江） 一种新型的超声波雷达传感器
CN109544990A (zh) * 2018-12-12 2019-03-29 惠州市德赛西威汽车电子股份有限公司 一种基于实时电子地图识别可用泊车位的方法及系统
CN109624852A (zh) * 2018-11-30 2019-04-16 北京长城华冠汽车科技股份有限公司 一种车载影像的显示方法和装置
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、系统、介质及设备
CN109814112A (zh) * 2019-01-15 2019-05-28 北京百度网讯科技有限公司 一种超声波雷达与激光雷达信息融合方法和系统
CN109895763A (zh) * 2018-05-17 2019-06-18 华为技术有限公司 基于超声波雷达的泊车车位检测方法和终端
CN109927719A (zh) * 2017-12-15 2019-06-25 百度在线网络技术（北京）有限公司 一种基于障碍物轨迹预测的辅助驾驶方法和系统
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法
CN110045376A (zh) * 2019-04-28 2019-07-23 森思泰克河北科技有限公司 可行驶区域获取方法、计算机可读存储介质及终端设备
CN110245710A (zh) * 2019-06-18 2019-09-17 腾讯科技（深圳）有限公司 语义分割模型的训练方法、语义分割方法及装置
WO2019178319A1 (en) * 2018-03-14 2019-09-19 Omron Adept Technologies, Inc. Method and apparatus for dynamic obstacle avoidance by mobile robots
CN110550029A (zh) * 2019-08-12 2019-12-10 华为技术有限公司 障碍物避让方法及装置
CN110738081A (zh) * 2018-07-19 2020-01-31 杭州海康威视数字技术股份有限公司 异常路况检测方法及装置
CN110827329A (zh) * 2019-10-15 2020-02-21 四方智能(武汉)控制技术有限公司 一种无人船自主泊岸方法、计算机设备及存储介质
CN110858076A (zh) * 2018-08-22 2020-03-03 杭州海康机器人技术有限公司 一种设备定位、栅格地图构建方法及移动机器人
CN110865421A (zh) * 2019-11-18 2020-03-06 北京百度网讯科技有限公司 业务模型训练方法、障碍物检测方法、装置和电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176185B (zh) * 2011-12-26 2015-01-21 上海汽车集团股份有限公司 用于检测道路障碍物的方法及系统
JP6690952B2 (ja) * 2016-01-25 2020-04-28 日立オートモティブシステムズ株式会社 車両走行制御システム、及び車両走行制御方法
CN105865449B (zh) * 2016-04-01 2020-05-05 深圳市杉川机器人有限公司 基于激光和视觉的移动机器人的混合定位方法
US10878708B2 (en) * 2017-03-03 2020-12-29 Farrokh Mohamadi Drone terrain surveillance with camera and radar sensor fusion for collision avoidance
CN107202983B (zh) * 2017-05-19 2020-11-13 深圳佑驾创新科技有限公司 基于图像识别和毫米波雷达融合的自动刹车方法和系统
CN107609522B (zh) * 2017-09-19 2021-04-13 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
KR102347226B1 (ko) * 2017-12-15 2022-01-04 한국전자기술연구원 융합 센서 데이터 시각화 장치 및 방법
CN107895161B (zh) * 2017-12-22 2020-12-11 北京奇虎科技有限公司 基于视频数据的实时姿态识别方法及装置、计算设备
CN110018496A (zh) * 2018-01-10 2019-07-16 北京京东尚科信息技术有限公司 障碍物识别方法及装置、电子设备、存储介质
CN108568868B (zh) * 2018-03-08 2024-03-19 贵州电网有限责任公司 一种自动避障的树障清理空中机器人和避障方法
CN108764108A (zh) * 2018-05-22 2018-11-06 湖北省专用汽车研究院 一种基于贝叶斯统计决策的前车检测方法
CN110633597B (zh) * 2018-06-21 2022-09-30 北京京东尚科信息技术有限公司 一种可行驶区域检测方法和装置
IT201800009792A1 (it) * 2018-10-25 2020-04-25 Ambarella Inc Obstacle detection in vehicle using wide angle camera and radar sensor fusion
CN109543600A (zh) * 2018-11-21 2019-03-29 成都信息工程大学 一种实现可行驶区域检测方法及系统和应用
CN110084086A (zh) * 2018-12-11 2019-08-02 安徽江淮汽车集团股份有限公司 一种基于视觉传感器的自动驾驶车辆可行驶区域检测方法
CN110136254B (zh) * 2019-06-13 2019-12-13 吉林大学 基于动态概率驾驶地图的驾驶辅助信息显示方法
CN110211420B (zh) * 2019-06-25 2021-11-30 重庆长安汽车股份有限公司 判断当前场景是否为停车场的方法、系统及计算机可读存储介质
CN110619312B (zh) * 2019-09-20 2022-08-23 百度在线网络技术（北京）有限公司 定位元素数据的增强方法、装置、设备及存储介质
CN110850413A (zh) * 2019-11-26 2020-02-28 奇瑞汽车股份有限公司 一种汽车前方障碍物检测方法和系统
CN110988885B (zh) * 2019-12-24 2021-12-03 深圳南方德尔汽车电子有限公司 汽车周围环境监测方法与装置和系统及存储介质

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2883825A1 (fr) * 2003-11-28 2006-10-06 Denso Corp Appareil d'assistance a la conduite d'un vehicule
CN105549597A (zh) * 2016-02-04 2016-05-04 同济大学 一种基于环境不确定性的无人车动态路径规划方法
CN108959321A (zh) * 2017-05-25 2018-12-07 纵目科技（上海）股份有限公司 停车场地图构建方法、系统、移动终端及存储介质
CN107506711A (zh) * 2017-08-15 2017-12-22 江苏科技大学 基于卷积神经网络的双目视觉障碍物检测系统及方法
CN108256413A (zh) * 2017-11-27 2018-07-06 科大讯飞股份有限公司 可通行区域检测方法及装置、存储介质、电子设备
CN109927719A (zh) * 2017-12-15 2019-06-25 百度在线网络技术（北京）有限公司 一种基于障碍物轨迹预测的辅助驾驶方法和系统
CN107918118A (zh) * 2017-12-20 2018-04-17 武汉万集信息技术有限公司 一种激光雷达
WO2019178319A1 (en) * 2018-03-14 2019-09-19 Omron Adept Technologies, Inc. Method and apparatus for dynamic obstacle avoidance by mobile robots
CN109895763A (zh) * 2018-05-17 2019-06-18 华为技术有限公司 基于超声波雷达的泊车车位检测方法和终端
CN108780319A (zh) * 2018-06-08 2018-11-09 珊口（深圳）智能科技有限公司 软件更新方法、系统、移动机器人及服务器
CN110738081A (zh) * 2018-07-19 2020-01-31 杭州海康威视数字技术股份有限公司 异常路况检测方法及装置
CN109241855A (zh) * 2018-08-10 2019-01-18 西安交通大学 基于立体视觉的智能车辆可行驶区域探测方法
CN110858076A (zh) * 2018-08-22 2020-03-03 杭州海康机器人技术有限公司 一种设备定位、栅格地图构建方法及移动机器人
CN109624852A (zh) * 2018-11-30 2019-04-16 北京长城华冠汽车科技股份有限公司 一种车载影像的显示方法和装置
CN109544990A (zh) * 2018-12-12 2019-03-29 惠州市德赛西威汽车电子股份有限公司 一种基于实时电子地图识别可用泊车位的方法及系统
CN109444902A (zh) * 2018-12-29 2019-03-08 清华大学苏州汽车研究院（吴江） 一种新型的超声波雷达传感器
CN109814112A (zh) * 2019-01-15 2019-05-28 北京百度网讯科技有限公司 一种超声波雷达与激光雷达信息融合方法和系统
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、系统、介质及设备
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法
CN110045376A (zh) * 2019-04-28 2019-07-23 森思泰克河北科技有限公司 可行驶区域获取方法、计算机可读存储介质及终端设备
CN110245710A (zh) * 2019-06-18 2019-09-17 腾讯科技（深圳）有限公司 语义分割模型的训练方法、语义分割方法及装置
CN110550029A (zh) * 2019-08-12 2019-12-10 华为技术有限公司 障碍物避让方法及装置
CN110827329A (zh) * 2019-10-15 2020-02-21 四方智能(武汉)控制技术有限公司 一种无人船自主泊岸方法、计算机设备及存储介质
CN110865421A (zh) * 2019-11-18 2020-03-06 北京百度网讯科技有限公司 业务模型训练方法、障碍物检测方法、装置和电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
RADU GABRIEL DANESCU等: "Obstacle Detection Using Dynamic Particle-Based Occupancy Grids", 《2011 INTERNATIONAL CONFERENCE ON DIGITAL IMAGE COMPUTING: TECHNIQUES AND APPLICATIONS》 *
YE ZHANG等: "A Realtime Algorithm for Distinguish Obstacle from Accessible Area in 3D Scene", 《JOURNAL OF PHYSICS: CONFERENCE SERIES》 *
周苏等: "基于知识蒸馏的车辆可行驶区域分割算法研究", 《汽车技术》 *
武馨宇: "智能车可行驶区域建模及驾驶辅助信息显示技术研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *
段建民等: "改进贝叶斯推理的栅格地图更新与障碍物检测", 《激光杂志》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113060131A (zh) * 2021-04-16 2021-07-02 中国第一汽车股份有限公司 一种障碍物地图生成方法、装置、车辆及存储介质
CN113284342B (zh) * 2021-05-17 2022-09-06 上海欧菲智能车联科技有限公司 空车位检测方法及装置、车辆和计算机设备
CN113284342A (zh) * 2021-05-17 2021-08-20 上海欧菲智能车联科技有限公司 空车位检测方法及装置、车辆和计算机设备
CN113255504A (zh) * 2021-05-19 2021-08-13 燕山大学 一种基于深度学习的路侧视角超视距全域融合感知系统
CN113255504B (zh) * 2021-05-19 2022-07-22 燕山大学 一种基于深度学习的路侧视角超视距全域融合感知系统
CN113325400A (zh) * 2021-06-02 2021-08-31 辉创电子科技(苏州)有限公司 一种基于超声波的识别水平车位里高低物体的方法
CN113269130A (zh) * 2021-06-11 2021-08-17 国电瑞源(西安)智能研究院有限公司 一种基于人工神经网络的视觉路径搜寻方法
CN113552574A (zh) * 2021-07-13 2021-10-26 上海欧菲智能车联科技有限公司 一种区域探测方法、装置、存储介质及电子设备
CN113239912A (zh) * 2021-07-13 2021-08-10 天津所托瑞安汽车科技有限公司 Bsd图像有效区域的确定方法、设备和存储介质
CN113640810A (zh) * 2021-08-11 2021-11-12 北京百度网讯科技有限公司 空间车位检测方法、设备、存储介质和程序产品
CN113963327B (zh) * 2021-09-06 2023-09-08 阿波罗智能技术(北京)有限公司 障碍物检测方法、装置、自动驾驶车辆、设备和存储介质
CN113963327A (zh) * 2021-09-06 2022-01-21 阿波罗智能技术(北京)有限公司 障碍物检测方法、装置、自动驾驶车辆、设备和存储介质
CN113905176A (zh) * 2021-09-29 2022-01-07 中科创达软件股份有限公司 全景图像的拼接方法、辅助驾驶方法及装置和车辆
CN113905176B (zh) * 2021-09-29 2024-04-26 中科创达软件股份有限公司 全景图像的拼接方法、辅助驾驶方法及装置和车辆
CN114407916A (zh) * 2021-12-16 2022-04-29 阿波罗智联(北京)科技有限公司 车辆控制及模型训练方法、装置、车辆、设备和存储介质
CN114407916B (zh) * 2021-12-16 2024-01-23 阿波罗智联(北京)科技有限公司 车辆控制及模型训练方法、装置、车辆、设备和存储介质
CN114379544A (zh) * 2021-12-31 2022-04-22 北京华玉通软科技有限公司 一种基于多传感器前融合的自动泊车系统、方法及装置
CN114648882A (zh) * 2022-02-09 2022-06-21 上海欧菲智能车联科技有限公司 一种车位检测方法及装置
CN114674338A (zh) * 2022-04-08 2022-06-28 石家庄铁道大学 基于分层输入输出和双注意力跳接的道路可行驶区域精细推荐方法
CN114674338B (zh) * 2022-04-08 2024-05-07 石家庄铁道大学 基于分层输入输出和双注意力跳接的道路可行驶区域精细推荐方法
EP4287137A1 (en) * 2022-06-02 2023-12-06 Chongqing Vocational College of Transportation Method, device, equipment, storage media and system for detecting drivable space of road
CN115223119A (zh) * 2022-06-15 2022-10-21 广州汽车集团股份有限公司 一种可行驶区域检测方法与系统
CN115223119B (zh) * 2022-06-15 2024-06-11 广州汽车集团股份有限公司 一种可行驶区域检测方法与系统

Also Published As

Publication number Publication date
CN114282597B (zh) 2023-04-07
CN112639821B (zh) 2021-12-28
WO2021226776A1 (zh) 2021-11-18
CN114282597A (zh) 2022-04-05
JP2023525106A (ja) 2023-06-14
EP4145339A1 (en) 2023-03-08
US20230072637A1 (en) 2023-03-09
EP4145339A4 (en) 2023-05-24

Similar Documents

Publication Publication Date Title
CN112639821B (zh) 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
US10489686B2 (en) Object detection for an autonomous vehicle
WO2022206942A1 (zh) 一种基于行车安全风险场的激光雷达点云动态分割及融合方法
CN112180373B (zh) 一种多传感器融合的智能泊车系统和方法
US20170359561A1 (en) Disparity mapping for an autonomous vehicle
Kar et al. Real-time traffic estimation at vehicular edge nodes
WO2020259284A1 (zh) 一种障碍物检测方法及装置
CN114677446B (zh) 基于路侧多传感器融合的车辆检测方法、装置及介质
Pantilie et al. Real-time obstacle detection using dense stereo vision and dense optical flow
US20230237783A1 (en) Sensor fusion
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
WO2022166606A1 (zh) 一种目标检测方法及装置
WO2023178069A1 (en) Instance segmentation in a pseudo-image
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
EP4148375A1 (en) Ranging method and apparatus
Erichsen et al. Semantic segmentation of solid state LiDAR measurements for automotive applications
US20240096109A1 (en) Automatic lane marking extraction and classification from lidar scans
US20230237679A1 (en) Aligning geodata graph over electronic maps
WO2024042607A1 (ja) 外界認識装置及び外界認識方法
CN114141055B (zh) 一种智能泊车系统的泊车位检测装置和检测方法
US11967159B2 (en) Semantic annotation of sensor data with overlapping physical features
Nedevschi et al. On-board stereo sensor for intersection driving assistance architecture and specification
WO2023028764A1 (zh) 一种自动泊车的方法、装置以及车辆
WO2023141090A1 (en) Aligning geodata graph over electronic maps
CN117470258A (zh) 一种地图构建方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant