CN111666805A - 用于自动驾驶的类别标记系统 - Google Patents

用于自动驾驶的类别标记系统 Download PDF

Info

Publication number
CN111666805A
CN111666805A CN202010148436.0A CN202010148436A CN111666805A CN 111666805 A CN111666805 A CN 111666805A CN 202010148436 A CN202010148436 A CN 202010148436A CN 111666805 A CN111666805 A CN 111666805A
Authority
CN
China
Prior art keywords
unit
bounding box
detect
task unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010148436.0A
Other languages
English (en)
Other versions
CN111666805B (zh
Inventor
李东烈
李真言
吉浩平
金炳旼
朴相佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN111666805A publication Critical patent/CN111666805A/zh
Application granted granted Critical
Publication of CN111666805B publication Critical patent/CN111666805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于自动驾驶的类别标记系统包括检测模组、分割模组和车道边界检测模组。检测模组配置为从摄像机捕获的图像中检测用于自动驾驶的对象，以产生每个对象的包围盒，并检测关于对象的属性信息。分割模组配置为确定检测模组检测的包围盒的每个像素的类别，并将至少一个类别处理为不关心。车道边界检测模组配置为使用检测模组检测的包围盒检测车道边界和道路边界中的至少一个。

Description

用于自动驾驶的类别标记系统
技术领域
示例性实施例一般涉及用于自动驾驶的类别标记系统，更特别地，涉及一种用于自动驾驶的类别标记系统，其基于深度学习，精确识别并自动标记用于车辆自动驾驶的类别。
背景技术
在自动驾驶中，图像识别对多种对象进行识别，例如车辆、行人、交通灯、车道、人行道等，并且图像识别针对多种属性，例如每个对象的相对位置、速度和尺寸。由于对象和属性的多样性，图像识别与其他识别领域相比具有更大的难度。然而，有人预测如果有足够多样和足够存量的学习数据，自动驾驶中的图像识别领域的困难能够通过深度学习技术克服或至少降低难度。但是，由于国家之间不同的地理特性和法律特性，难以获取学习数据。举例来说，难以在国内道路上直接使用例如城市景观(cityscape)或卡尔斯鲁厄理工学院和丰田工业大学(Karlsruhe Institute of Technology and Toyota TechnologicalInstitute，KITTI)等学习数据，因为该学习数据非常不同于国内道路条件。
虽然获取数据很重要，但是用于自动驾驶的、获取识别对象范围和获取学习数据技术的策略是不明确的，或者受限于一些主流技术的发展，一些先进的公司除外。尤其是在大多数情况下，数据是通过使用人工注释工具低效地进行标记的。在这种情况下，因为要根据所需的标记方法或法律和法规的变化进行重复注释，会消耗大量的资源。
已认识到阿波罗景观(ApolloScape)数据集和伯克利深度驾驶(BerkeleyDeepDrive，BDD)数据集已通过半自动注释工具公开。半自动注释工具创新地对最广泛应用的城市景观和KITTI进行标记，但是仍然缺少识别对象，因为该半自动注释工具仅旨在检测主要对象。例如，相对于人工注释而言，该半自动注释工具将用于驾驶的必要信息(例如交通标志或车灯)排除在检测对象之外，并且在注释中持续地消耗大量的人力资源和时间资源。
于2018年9月3日公开的公开号为10-2018-0097966、名称为“用于自动驾驶的图像处理方法及其装置”的韩国专利申请中公开了一种传统的用于自动驾驶的图像处理方法。
本节披露的信息仅用于理解发明构思的背景，因此可能包含不构成现有技术的信息。
发明内容
一些方面提供一种用于自动驾驶的类别标记系统，该类别标记系统能够基于深度学习，精确识别并自动标记用于车辆自动驾驶的类别。
另一些方面将进一步在接下来的详细描述中阐述，并且其部分内容根据本公开将是明显的，或者可以通过实践发明构思而获知。
根据一些方面，一种用于自动驾驶的类别标记系统包括检测模组、分割模组和车道边界检测模组。所述检测模组配置为从摄像机捕获的图像中检测用于自动驾驶的对象，以产生每个所述对象的包围盒，并检测关于所述对象的属性信息。所述分割模组配置为确定所述检测模组检测的所述包围盒的每个像素的类别，并将至少一个所述类别处理为不关心(don’t care)。所述车道边界检测模组配置为使用所述检测模组检测的所述包围盒检测车道边界和道路边界中的至少一个。
在一个实施例中，所述检测模组可以包括检测单元、分类任务单元、实例分割任务单元、距离值回归任务单元和追踪任务单元。所述检测单元可以配置为通过分析所述摄像机捕获的所述图像来检测所述对象，并且检测每个所述对象的所述包围盒。所述分类任务单元可以配置为检测所述检测单元检测的、具有所述包围盒的每个对象的子属性。所述实例分割任务单元配置为裁剪所述检测单元检测的所述包围盒，以检测所述包围盒中与所述对象相关的像素。所述距离值回归任务单元可以配置为使用从光探测和测距(LiDAR)输入的距离值检测至所述检测单元检测的所述包围盒中的所述对象的距离。所述追踪任务单元可以配置为预测通过所述检测单元检测的、具有包围盒的车辆和行人中的至少一个的位置。
在一个实施例中，所述检测单元可以配置为检测对象位置的图像内坐标，以接收所述包围盒。
在一个实施例中，所述图像内坐标可以由所述包围盒的顶点、所述包围盒的宽度和所述包围盒的高度表示。
在一个实施例中，所述顶点可以是所述包围盒的左上端。
在一个实施例中，所述分类任务单元可以配置为检测所述对象当中的标志的子属性。
在一个实施例中，所述距离值回归任务单元可以配置为提取与所述包围盒的所述图像内坐标值相关的点云坐标值，以及将所述图像内坐标值中对象至车辆的距离最小的值确定为所述对象的距离值。
在一个实施例中，所述分类任务单元、所述实例分割任务单元、所述距离值回归单元和所述追踪任务单元中的至少一个可以配置为从多个方向、在多个区域中进行转换数据增强，以学习每个网络。
在一个实施例中，所述分类任务单元、实例分割任务单元、所述距离值回归单元和所述追踪任务单元中的至少一个可以配置为使用零样本学习技术、单样本学习技术和少样本学习技术中的至少一个进行网络学习。
在一个实施例中，所述分类任务单元、所述实例分割任务单元、所述距离值回归单元和所述追踪任务单元中的至少一个可以配置为使用左旋转、右旋转和跳跃旋转中的至少一个，通过集成技术进行网络学习。
在一个实施例中，所述分割模组可以包括：分割单元，配置为确定所述摄像机捕获的所述图像的每个像素的所述类别；以及不关心处理单元，配置为将所述分割单元确定的至少一个所述类别处理为不关心。
在一个实施例中，不关心处理单元可以配置为：从原始图像中检测被确定为不关心的包围盒，以产生分割图像；学习所述分割图像的数据集和人工标记者标记的数据集，以比较性能评估结果；以及进行重复学习，直至根据所述性能评估结果将所述分割图像的所述数据集在识别性能上提高至比所述人工标记者标记的所述数据集高。
在一个实施例中，所述车道边界检测模组可以包括自由实例分割单元和B样条检测单元。所述自由实例分割单元可以配置为使用实例深度学习网络从所述摄像机捕获的所述图像输出像素形式的类别以及实例输出。所述B样条检测单元可以配置为通过从所述自由实例分割单元输出的所述像素形式的类别和所述实例输出来检测车道或道路形状的B样条。
根据多个示例性实施例，用于自动驾驶的类别标记系统可以自动获取用于自动驾驶的高质量学习数据。另外，该用于自动驾驶的类别标记系统通过进行自动标记而不使用现有的手动注释工具，可以避免或至少可以减少根据标记方法或法律和法规的变化重复注释的麻烦，并且相对于使用现有的手动注释工具而言，可以显著地增加学习数据的产生速度。进一步地，该用于自动驾驶的类别标记系统可以识别用于自动驾驶的所有对象，甚至在普通道路环境下，例如铺砌的道路、未铺砌的道路、郊区的道路、城市的道路等，以及在多种气候条件下。另外，该用于自动驾驶的类别标记系统可以最小化或者至少减少重新产生注释数据的时间，即使当数据规格已经通过基于深度学习的自动推理技术发生变化。
可以理解，前述的一般说明和后文的详细描述均是示例性和解释性的，并且旨在提供如权利要求所述的本发明的进一步解释。
附图说明
本文包含的附图用于提供发明构思的进一步理解，并且被结合在本文中构成本文的一部分。附图阐述本发明构思的示例性实施例，并且与说明书共同用于解释本发明构思的原理。
图1是示出根据一些示例性实施例的用于自动驾驶的类别标记系统的框图。
图2是根据一些示例性实施例的类别的示意图。
图3是示出根据一些示例性实施例的由图像内包围盒检测的对象的示例视图。
图4是示出根据一些示例性实施例检测由图像内包围盒检测的对象的子属性的示例视图。
图5是示出根据一些示例性实施例的已知的、基于现有技术的分割示例的视图。
图6是示出根据一些示例性实施例的不关心对象的示例视图。
图7是概念性地示出根据一些示例性实施例的不关心处理单元的操作的视图。
图8是概念性地示出根据一些示例性实施例的车道边界检测单元的操作的视图。
具体实施方式
在以下描述中，出于解释的目的，阐述了大量具体的细节以透彻地理解各种示例性实施例。本文中的术语“实施例”和“实施方式”可交换使用，并且是使用本文公开的一个或多个发明构思的非限制性示例。然而，明显地，可以实行没有这些具体的细节或者具有一个或多个等效配置的各种示例性实施例。在另一些实例中，为了避免不必要地模糊各种示例性实施例，熟知的结构和设备以框图的形式示出。进一步地，各种示例性实施例可以不同，但是并非一定是排他性的。例如，一示例性实施例特定的形状、配置和特征可以用于或实施于其他的示例性实施例，而不会脱离发明构思。
除非另外说明，所阐述的示例性实施例应该被理解成提供一些示例性实施例的变化的细节的示例性特征。因此，除非特别说明，各种阐述中的特征、部件、模组、层、薄膜、平板、区域、方面等(以下单独或集体被称为“元件”或“这些元件”)可以以其他方式结合、分开、互换和/或重新排列，而不会脱离发明构思。
附图中剖面线、阴影和/或线宽的使用一般是用于使相邻元件之间的边界清楚。如此，除非特别说明，剖面线、阴影和/或线宽的存在或不存在并不表明对元件的特定材料、材料属性、维度、比例、所示出元件之间的共性和/或任意其他特征、特性、属性等的倾向或要求。另外，在附图中，为了清楚和/或描述，元件的尺寸和相对尺寸可能被放大。如此，各种元件的尺寸和相对尺寸不一定限制于图中所示的尺寸或相对尺寸。当一示例性实施例可能被以不同的方式实施时，具体的流程顺序可能不同于描述的顺序。例如，两个连续描述的流程可能实质上同时实施或者以与所述顺序相反的顺序实施。另外，同样的参考符号表示同样的元件。
当元件被称作“在其他元件上”、“连接至其他元件”或“耦合至其他元件”时，其可以是直接在其他元件上、直接连接至其他元件或直接耦合至其他元件，或者可以存在介于中间的元件。但是，当元件被称作“直接在其他元件上”、“直接连接至其他元件”或“直接耦合至其他元件”时，没有介于中间的元件。其他用于描述元件之间关系的术语和/或短语应当以同样的方式解释，例如“在……之间”与“直接在……之间”，“邻近”与“直接邻近”，“在……上”与“直接在……上”等。进一步地，术语“连接”可以指物理连接、电连接和/或流体连接。出于本公开的目的，“X、Y和Z中的至少一个”和“从包括X、Y和Z的组中选择的至少一个”可以理解为只有X、只有Y、只有Z，或者X、Y和Z中的两个或多个的任意组合，例如，XYZ、XYY、YZ和ZZ。本文所使用的“和/或”包括所列出的相关项目中的任意一个，以及所列出的相关项目中的一个或多个的所有组合。
虽然本文中的术语“第一”、“第二”等可以用于描述各种元件，但是这些元件并不受这些术语的限制。这些术语用于将一个元件与其它元件区分。因此，以下讨论的第一元件可以称作第二元件，而不会脱离本公开的教导。
空间上相对的术语，例如“在……下方(beneath)”、“在……之下(below)”、“在……下面(under)”、“下方的(lower)”、“在……之上(above)”、“上方的(upper)”、“在……上面(over)”、“更高的(higher)”、“侧(side)”(例如在“侧壁”中)等，可以出于描述的目的用于本文，并且用于描述如图中所示的、一个元件与另一个(另一些)元件的关系。空间上相对的术语除了包含图中所示的方向，还旨在包含装置在使用、操作和/或制造中的不同方向。例如，如果翻转图中的装置，被描述为在其他元件或特征之下或在其他元件或特征下方的元件将位于其他元件或特征之上。因此，用作举例的术语“在……之下(below)”可以包括在……之上和在……之下两个方向。此外，装置可以以另外的方向放置(例如旋转90度或位于其他方向)，并且本文所用的空间上相对的描述语也相应地这样解释。
本文所用的技术是用于描述特定的实施例，并不起限制作用。除非在文中另外清楚地表明，本文所用的单数形式“一”、“一个”和“这个”也旨在包括复数形式。另外，当用于本说明书时，术语“包括”、“包括有”、“包含”和/或“包含有”特指所述特征、整数、步骤、操作、元件、部件和/或其群组的存在，但是不排除其他一个或多个特征、整数、步骤、操作、元件、部件和/或其群组的存在或增加。应当注意，本文所用的术语“实质上”、“关于”和其他相似的术语是用作表示近似的术语而不是用作表示程度的术语，并且用于解释本领域技术人员将认识到的测量、计算和/或提供的数值中固有的偏差。
本文描述的多种示例性实施例可以参照剖面视图、等距视图、透视图、设计视图和/或爆炸图，所述剖面视图、等距视图、透视图、设计视图和/或爆炸图是理想示例性实施例和/或中间结构的示意性说明。如此，可以期望得到所示出的图形由例如制造、技术和/或公差所导致的形状的变化。因此，本文所公开的示例性实施例不应当解释为限制于区域中的所示出的特定形状，而应该包括由例如制造所导致的在形状上的变化。最后，图中示出的区域本质上可以是示意性的，并且这些区域的形状可以不反映设备的区域的真实形状，并且不起限制作用。
除非另有定义，本文所用的所有术语(包括技术术语和科技术语)与本公开所属的领域的技术人员的普遍理解具有相同的含义。术语，例如那些在普遍使用的字典中被定义的术语，应当解释为与它们在相关领域中的含义一致，并且不以理想化的或过于正式的意义来解释，除非本文中是这样清楚地定义的。
按照本领域的惯例，从功能性的块、单元和/或模组的角度对一些示例性实施例进行描述并在附图中示出。本领域技术人员会理解，这些块、单元和/或模组是由电子(或光学)电路在物理上实现的，例如逻辑电路、分立元件、微处理器、硬线电路、存储元件、线连接等，其可以通过使用基于半导体的制造技术或其他制造技术形成。在块、单元和/或模组由微处理器或其他相似硬件实施的情况下，可以使用软件(例如微码)进行编程或控制，以实现本文所讨论的多种功能，并且可以可选地由固件和/或软件驱动。可以预期，每个块、单元和/或模组可以由专用硬件实施，或者作为用于执行一些功能的专用硬件与用于执行其他功能的处理器(例如，一个或多个编程的微处理器和相关电路)的组合。同样的，一些示例性实施例的每个块、单元和/或模组可以物理地被分成一个或多个交互和分立的块、单元和/或模组，而不会脱离本发明构思。进一步地，一些示例性实施例的块、单元和/或模组可以物理地结合成更复杂的块、单元和/或模组，而不会脱离本发明构思。
以下将结合附图描述用于自动驾驶的类别标记系统的各种示例性实施例。
图1是示出根据一些示例性实施例的用于自动驾驶的类别标记系统的框图。图2是根据一些示例性实施例的类别的示意图。图3是示出根据一些示例性实施例的由图像内包围盒检测的对象的示例视图。图4是示出根据一些示例性实施例检测由图像内包围盒检测的对象的子属性的示例视图。图5是示出根据一些示例性实施例的已知的、基于现有技术的分割示例的视图。图6是示出根据一些示例性实施例的不关心对象的示例视图。图7是概念性地示出根据一些示例性实施例的不关心处理单元的操作的视图。图8是概念性地示出根据一些示例性实施例的车道边界检测单元的操作的视图。
参照图1，根据一些示例性实施例的用于自动驾驶的类别标记系统配置为基于深度学习，精确识别并自动标记用于车辆自动驾驶的类别。该系统包括摄像机10、光检测和测距(light detection and ranging，LiDAR(也称作激光雷达))20、检测模组30、分割模组40和车道边界检测模组50。图2示出了划分用于车辆自动驾驶的对象的多种类别。
参照图2，类别的示例可以包括车辆、指示灯状态、行人、人体姿态(或手势)、骑自行车的人、骑摩托车的人、头灯/尾灯、未知移动对象、交通标志、交通灯、结构元件、道路危险、道路粗糙度、道路表面、车道、道路边界、道路标识和自由空间。类别不限于前述示例性实施例，并且可以被划分为更细的类别。
摄像机10可以安装在车辆中(或安装至车辆)以拍摄车辆的外围并将捕获的图像输入到检测模组20、分割模组40和车道边界检测模组50中的至少一个。
摄像机10可以由多个摄像机组成，包括左前摄像机、中前摄像机、右前摄像机和后摄像机。在一些示例性实施例中，摄像机10可以安装在车辆挡风玻璃内侧的上侧，并且摄像机10每小时获取的最大数据量可以是480兆兆字节，但是示例性实施例不限于此。
由摄像机10采集的图像的示例可以包括车辆所行驶的道路、车辆周围的车辆等的信息，以及周围环境、灯光、天气等的信息。例如，摄像机10可以采集周围的地理特征和建筑、道路标志、交通标志、亮度、白天和黑夜、以及天气(例如晴天、阴天、雾、雪和雨)的信息。
LiDAR 20发射光以测量至车辆附近的每个对象的距离，并将所测量的距离输入至检测模组20、分割模组40和车道边界检测模组50中的至少一个。在一些示例性实施例中，LiDAR 20每小时获取的最大数据量可以是46兆兆字节。LiDAR 20可以用于位置识别、障碍物检测和移动对象追踪，因为LiDAR可以精确、快速地获取从它至对象的距离。通过调整发射光的角度，LiDAR 20一次扫描可以获取从它至多个对象的距离。
检测模组20从摄像机10输入的图像内的对象中检测用于自动驾驶的对象，以输出该对象的包围盒，并检测该对象的或者关于该对象的属性信息。检测模组20可以包括检测单元31、分类任务单元32、实例分割任务单元33、距离值回归任务单元34和追踪任务单元35。
如图3所示，检测单元31通过分析摄像机10获取的图像来检测对象，并产生所检测对象的包围盒。在此情况下，检测单元31利用所检测的包围盒检测对象的位置的图像内坐标。
在一些示例性实施例中，图像中的每个包围盒的坐标值可以由包围盒的左上端、以及包围盒的宽度和高度表示。
当包围盒由上述检测单元31产生时，分类任务单元32、实例分割任务单元33、距离值回归任务单元34和追踪任务单元35中的每一个对所检测的包围盒进行训练和推理，以检测相应类别的多种类型的属性信息。对包围盒进行训练和推理将在随后描述。
首先，如图4所示，分类任务单元32检测由检测单元31检测的、具有包围盒的每个对象的子属性。例如，对象的子属性可以通过分类任务单元32检测，对象可以包括标志，可以通过确定标志是否是限速标志、建筑引导标志或其他标志来检测标志的子属性。
实例分割任务单元33裁剪检测单元检测的包围盒，以将像素分类为与对象相关的像素和与对象无关的像素，并且可以只检测与对象相关的像素。
距离值回归任务单元34提取与检测单元31检测的包围盒的坐标值相关的点云坐标值，并且将点云坐标值中对象至车辆的距离最小的坐标值确定为对象的距离值。
典型地，在交通标志或交通灯的情况下，LiDAR 20检测的信息包括相应时间的点云三维(three-dimensional，3D)坐标值。
在各种示例性实施例中，距离值回归任务单元34可以使用LiDAR 20检测的信息提取与包围盒的坐标值相关的点云坐标值，并且可以将点云坐标值中对象至车辆的距离最小的值确定为对象的距离值。
追踪任务单元35预测检测单元31检测的、具有包围盒的车辆和行人的位置。例如，当车辆和行人被检测单元31检测并具有包围盒时，追踪任务单元35使用多图像序列信息追踪车辆和行人的移动，以预测车辆和行人未来的位置和行为。
此处，分类任务单元32、实例分割任务单元33、距离值回归任务单元34和追踪任务单元35中的每一个对包围盒进行训练和推理，以检测上述属性信息。
分类任务单元32、实例分割任务单元33、距离值回归任务单元34和追踪任务单元35中的每一个通过从多尺度的方向上以及在所有区域内进行转换数据增强(shift dataaugmentation)，以学习每个网络的方式进行训练，从而适当得检测图像中对象的所有尺寸和位置。
在一些示例性实施例中，分类任务单元32、实例分割任务单元33、距离值回归任务单元34和追踪任务单元35中的每一个将一个图像的尺寸改变为不同的尺寸以学习网络，并且还从不同方向转换图像(在转换的过程中一些图像丢失并且一些图像被零填充)以学习网络。
另外，获取真实的车辆记录数据和标记数据不仅会消耗大量的时间，还很难获得各种类型的数据。如此，分类任务单元32、实例分割任务单元33、距离值回归任务单元34和追踪任务单元35中的每一个可以使用模拟工具在场景的基础上获取各种图像和标记信息。然后将该数据转换到真实车辆数据的域，并将该数据用作网络的学习图像。
深度学习技术中的监督学习的最大缺点之一是需要获取太多数据以学习数据。因此，分类任务单元32、实例分割任务单元33、距离值回归任务单元34和追踪任务单元35中的每一个可以使用零样本学习技术、单样本学习技术和少样本学习技术进行推理。例如，分类任务单元32、实例分割任务单元33、距离值回归任务单元34和追踪任务单元35中的每一个可以使用仅一个图像、零图像(例如，实时(on the fly))或几个图像来开发网络，其中所述仅一个图像、零图像或几个图像用于在有很少图像能够用于网络学习的情境中进行学习。另外，为了极大地提高网络的性能，分类任务单元32、实例分割任务单元33、距离值回归任务单元34和追踪任务单元35中的每一个可以使用集成技术(ensemble technology)，例如左旋转、右旋转和跳跃旋转，提高推理性能。
分割模组40配置为确定图像的所有像素的类别，并且将类别中无意义的一个处理为“不关心”。分割模组包括分割单元41和不关心处理单元42。分割单元41确定分割图像的所有像素的类别。分割单元41可以使用基于先验的关键深度学习对象识别技术。
在一些示例性实施例中，基于先验的关键深度学习对象识别技术通过在不同深度学习网络之间分享输出结果而用于不同的网络中，以提高多级网络中的网络协同效果。如图5所示，对于每个包围盒，除检测包围盒信息之外还检测特征图和分类信息，其中特征图和分类信息是网络的中间结果。在这种情况下，基于先验的关键深度学习对象识别技术连接(concatenate)特征图和分类信息，以在学习过程中提高相应区域的识别精确度。
不关心处理单元42寻找分割单元41确定的区域中无意义的一个，也就是可能对图像质量或学习造成负面影响的区域，以将该区域处理为“不关心”。例如，如图6所示，可能难以确定使用具有低图像质量的小的车辆或对象是好是坏，而且具有低图像质量的小的车辆或图像难以被人工标记以用于学习，在这种情况下，不关心处理单元42使用深度学习确定该小的车辆或对象，以便如果不需要对其进行学习和评估，则自动将其生成为“不关心”。
另外，除了对象之外，图像中有背景和未知的动态对象。在这种情况下，不关心处理单元42确定是使用这些对象进行学习或评估，还是通过将这些对象标记为“不关心”而不使用这些对象进行学习或评估。
参照图7，在不关心处理单元42中，生成器从原始图像中检测被确定为“不关心”的包围盒(区域或对象)以生成分割图像。在此情况下，生成器为初始分割图像随机地生成被确定为“不关心”的包围盒。
鉴别器将上述生成的分割图像(或数据集)与人工标记者标记的数据集进行比较，并根据比较结果提高生成器的性能。例如，鉴别器基于目标嵌入网络以这种方法提高生成器的性能：在使用前述生成的两种数据集(分割图像(数据集)和人工标记者标记的数据集)学习相应网络之后比较性能评估结果，并重复地学习生成器，直至将分割图像(数据集)在识别性能上提高至比人工标记者生成的数据集高。
目标嵌入网络可以是在硬件限制下操作的中等或中等以下的深度学习网络。
车道边界检测模组50配置为使用检测单元31检测的包围盒预测车道和道路边界。车道边界检测模组50包括自由实例分割单元51和基样条(basis spline，B样条)检测单元52。
参照图8，自由实例分割单元51使用基于密度的噪声应用空间聚类(density-based spatial clustering of applications with noise，DBSCAN)的实例深度学习网络和端到端无提议方案，从摄像机捕获的图像输出像素形式的类别和实例输出。
当自由实例分割单元51输出像素形式的类别和实例输出时，B样条检测单元52通过像素形式的类别和实例输出检测车道或道路形状的B样条，例如，检测B样条控制点。B样条具有高自由度并且可以涉及各种车道或道路形状。
根据各种示例性实施例，用于自动驾驶的类别标记系统可以自动获取自动驾驶所需的高质量学习数据。根据一些示例性实施例的用于自动驾驶的类别标记系统通过进行自动标记而不使用现有的手动注释工具，可以避免或至少可以减少根据标记方法或法律和法规的变化重复注释的麻烦，并且相对于使用现有的手动注释工具而言，可以显著地增加学习数据的产生速度。
根据一些示例性实施例的用于自动驾驶的类别标记系统可以识别用于自动驾驶的所有对象，甚至在普通道路环境下，例如铺砌的道路、未铺砌的道路、郊区的道路、城市的道路等，以及在多种气候条件下。根据一些示例性实施例的用于自动驾驶的类别标记系统可以最小化或者至少减少重新产生注释数据的时间，即使当数据规格已经通过基于深度学习的自动推理而发生变化。
虽然本文描述了具体的示例性实施例和实施方式，明显还有其他实施例和变形。因此，本发明构思不限制于这些实施例，而是如对于本领域技术人员而言明显的，具有所附权利要求书的更大范围，并且具有多种明显的变形和等效配置。

Claims (13)

1.一种用于自动驾驶的类别标记系统，包括：
检测模组，配置为从摄像机捕获的图像中检测用于自动驾驶的对象，以产生每个所述对象的包围盒，并检测关于所述对象的属性信息；
分割模组，配置为确定所述检测模组检测的所述包围盒的每个像素的类别，并将至少一个所述类别处理为不关心；以及
车道边界检测模组，配置为使用所述检测模组检测的所述包围盒检测车道边界和道路边界中的至少一个。
2.根据权利要求1所述的类别标记系统，其中所述检测模组包括：
检测单元，配置为通过分析所述摄像机捕获的所述图像来检测所述对象，并且检测每个所述对象的所述包围盒；
分类任务单元，配置为检测所述检测单元检测的、具有所述包围盒的每个对象的子属性；
实例分割任务单元，配置为裁剪所述检测单元检测的所述包围盒，以检测所述包围盒中与所述对象相关的像素；
距离值回归任务单元，配置为使用从光探测和测距LiDAR输入的距离值检测至所述检测单元检测的所述包围盒中的所述对象的距离；以及
追踪任务单元，配置为预测所述检测单元检测的、具有所述包围盒的车辆和行人中的至少一个的位置。
3.根据权利要求2所述的类别标记系统，其中所述检测单元配置为检测对象位置的图像内坐标，以接收所述包围盒。
4.根据权利要求3所述的类别标记系统，其中所述图像内坐标由所述包围盒的顶点、所述包围盒的宽度和所述包围盒的高度表示。
5.根据权利要求2所述的类别标记系统，其中所述分类任务单元配置为检测所述对象当中的标志的子属性。
6.根据权利要求3所述的类别标记系统，其中所述距离值回归任务单元配置为：
提取与所述包围盒的所述图像内坐标值相关的点云坐标值；以及
将所述图像内坐标值中对象至车辆的距离最小的值确定为所述对象的距离值。
7.根据权利要求2所述的类别标记系统，其中所述分类任务单元、所述实例分割任务单元、所述距离值回归单元和所述追踪任务单元中的至少一个配置为从多个方向、在多个区域中进行转换数据增强，以学习每个网络。
8.根据权利要求2所述的类别标记系统，其中所述分类任务单元、所述实例分割任务单元、所述距离值回归单元和所述追踪任务单元中的至少一个配置为使用零样本学习技术、单样本学习技术和少样本学习技术中的至少一个进行网络学习。
9.根据权利要求2所述的类别标记系统，其中所述分类任务单元、所述实例分割任务单元、所述距离值回归单元和所述追踪任务单元中的至少一个配置为使用左旋转、右旋转和跳跃旋转中的至少一个，通过集成技术进行网络学习。
10.根据权利要求1所述的类别标记系统，其中所述分割模组包括：
分割单元，配置为确定所述摄像机捕获的所述图像的每个像素的所述类别；以及
不关心处理单元，配置为将所述分割单元确定的至少一个所述类别处理为不关心。
11.根据权利要求10所述的类别标记系统，其中所述不关心处理单元配置为：
从原始图像中检测被确定为不关心的包围盒，以产生分割图像；
学习所述分割图像的数据集和人工标记者标记的数据集，以比较性能评估结果；以及
进行重复学习，直至根据所述性能评估结果将所述分割图像的所述数据集在识别性能上提高至比所述人工标记者标记的所述数据集高。
12.根据权利要求1所述的类别标记系统，其中所述车道边界检测模组包括：
自由实例分割单元，配置为使用实例深度学习网络从所述摄像机捕获的所述图像输出像素形式的类别以及实例输出；以及
基样条检测单元，配置为通过从所述自由实例分割单元输出的所述像素形式的类别和所述实例输出来检测车道或道路形状的基样条。
13.根据权利要求4所述的类别标记系统，其中所述顶点是所述包围盒的左上端。
CN202010148436.0A 2019-03-08 2020-03-05 用于自动驾驶的类别标记系统 Active CN111666805B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0027201 2019-03-08
KR1020190027201A KR102177880B1 (ko) 2019-03-08 2019-03-08 자율주행용 클래스 레이블링 장치

Publications (2)

Publication Number Publication Date
CN111666805A true CN111666805A (zh) 2020-09-15
CN111666805B CN111666805B (zh) 2024-02-06

Family

ID=72336489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010148436.0A Active CN111666805B (zh) 2019-03-08 2020-03-05 用于自动驾驶的类别标记系统

Country Status (3)

Country Link
US (1) US11386674B2 (zh)
KR (1) KR102177880B1 (zh)
CN (1) CN111666805B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114111814A (zh) * 2021-10-21 2022-03-01 北京百度网讯科技有限公司 高精地图数据处理方法、装置、电子设备及存储介质
CN114755673A (zh) * 2020-12-25 2022-07-15 欧特明电子股份有限公司 多传感器自动驾驶系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727272B2 (en) * 2019-06-19 2023-08-15 Nvidia Corporation LIDAR-based detection of traffic signs for navigation of autonomous vehicles
US12060078B2 (en) * 2020-12-10 2024-08-13 Motional Ad Llc Merging LiDAR information and camera information
KR102325124B1 (ko) * 2021-04-27 2021-11-12 주식회사 모빌테크 기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량
KR102310609B1 (ko) * 2021-05-14 2021-10-13 주식회사 인피닉 3d 데이터를 이용한 2d 이미지의 전처리 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102343051B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 라이다 점군으로부터 카메라 이미지의 바운딩 박스를 조정하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310612B1 (ko) * 2021-06-17 2021-10-13 주식회사 인피닉 라이다 점군에서 특정된 객체 정보를 이용한 2d 이미지 객체 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR20230017001A (ko) 2021-07-27 2023-02-03 주식회사 케이티 딥러닝 네트워크 제공장치 및 딥러닝 네트워크 제공방법
KR102376397B1 (ko) 2021-09-27 2022-03-21 국방과학연구소 Ai 자율주행 모방학습 데이터 증강 방법
WO2023059222A1 (ru) * 2021-10-04 2023-04-13 Общество с ограниченной ответственностью "ЭвоКарго" Способ картографирования местности для автономных транспортных средств

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统
CN108509832A (zh) * 2017-02-28 2018-09-07 三星电子株式会社 用于产生虚拟车道的方法和装置
US20190042860A1 (en) * 2017-08-04 2019-02-07 Samsung Electronics Co., Ltd. Method and apparatus of detecting object of interest
CN109389046A (zh) * 2018-09-11 2019-02-26 昆山星际舟智能科技有限公司 用于自动驾驶的全天候物体识别与车道线检测方法
US20190065867A1 (en) * 2017-08-23 2019-02-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072020A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 자율주행 시스템의 주행정보 인식 방법 및 장치
KR102016549B1 (ko) * 2014-01-13 2019-08-30 한화디펜스 주식회사 차량 및 차선 위치 검출 시스템 및 방법
JP6314843B2 (ja) * 2015-01-06 2018-04-25 トヨタ自動車株式会社 道路境界線認識装置及び道路境界線認識方法
KR20180097966A (ko) 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치
KR102421855B1 (ko) * 2017-09-28 2022-07-18 삼성전자주식회사 주행 차로를 식별하는 방법 및 장치
US10657390B2 (en) * 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
JP2020086545A (ja) * 2018-11-15 2020-06-04 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509832A (zh) * 2017-02-28 2018-09-07 三星电子株式会社 用于产生虚拟车道的方法和装置
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统
US20190042860A1 (en) * 2017-08-04 2019-02-07 Samsung Electronics Co., Ltd. Method and apparatus of detecting object of interest
US20190065867A1 (en) * 2017-08-23 2019-02-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
CN109389046A (zh) * 2018-09-11 2019-02-26 昆山星际舟智能科技有限公司 用于自动驾驶的全天候物体识别与车道线检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114755673A (zh) * 2020-12-25 2022-07-15 欧特明电子股份有限公司 多传感器自动驾驶系统
CN114111814A (zh) * 2021-10-21 2022-03-01 北京百度网讯科技有限公司 高精地图数据处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR20200115705A (ko) 2020-10-08
KR102177880B1 (ko) 2020-11-12
US11386674B2 (en) 2022-07-12
CN111666805B (zh) 2024-02-06
US20200285866A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
CN111666805B (zh) 用于自动驾驶的类别标记系统
Alcantarilla et al. Street-view change detection with deconvolutional networks
Alvarez et al. Combining priors, appearance, and context for road detection
Yu et al. Learning hierarchical features for automated extraction of road markings from 3-D mobile LiDAR point clouds
CN101900562B (zh) 采用基于分割方法的畅通路径检测
CN111626217A (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
Zakaria et al. Lane detection in autonomous vehicles: A systematic review
Hu et al. A multi-modal system for road detection and segmentation
Chao et al. Multi-lane detection based on deep convolutional neural network
Tumen et al. Recognition of road type and quality for advanced driver assistance systems with deep learning
Rateke et al. Passive vision region-based road detection: A literature review
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
Singh et al. Acquiring semantics induced topology in urban environments
Zhang et al. Gc-net: Gridding and clustering for traffic object detection with roadside lidar
CN114782729A (zh) 一种基于激光雷达与视觉融合的实时目标检测方法
Wang et al. Road edge detection in all weather and illumination via driving video mining
Cheng et al. Modeling weather and illuminations in driving views based on big-video mining
Heckman et al. Potential negative obstacle detection by occlusion labeling
Hazelhoff et al. Exploiting street-level panoramic images for large-scale automated surveying of traffic signs
Cheng et al. Semantic segmentation of road profiles for efficient sensing in autonomous driving
Tahir et al. Object detection in autonomous vehicles under adverse weather: a review of traditional and deep learning approaches
CN111325811A (zh) 一种车道线数据的处理方法及处理装置
Zuo et al. Road model prediction based unstructured road detection
Lertniphonphan et al. 2d to 3d label propagation for object detection in point cloud
Ding et al. A comprehensive approach for road marking detection and recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant