CN109492656B - 用于输出信息的方法和装置 - Google Patents

用于输出信息的方法和装置 Download PDF

Info

Publication number
CN109492656B
CN109492656B CN201710813687.4A CN201710813687A CN109492656B CN 109492656 B CN109492656 B CN 109492656B CN 201710813687 A CN201710813687 A CN 201710813687A CN 109492656 B CN109492656 B CN 109492656B
Authority
CN
China
Prior art keywords
point cloud
obstacle
similarity
sample data
obstacle point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710813687.4A
Other languages
English (en)
Other versions
CN109492656A (zh
Inventor
张晔
王军
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Apollo Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Technology Beijing Co Ltd filed Critical Apollo Intelligent Technology Beijing Co Ltd
Priority to CN201710813687.4A priority Critical patent/CN109492656B/zh
Priority to US16/049,088 priority patent/US10817748B2/en
Publication of CN109492656A publication Critical patent/CN109492656A/zh
Application granted granted Critical
Publication of CN109492656B publication Critical patent/CN109492656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了用于输出信息的方法和装置。该方法的一具体实施方式包括:将待计算相似度的第一障碍物点云和第二障碍物点云导入预先训练的相似度计算模型,生成第一障碍物点云和第二障碍物点云之间的相似度,其中,相似度计算模型用于表征两个障碍物点云与相似度之间的对应关系,最后输出所生成的相似度。该实施方式有效减少了确定相似度计算的各个参数的人工成本和时间成本。

Description

用于输出信息的方法和装置
技术领域
本申请涉及无人驾驶车辆技术领域,具体涉及障碍物跟踪技术领域,尤其涉及用于输出信息的方法和装置。
背景技术
无人驾驶车辆,又称为“移动轮式机器人”,无人驾驶车辆通过车辆上设置的驾驶控制设备根据各种传感器(例如,摄像机和激光雷达)所采集的信息,进行综合分析处理以实现路径规划和行驶控制。大多数无人驾驶车辆都设置有激光雷达来采集外界信息。在对无人驾驶车辆进行路径规划和行驶控制的过程中,可以对激光雷达所采集的每帧激光点云(即,激光雷达每个采样周期所采集的激光点云)进行障碍物检测,然后,再根据障碍物检测的结果,采用跟踪算法在激光点云帧序列上对检测出的障碍物进行跟踪。这个过程中,非常重要的一部分是计算两帧激光点云中一帧激光点云所检测得到的各个障碍物点云与另一帧激光点云中所检测到的各个障碍物点云之间的相似度,通过计算所得到的各个相似度来确定一帧激光点云所检测得到的各个障碍物点云中每个障碍物点云与另一帧所检测得到的各个障碍物点云之间的关联,从而实现障碍物跟踪。
然而,现有的在计算不同障碍物点云之间的相似度时,大都采用人工依赖经验确定提取障碍物点云的特征以及计算所提取的特征之间相似度所需要的各种参数的参数值。从而,存在着确定相似度计算的各种参数的人工成本和时间成本较高的问题。
发明内容
本申请实施例的目的在于提出一种改进的用于输出信息的方法和装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请实施例提供了一种用于输出信息的方法,该方法包括:将待计算相似度的第一障碍物点云和第二障碍物点云导入预先训练的相似度计算模型,生成上述第一障碍物点云和上述第二障碍物点云之间的相似度,其中,上述相似度计算模型用于表征两个障碍物点云与相似度之间的对应关系;输出所生成的相似度;其中,上述相似度计算模型是通过如下训练步骤得到的:获取初始相似度计算模型和预先确定的样本数据集合,其中,每个样本数据包括两个障碍物点云和该两个障碍物点云之间的相似度;利用机器学习方法,以上述样本数据集合中的每个样本数据中的两个障碍物点云作为输入数据,并以每个样本数据中的相似度作为相应的输出数据,训练上述初始相似度计算模型;将训练后的上述初始相似度计算模型确定为上述预先训练的相似度计算模型。
在一些实施例中,上述样本数据集合是通过如下确定步骤得到的:获取样本激光点云帧序列中的每帧样本激光点云对应的检测障碍物点云和标注障碍物点云,其中,标注障碍物点云包括用于指示标注障碍物点云所表征的物理障碍物的障碍物标识;由各帧样本激光点云对应的各个标注障碍物点云的障碍物标识中的不同障碍物标识生成障碍物标识集合;对于每帧样本激光点云对应的每个检测障碍物点云,根据该检测障碍物点云与该帧样本激光点云对应的每个标注障碍物点云之间的相似度,确定该检测障碍物点云对应的预设维数的匹配度向量,上述预设维数为上述障碍物标识集合中障碍物标识的数目,匹配度向量中的各个元素的取值为该检测障碍物点云与上述障碍物标识集合中各个障碍物标识所指示的物理障碍物的匹配度;根据上述样本激光点云帧序列中所处位置差距小于等于预设数目的两帧样本激光点云中一帧样本激光点云对应的各个检测点云障碍物的匹配度向量与另一帧样本激光点云对应的各个检测点云障碍物的匹配度向量之间的相似度,生成样本数据集合中每个样本数据中的两个障碍物点云和相似度。
在一些实施例中,上述根据上述样本激光点云帧序列中所处位置差距小于预设数目的两帧样本激光点云中一帧样本激光点云对应的各个检测点云障碍物的匹配度向量与另一帧样本激光点云对应的各个检测点云障碍物的匹配度向量之间的相似度,生成样本数据集合中每个样本数据中的两个障碍物点云和相似度,包括:对于上述样本激光点云帧序列中所处位置差距小于预设数目的两帧样本激光点云,对于该两帧样本激光云中一帧样本激光点云对应的至少一个检测障碍物点云中的第一检测障碍物点云和另一帧样本激光点云对应的至少一个检测障碍物点云中的第二检测障碍物点云,生成一个样本数据,并将上述第一检测障碍物点云和上述第二检测障碍物点云确定为所生成的样本数据中的两个障碍物点云,将上述第一检测障碍物点云对应的匹配度向量与上述第二检测障碍物点云对应的匹配度向量之间的相似度确定为所生成的样本数据中的相似度;根据所生成的至少一个样本数据确定上述预先确定的样本数据集合。
在一些实施例中,检测障碍物点云与标注障碍物点云之间的相似度为检测障碍物点云与标注障碍物点云之间的杰卡德相似系数。
在一些实施例中,上述第一检测障碍物点云对应的匹配度向量与上述第二检测障碍物点云对应的匹配度向量之间的相似度为上述第一检测障碍物点云对应的匹配度向量与上述第二检测障碍物点云对应的匹配度向量之间的内积、杰卡德相似系数或者余弦相似度。
在一些实施例中,上述样本数据集合包括相似度大于预设相似度阈值的正样本数据集合和相似度小于等于上述预设相似度阈值的负样本数据集合;以及上述根据所生成的至少一个样本数据确定上述预先确定的样本数据集合,包括:根据所生成的至少一个样本数据中相似度小于等于上述预设相似度阈值的样本数据生成负样本数据集合;根据所生成的至少一个样本数据中相似度大于上述预设相似度阈值的样本数据生成正样本数据集合。
在一些实施例中,上述根据所生成的至少一个样本数据中相似度大于上述预设相似度阈值的样本数据生成正样本数据集合,包括:由所生成的至少一个样本数据中相似度大于上述预设相似度阈值的样本数据生成正样本数据集合;将上述正样本数据集合中的正样本数据按照样本数据中的相似度从小到大的顺序进行排序;根据排序结果,对各上述正样本数据的相似度的执行预设分位数的分位数化操作,生成上述预设分位数个分位数结果;用所生成的上述预设分位数个分位数结果更新上述正样本数据集合中相应正样本数据中的相似度。
在一些实施例中,上述根据所生成的至少一个样本数据中相似度小于等于上述预设相似度阈值的样本数据生成负样本数据集合,包括:由所生成的至少一个样本数据中相似度小于等于上述预设相似度阈值的样本数据生成负样本数据集合;将上述负样本数据集合中的低匹配度负样本数据删除,其中,低匹配度负样本数据中的两个障碍物点云之间的特征点距离大于预设距离阈值或者低匹配度负样本数据中的两个障碍物点云的预设特征的特征值不同,其中,两个障碍物点云之间的特征点距离是两个障碍物点云中一个障碍物点云对应的特征点坐标与另一个障碍物点云对应的特征点坐标之间的距离。
第二方面,本申请实施例提供了一种用于输出信息的装置,该装置包括:生成单元,配置用于将待计算相似度的第一障碍物点云和第二障碍物点云导入预先训练的相似度计算模型,生成上述第一障碍物点云和上述第二障碍物点云之间的相似度,其中,上述相似度计算模型用于表征两个障碍物点云与相似度之间的对应关系;输出单元,配置用于输出所生成的相似度;其中,上述相似度计算模型是通过训练单元得到的,上述训练单元包括:第一获取模块,配置用于获取初始相似度计算模型和预先确定的样本数据集合,其中,每个样本数据包括两个障碍物点云和该两个障碍物点云之间的相似度;训练模块,配置用于利用机器学习方法,以上述样本数据集合中的每个样本数据中的两个障碍物点云作为输入数据,并以每个样本数据中的相似度作为相应的输出数据,训练上述初始相似度计算模型;第一确定模块,配置用于将训练后的上述初始相似度计算模型确定为上述预先训练的相似度计算模型。
在一些实施例中,上述样本数据集合是通过确定单元得到的,上述确定单元包括:第二获取模块,配置用于获取样本激光点云帧序列中的每帧样本激光点云对应的检测障碍物点云和标注障碍物点云,其中,标注障碍物点云包括用于指示标注障碍物点云所表征的物理障碍物的障碍物标识;第一生成模块,配置用于由各帧样本激光点云对应的各个标注障碍物点云的障碍物标识中的不同障碍物标识生成障碍物标识集合;第二确定模块,配置用于对于每帧样本激光点云对应的每个检测障碍物点云,根据该检测障碍物点云与该帧样本激光点云对应的每个标注障碍物点云之间的相似度,确定该检测障碍物点云对应的预设维数的匹配度向量,上述预设维数为上述障碍物标识集合中障碍物标识的数目,匹配度向量中的各个元素的取值为该检测障碍物点云与上述障碍物标识集合中各个障碍物标识所指示的物理障碍物的匹配度;第二生成模块,配置用于根据上述样本激光点云帧序列中所处位置差距小于等于预设数目的两帧样本激光点云中一帧样本激光点云对应的各个检测点云障碍物的匹配度向量与另一帧样本激光点云对应的各个检测点云障碍物的匹配度向量之间的相似度,生成样本数据集合中每个样本数据中的两个障碍物点云和相似度。
在一些实施例中,上述第二生成模块包括:第一确定子模块,配置用于对于上述样本激光点云帧序列中所处位置差距小于预设数目的两帧样本激光点云,对于该两帧样本激光云中一帧样本激光点云对应的至少一个检测障碍物点云中的第一检测障碍物点云和另一帧样本激光点云对应的至少一个检测障碍物点云中的第二检测障碍物点云,生成一个样本数据,并将上述第一检测障碍物点云和上述第二检测障碍物点云确定为所生成的样本数据中的两个障碍物点云,将上述第一检测障碍物点云对应的匹配度向量与上述第二检测障碍物点云对应的匹配度向量之间的相似度确定为所生成的样本数据中的相似度;第二确定子模块,配置用于根据所生成的至少一个样本数据确定上述预先确定的样本数据集合。
在一些实施例中,在一些实施例中,检测障碍物点云与标注障碍物点云之间的相似度为检测障碍物点云与标注障碍物点云之间的杰卡德相似系数。
在一些实施例中,上述第一检测障碍物点云对应的匹配度向量与上述第二检测障碍物点云对应的匹配度向量之间的相似度为上述第一检测障碍物点云对应的匹配度向量与上述第二检测障碍物点云对应的匹配度向量之间的内积、杰卡德相似系数或者余弦相似度。
在一些实施例中,上述样本数据集合包括相似度大于预设相似度阈值的正样本数据集合和相似度小于等于上述预设相似度阈值的负样本数据集合;以及上述第二确定子模块进一步用于:根据所生成的至少一个样本数据中相似度小于等于上述预设相似度阈值的样本数据生成负样本数据集合;根据所生成的至少一个样本数据中相似度大于上述预设相似度阈值的样本数据生成正样本数据集合。
在一些实施例中,上述第二确定子模块进一步用于:由所生成的至少一个样本数据中相似度大于上述预设相似度阈值的样本数据生成正样本数据集合;将上述正样本数据集合中的正样本数据按照样本数据中的相似度从小到大的顺序进行排序;根据排序结果,对各上述正样本数据的相似度的执行预设分位数的分位数化操作,生成上述预设分位数个分位数结果;用所生成的上述预设分位数个分位数结果更新上述正样本数据集合中相应正样本数据中的相似度。
在一些实施例中,上述第二确定子模块进一步用于:由所生成的至少一个样本数据中相似度小于等于上述预设相似度阈值的样本数据生成负样本数据集合;将上述负样本数据集合中的低匹配度负样本数据删除,其中,低匹配度负样本数据中的两个障碍物点云之间的特征点距离大于预设距离阈值或者低匹配度负样本数据中的两个障碍物点云的预设特征的特征值不同,其中,两个障碍物点云之间的特征点距离是两个障碍物点云中一个障碍物点云对应的特征点坐标与另一个障碍物点云对应的特征点坐标之间的距离。
第三方面,本申请实施例提供了一种驾驶控制设备,该驾驶控制设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的用于输出信息的方法和装置,通过将待计算相似度的第一障碍物点云和第二障碍物点云导入预先训练的相似度计算模型,生成第一障碍物点云和第二障碍物点云之间的相似度,以及输出所生成的相似度,其中,相似度计算模型是通过如下训练步骤得到的:首先获取初始相似度计算模型和预先确定的样本数据集合,其中,每个样本数据包括两个障碍物点云和该两个障碍物点云之间的相似度,再利用机器学习方法,以样本数据集合中的每个样本数据中的两个障碍物点云作为输入数据,并以每个样本数据中的相似度作为相应的输出数据,训练初始相似度计算模型,并将训练后的初始相似度计算模型确定为预先训练的相似度计算模型。从而减少了确定相似度计算的各种参数的人工成本和时间成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的用于输出信息的方法的一个实施例的流程图;
图3是根据本申请的确定步骤的一个实施例的流程图;
图4是根据本申请的用于输出信息的装置的一个实施例的结构示意图;
图5是适于用来实现本申请实施例的驾驶控制设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于输出信息的方法或用于输出信息的装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括无人驾驶车辆101。
无人驾驶车辆101中安装有驾驶控制设备1011、网络1012和激光雷达1013。网络1012用以在驾驶控制设备1011和激光雷达1013之间提供通信链路的介质。网络1012可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
驾驶控制设备(又称为车载大脑)1011负责无人驾驶车辆101的智能控制。驾驶控制设备1011可以是单独设置的控制器,例如可编程逻辑控制器(Programmable LogicController,PLC)、单片机、工业控制机等;也可以是由其他具有输入/输出端口,并具有运算控制功能的电子器件组成的设备;还可以是安装有车辆驾驶控制类应用的计算机设备。
需要说明的是,实践中无人驾驶车辆101中还可以安装有至少一个传感器,例如,摄像机、重力传感器、轮速传感器等。某些情况下,无人驾驶车辆101中还可以安装有GNSS(Global Navigation Satellite System,全球导航卫星系统)设备和SINS(Strap-downInertial Navigation System,捷联惯性导航系统)等等。
需要说明的是,本申请实施例所提供的用于输出信息的方法一般由驾驶控制设备1011执行,相应地,用于输出信息的装置一般设置于驾驶控制设备1011中。
应该理解,图1中的驾驶控制设备、网络和激光雷达的数目仅仅是示意性的。根据实现需要,可以具有任意数目的驾驶控制设备、网络和激光雷达。
继续参考图2,其示出了根据本申请的用于输出信息的方法的一个实施例的流程200。该用于输出信息的方法,包括以下步骤:
步骤201,将待计算相似度的第一障碍物点云和第二障碍物点云导入预先训练的相似度计算模型,生成第一障碍物点云和第二障碍物点云之间的相似度。
在本实施例中,用于输出信息的方法运行于其上的电子设备(例如图1所示的驾驶控制设备)可以在需要计算两个障碍物点云之间的相似度时,将待计算相似度的第一障碍物点云和第二障碍物点云导入预先训练的相似度计算模型,生成第一障碍物点云和第二障碍物点云之间的相似度。
这里,障碍物可以包括静态障碍物和动态障碍物。例如,静态障碍物可以是树木、遗撒物、警示牌、交通牌、隔离墩等等,动态障碍物可以是行人、动物、车辆等等。无人驾驶车辆在行驶过程中需要躲避静态障碍物和动态障碍物。
在无人驾驶车辆行驶过程中,无人驾驶车辆上安装的激光雷达可以实时采集外界环境信息,并生成激光点云传输给上述电子设备。上述电子设备可以对所接收的激光点云进行分析处理,实现对车辆周围环境中的障碍物进行识别和跟踪,以预测障碍物的行进路线并进而进行车辆的路径规划和行使控制。
为此,首先,上述电子设备可以对所接收的每帧激光点云进行检测,以区分出激光点云中哪些激光点数据用于描述障碍物,哪些激光点数据用于描述非障碍物(例如,可行驶区域),以及哪些激光点数据用于描述同一个障碍物。这里,障碍物点云可以是对一个障碍物进行表征的相关特征信息。作为示例,障碍物点云可以包括激光点云数据或者根据激光点云数据所提取的障碍物的特征信息,比如,特征信息可以是障碍物的包围盒的位置和长度信息、障碍物的长宽高信息、障碍物的体积等等。当然,还可以包括障碍物的其他各种特征信息。即,上述电子设备在接收到每帧激光点云后,需要对该帧激光点云进行分析处理,生成至少一个用于对障碍物进行表征的障碍物点云。
其次,上述电子设备可以将两帧相邻激光点云中的障碍物点云进行关联(或称为匹配),以实现对障碍物的跟踪,即,如果检测当前帧激光点云所得到的障碍物点云A和检测当前帧的前一帧激光点云所得到的障碍物点云B用于描述物理世界中的同一个障碍物C,那么就可以将障碍物点云A和障碍物点云B进行关联,进而实现对障碍物C的跟踪。
在确定障碍物点云A和障碍物点云B是否用于表征物理世界中的同一个障碍物C时,需要计算障碍物点云A和障碍物点云B之间的相似度,这时,上述电子设备可以将障碍物点云A和障碍物点云B分别作为待计算相似度的第一障碍物点云和第二障碍物点云,并将上述第一障碍物点云和第二障碍物点云导入预先训练的相似度计算模型,生成第一障碍物点云和第二障碍物点云之间的相似度,其中,上述相似度计算模型用于表征两个障碍物点云与该两个障碍物点云的相似度之间的对应关系。
在本实施例中,相似度计算模型可以是由上述电子设备训练得到的,相似度计算模型也可以是由与上述电子设备通信连接的其他电子设备(例如,对无人驾驶车辆提供支持的云服务器)预先训练得到的。可以理解的是,实践中,相似度计算模型通常是由与上述电子设备通信连接的其他电子设备预先训练得到的。
在本实施例中,相似度计算模型的模型参数可以存储在上述电子设备本地或者存储在与上述电子设备通信连接的其他电子设备中。这样,上述电子设备可以本地或者远程地从上述其他电子设备获取相似度计算模型的模型参数,并进而可以实现将上述第一障碍物点云和第二障碍物点云导入预先训练的相似度计算模型,生成第一障碍物点云和第二障碍物点云之间的相似度。
在本实施中,相似度计算模型可以是通过如下训练步骤得到的:
首先,获取初始相似度计算模型和预先确定的样本数据集合。
这里,初始相似度计算模型可以是任何一种机器学习模型。作为示例,初始相似度计算模型可以是人工神经网络模型。初始相似度计算模型的模型参数可以是预先设置的,例如,可以随机设置模型参数。
这里,样本数据集合中的每个样本数据包括两个障碍物点云和该两个障碍物点云之间的相似度。可以采用各种实现方式预先确定样本数据集合。作为示例,可以首先获取训练用激光点云帧序列,并且预先为训练用样本激光点云帧序列中每帧样本激光点云标注了至少一个障碍物点云,其中,每个障碍物点云包括用于指示障碍物点云所表征的物理障碍物的障碍物标识。然后,对于训练用激光点云帧序列中所处位置差距小于预设个数(例如,1个)的两帧样本激光点云,对于一帧激光点云中的第三障碍物点云和另一帧激光点云中的第四障碍物点云,生成一个样本数据,将上述第三障碍物点云和第四障碍物点云确定为所生成的样本数据中的两个障碍物点云,并且如果上述第三障碍物点云和第四障碍物点云的障碍物标识相同,即上述第三障碍物点云和第四障碍物点云用于表征物理世界的同一个障碍物,则将所生成的样本数据的相似度设置为预设最大相似度阈值(例如,设置为1),如果上述第三障碍物点云和第四障碍物点云的障碍物标识不同,即上述第三障碍物点云和第四障碍物点云用于表征物理世界的不同障碍物,则将所生成的样本数据的相似度设置为预设最小相似度阈值(例如,设置为0)。最后,将上述所生成的至少一个样本数据作为预先确定的样本数据集合。
然后,利用机器学习方法,以样本数据集合中的每个样本数据中的两个障碍物点云作为输入数据,并以每个样本数据中的相似度作为相应的输出数据,训练初始相似度计算模型。
这里,利用样本数据集合训练初始相似度计算模型的过程就是对初始相似度计算模型中的模型参数进一步优化的过程,具体如何对模型参数进行优化是目前广泛应用和研究的现有技术,在此不再赘述。
最后,将训练后的初始相似度计算模型确定为预先训练的相似度计算模型。
步骤202,输出所生成的相似度。
在本实施例中,上述电子设备可以将步骤201中所生成的相似度进行输出。
在本实施例中,上述电子设备计算第一障碍物点云和第二障碍物点云之间的相似度是为了后续对两帧激光点云中的障碍物点云进行关联,并进而实现对障碍物进行识别和跟踪,因此,上述电子设备可以将步骤201中所生成的第一障碍物点云和第二障碍物点云之间的相似度输出给需要上述相似度的相关功能模块(例如,程序功能模块或者硬件功能模块)。
在本实施例的一些可选的实现方式中,上述确定样本数据集合还可以是通过如下确定步骤300得到的,具体请参考图3,图3示出了确定步骤300所包括的步骤301到步骤303:
步骤301,获取样本激光点云帧序列中的每帧样本激光点云对应的检测障碍物点云和标注障碍物点云。
这里,所获取的样本激光点云帧序列中的每帧样本激光点云可以对应有至少一个检测障碍物点云和/或至少一个标注障碍物点云,其中,检测障碍物点云可以是采用预设的障碍物检测算法对每帧样本激光点云进行检测所得到的障碍物点云。其中,标注障碍物点云包括用于指示标注障碍物点云所表征的物理障碍物的障碍物标识,即,每帧样本激光点云的每个标注障碍物点云都标注了其所表征的障碍物的标识,这样,在所获取的样本激光点云帧序列中的相邻两帧样本激光点云,如果其中一帧样本激光点云的标注障碍物点云P1的障碍物标识和另一帧样本激光点云的标注障碍物点云P2的障碍物标识相同,则表明标注障碍物点云P1和标注障碍物点云P2用于表征物理世界中的同一障碍物,反之,如果不同,则表明标注障碍物点云P1和标注障碍物点云P2用于表征物理世界中的不同障碍物。
这里,检测障碍物点云和标注障碍物点云均可以包括用于对障碍物进行表征的相关特征信息。作为示例,检测障碍物点云和标注障碍物点云可以包括激光点云数据或者根据激光点云数据所提取的障碍物的特征信息,比如,特征信息可以是障碍物的包围盒的位置和长度信息、障碍物的长宽高信息、障碍物的体积等等。当然,还可以包括障碍物的其他各种特征信息。
步骤302,由各帧样本激光点云对应的各个标注障碍物点云的障碍物标识中的不同障碍物标识生成障碍物标识集合。
这里,由于各帧样本激光点云对应的各个标注障碍物点云的障碍物标识中可能存在相同的障碍物标识,因此,这里可以去除重复的障碍物标识,由各帧样本激光点云对应的各个标注障碍物点云的障碍物标识中的不同障碍物标识生成障碍物标识集合,所形成的障碍物标识集合中的各个障碍物标识包括了所获取的样本激光点云帧序列中各帧样本激光点云所对应的各个标注障碍物点云的障碍物标识。
例如,所获取的样本激光点云帧序列中包括三帧样本激光点云F1、F2和F3,第一帧样本激光点云F1对应的三个标注障碍物点云的障碍物标识为:B1、B2和B3,第二帧样本激光点云F2对应的四个标注障碍物点云的障碍物标识为:B2、B3、B4和B5,第三帧样本激光点云F2对应的四个标注障碍物点云的障碍物标识为:B1、B2、B4和B6,则障碍物标识集合为:B1、B2、B3、B4、B5和B6。
步骤303,对于每帧样本激光点云对应的每个检测障碍物点云,根据该检测障碍物点云与该帧样本激光点云对应的每个标注障碍物点云之间的相似度,确定该检测障碍物点云对应的预设维数的匹配度向量。
这里,预设维数为步骤302中所生成的障碍物标识集合中障碍物标识的数目,也就是说,预设维数是所获取的样本激光点云帧序列的各帧样本激光点云对应的各个标注障碍物点云所表征的障碍物的总数。
这里,匹配度向量中的各个元素的取值为该检测障碍物点云与障碍物标识集合中各个障碍物标识所指示的物理障碍物的匹配度。
具体而言,可以对于每帧样本激光点云对应的每个检测障碍物点云,对于该帧样本激光点云对应的每个标注障碍物点云,将该检测障碍物点云与该标注障碍物点云之间的相似度确定为该检测障碍物点云对应的匹配度向量中与该标注障碍物点云的障碍物标识对应的元素的值,以及将该检测障碍物点云对应的匹配度向量中的未出现障碍物标识对应的元素的值设置为预设最小匹配度,其中,未出现障碍物标识是障碍物标识集合中该帧样本激光点云对应的各个标注障碍物点云的障碍物标识以外的障碍物标识。
下面举例说明:假设样本激光点云帧序列总共有1000帧样本激光点云,第一帧样本激光点云对应C1个检测障碍物点云和L1个标注障碍物点云,第二帧样本激光点云对应C2个检测障碍物点云和L2个标注障碍物点云,……,第1000帧样本激光点云对应C1000个检测障碍物点云和L1000个标注障碍物点云,但是由于不同帧的样本激光点云对应的标注障碍物点云所表征的障碍物是有重复的,因此,由(L1+L2+……+L1000)个标注障碍物点云的障碍物标识所形成的障碍物集合中障碍物标识的个数M远小于(L1+L2+……+L1000),比如,(L1+L2+……+L1000)=10000,而M=100,则这里的预设维数为100,而不是10000,即预设维数是M,而不是(L1+L2+……+L1000)。这里,可以为第一帧样本激光点云对应的C1个检测障碍物点云中的第1个检测障碍物点云,确定M维的匹配度向量V1,1,其中,将上述第1个检测障碍物点云与L1个标注障碍物点云中每个标注点云障碍物之间的相似度确定为V1,1中与L1个标注障碍物点云中每个标注点云障碍物的障碍物标识对应的元素的值,以及将V1,1中的未出现障碍物标识对应的元素的值设置为预设最小匹配度,例如,设置为0,未出现障碍物标识是障碍物标识集合中L1个标注障碍物点云的障碍物标识以外的障碍物标识。按照类似方法,可以为第一帧样本激光点云对应的C1个检测障碍物点云中的第2个检测障碍物点云,确定M维的匹配度向量V1,2,……,为第一帧样本激光点云对应的C1个检测障碍物点云中的第C1个检测障碍物点云,确定M维的匹配度向量V1,C1,从而,为第一帧样本激光点云生成C1个M维的匹配度向量V1,1,V1,1,…,V1,C1。按照上述方法为第二帧样本激光点云生成C2个M维的匹配度向量V2,1,V2,1,…,V2,C1,…,以及为第1000帧样本激光点云生成C1000个M维的匹配度向量V1000,1,V1000,1,…,V1000,C1000
这里,可以采用各种实现方式计算检测障碍物点云与标注障碍物点云之间的相似度,例如,当检测障碍物点云和标注障碍物点云包括障碍物的三维形状信息时,可以计算检测障碍物点云所包括的形状信息与标注障碍物点云所包括的三维形状信息之间的相似度,例如,对于长方体,可以计算两个长方体的体积的比值作为相似度,对于圆锥体,可以计算两个圆锥体的高的比值和半径的比值的平均值作为相似度。
在一些可选实现方式中,检测障碍物点云与标注障碍物点云之间的相似度可以是检测障碍物点云与标注障碍物点云之间的杰卡德相似系数。
例如,当检测障碍物点云和标注障碍物点云包括多个激光点数据时,可以按照如下公式计算检测障碍物点云与标注障碍物点云之间的杰卡德相似系数:
Figure BDA0001404578540000151
其中:
PC表示检测障碍物点云所包括的多个激光点数据;
PL表示标注障碍物点云所包括的多个激光点数据;
|PC∩PL|表示检测障碍物点云所包括的多个激光点数据与标注障碍物点云所包括的多个激光点数据的交集中激光点数据的数目;
|PC∪PL|表示检测障碍物点云所包括的多个激光点数据与标注障碍物点云所包括的多个激光点数据的并集中激光点数据的数目;
J(PC,PL)是计算所得的检测障碍物点云与标注障碍物点云之间的杰卡德相似系数。
例如,当检测障碍物点云和标注障碍物点云分别包括三维包围盒时,这里,检测障碍物点云的三维包围盒可以是检测障碍物点云所包括的各个激光点数据中的三维坐标的最小外接长方体,同理,标注障碍物点云的三维包围盒可以是标注障碍物点云所包括的各个激光点数据中的三维坐标的最小外接长方体,这样可以按照如下公式计算检测障碍物点云与标注障碍物点云之间的杰卡德相似系数:
Figure BDA0001404578540000152
其中:
BC表示检测障碍物点云所包括的三维包围盒的包围盒信息,例如,可以是三维包围盒对应的长方体的八个顶点坐标;
BL表示标注障碍物点云所包括的三维包围盒信息的包围盒信息,例如,可以是三维包围盒对应的长方体的八个顶点坐标;
|BC∩BL|表示检测障碍物点云所包括的三维包围盒与标注障碍物点云所包括的三维包围盒的交集对应的体积;
|BC∪BL|表示检测障碍物点云所包括的三维包围盒与标注障碍物点云所包括的三维包围盒的并集对应的体积;
J(BC,BL)是计算所得的检测障碍物点云与标注障碍物点云之间的杰卡德相似系数。
例如,当检测障碍物点云和标注障碍物点云分别包括二维包围盒时,这里,检测障碍物点云的二维包围盒可以是检测障碍物点云所包括的各个激光点数据中的二维坐标(比如,平面坐标)的最小外接矩形,同理,标注障碍物点云的二维包围盒可以是标注障碍物点云所包括的各个激光点数据中的二维坐标(比如,平面坐标)的最小外接矩形,这样可以按照如下公式计算检测障碍物点云与标注障碍物点云之间的杰卡德相似系数:
Figure BDA0001404578540000161
其中:
RC表示检测障碍物点云所包括的二维包围盒的包围盒信息,例如,可以是二维包围盒对应的矩形的四个顶点坐标;
RL表示标注障碍物点云所包括的二维包围盒的包围盒信息,例如,可以是二维包围盒对应的矩形的四个顶点坐标;
|RC∩RL|表示检测障碍物点云所包括的二维包围盒与标注障碍物点云所包括的二维包围盒的交集对应的面积;
|RC∪RL|表示检测障碍物点云所包括的二维包围盒与标注障碍物点云所包括的二维包围盒的并集对应的面积;
J(RC,RL)是计算所得的检测障碍物点云与标注障碍物点云之间的杰卡德相似系数。
例如,当检测障碍物点云和标注障碍物点云分别包括三维凸包时,这里,检测障碍物点云的三维凸包可以是检测障碍物点云所包括的各个激光点数据中的三维坐标的凸包,同理,标注障碍物点云的三维凸包可以是标注障碍物点云所包括的各个激光点数据中的三维坐标的凸包,这样可以按照如下公式计算检测障碍物点云与标注障碍物点云之间的杰卡德相似系数:
Figure BDA0001404578540000162
其中:
CC表示检测障碍物点云所包括的三维凸包的凸包信息,例如,可以是三维凸包对应的多个三维顶点坐标;
CL表示标注障碍物点云所包括的三维凸包的凸包信息,例如,可以是三维凸包对应的多个三维顶点坐标;
|CC∩CL|表示检测障碍物点云所包括的三维凸包与标注障碍物点云所包括的三维凸包的交集对应的体积;
|CC∪CL|表示检测障碍物点云所包括的三维凸包与标注障碍物点云所包括的三维凸包的并集对应的体积;
J(CC,CL)是计算所得的检测障碍物点云与标注障碍物点云之间的杰卡德相似系数。
例如,当检测障碍物点云和标注障碍物点云分别包括二维凸包时,这里,检测障碍物点云的二维凸包可以是检测障碍物点云所包括的各个激光点数据中的二维坐标(比如,平面坐标)的凸包,同理,标注障碍物点云的二维凸包可以是标注障碍物点云所包括的各个激光点数据中的二维坐标(比如,平面坐标)的凸包,这样可以按照如下公式计算检测障碍物点云与标注障碍物点云之间的杰卡德相似系数:
Figure BDA0001404578540000171
其中:
C'C表示检测障碍物点云所包括的二维凸包的凸包信息,例如,可以是二维凸包对应的多个二维顶点坐标;
CL'表示标注障碍物点云所包括的二维凸包的凸包信息,例如,可以是二维凸包对应的多个二维顶点坐标;
|C'C∩CL'|表示检测障碍物点云所包括的二维凸包与标注障碍物点云所包括的二维凸包的交集对应的面积;
|C'C∪CL'|表示检测障碍物点云所包括的二维凸包与标注障碍物点云所包括的二维凸包的并集对应的面积;
J(C'C,CL')是计算所得的检测障碍物点云与标注障碍物点云之间的杰卡德相似系数。
可以理解的是,当检测障碍物点云和标注障碍物点云包括其他特征信息时,也可以采用类似方式计算检测障碍物点云与标注障碍物点云之间的杰卡德相似系数,在此不再赘述。
步骤304,根据样本激光点云帧序列中所处位置差距小于预设数目的两帧样本激光点云中一帧样本激光点云对应的各个检测点云障碍物的匹配度向量与另一帧样本激光点云对应的各个检测点云障碍物的匹配度向量之间的相似度,生成样本数据集合中每个样本数据中的两个障碍物点云和相似度。
具体地可以如下进行:
首先,对于样本激光点云帧序列中所处位置差距小于预设数目(例如,1)的两帧样本激光点云,对于该两帧样本激光云中一帧样本激光点云对应的至少一个检测障碍物点云中的第一检测障碍物点云和另一帧样本激光点云对应的至少一个检测障碍物点云中的第二检测障碍物点云,生成一个样本数据,并将第一检测障碍物点云和第二检测障碍物点云确定为所生成的样本数据中的两个障碍物点云,将第一检测障碍物点云对应的匹配度向量与第二检测障碍物点云对应的匹配度向量之间的相似度确定为所生成的样本数据中的相似度。
可选地,第一检测障碍物点云对应的匹配度向量与第二检测障碍物点云对应的匹配度向量之间的相似度可以为第一检测障碍物点云对应的匹配度向量与第二检测障碍物点云对应的匹配度向量之间的内积、杰卡德相似系数或者余弦相似度。
然后,根据所生成的至少一个样本数据确定预先确定的样本数据集合。
在一些实现方式中,可以直接将所生成的至少一个样本数据确定为预先确定的样本数据集合。
在一些实现方式中,还可以按照如下方式根据所生成的至少一个样本数据确定预先确定的样本数据集合:
第一,根据所生成的至少一个样本数据中相似度小于等于预设相似度阈值的样本数据生成负样本数据集合。
这里,预设相似度阈值可以是预先设置的,例如,可以设置为0.1或者0。
可选地,可以直接用所生成的至少一个样本数据中相似度小于等于预设相似度阈值的样本数据生成负样本数据集合。
可选地,还可以按照如下方式根据所生成的至少一个样本数据中相似度小于等于预设相似度阈值的样本数据生成负样本数据集合:
首先,可以由所生成的至少一个样本数据中相似度小于等于预设相似度阈值的样本数据生成负样本数据集合;
然后,可以将上述负样本数据集合中的低匹配度负样本数据删除,其中,低匹配度负样本数据中的两个障碍物点云之间的特征点距离大于预设距离阈值或者低匹配度负样本数据中的两个障碍物点云的预设特征的特征值不同,这里,两个障碍物点云之间的特征点距离是两个障碍物点云中一个障碍物点云对应的特征点坐标与另一个障碍物点云对应的特征点坐标之间的距离。作为示例,障碍物点云对应的特征点坐标可以是障碍物点云所表征的障碍物的中心点坐标或者重心点坐标。障碍物点云的预设特征的特征值可以是障碍物点云所表征的障碍物的相关特征的特征值。作为示例,障碍物点云的预设特征的特征值可以是障碍物的类别特征的特征值,比如,障碍物的类别特征的特征值可以是:机动车、人或者自行车等等,障碍物的形状特征的特征值可以是:长方体、圆柱体、圆锥体等等。
从而,按照这种方式所生成的负样本数据集合中删除了低匹配度的样本数据,也就是删除了负样本数据集合中所包括的两个障碍物点云明显不是用于表征同一个障碍物的两个障碍物点云的负样本数据,即,删除了对于训练相似度计算模型没有贡献的负样本数据。进而,在采用上述删除低匹配度的样本数据后的负样本数据训练相似度计算模型时可以减少模型训练的计算量和训练时间。
第二,根据所生成的至少一个样本数据中相似度大于预设相似度阈值的样本数据生成正样本数据集合。
可选地,可以直接用所生成的至少一个样本数据中相似度大于预设相似度阈值的样本数据生成正样本数据集合。
可选地,还可以按照如下方式根据所生成的至少一个样本数据中相似度大于预设相似度阈值的样本数据生成正样本数据集合:
首先,由所生成的至少一个样本数据中相似度大于预设相似度阈值的样本数据生成正样本数据集合。
其次,将正样本数据集合中的正样本数据按照样本数据中的相似度从小到大的顺序进行排序。
再次,根据排序结果,对各正样本数据的相似度的执行预设分位数(例如,10)的分位数化操作,生成预设分位数个分位数结果。
最后,用所生成的预设分位数个分位数结果更新正样本数据集合中相应正样本数据中的相似度。
从而,按照这种方式所生成的正样本数据集合中的相似度分布更加均匀,从而可以使得训练得到的相似度计算模型能够更好的计算相似度。
经过步骤301到步骤304,可以得到预先确定的样本数据集合,从而可以利用上述样本数据集合预先训练相似度计算模型。
本申请的上述实施例提供的方法通过将待计算相似度的第一障碍物点云和第二障碍物点云导入预先训练的相似度计算模型,生成第一障碍物点云和第二障碍物点云之间的相似度,以及输出所生成的相似度,从而减少了确定相似度计算的各种参数的人工成本和时间成本。
进一步参考图4,作为对上述各图所示方法的实现,本申请提供了一种用于输出信息的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例的用于输出信息的装置400包括:生成单元401、输出单元402和训练单元403。其中,生成单元401,配置用于将待计算相似度的第一障碍物点云和第二障碍物点云导入预先训练的相似度计算模型,生成上述第一障碍物点云和上述第二障碍物点云之间的相似度,其中,上述相似度计算模型用于表征两个障碍物点云与相似度之间的对应关系;输出单元402,配置用于输出所生成的相似度;其中,上述相似度计算模型是通过训练单元403得到的,上述训练单元403包括:第一获取模块4031,配置用于获取初始相似度计算模型和预先确定的样本数据集合,其中,每个样本数据包括两个障碍物点云和该两个障碍物点云之间的相似度;训练模块4032,配置用于利用机器学习方法,以上述样本数据集合中的每个样本数据中的两个障碍物点云作为输入数据,并以每个样本数据中的相似度作为相应的输出数据,训练上述初始相似度计算模型;第一确定模块4033,配置用于将训练后的上述初始相似度计算模型确定为上述预先训练的相似度计算模型。
在本实施例中,用于输出信息的装置400的生成单元401、输出单元402以及训练单元403第一获取模块4031、训练模块4032和第一确定模块4033中的具体处理及其所带来的技术效果可分别参考图2对应实施例中的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,上述样本数据集合可以是通过确定单元404得到的,上述确定单元404可以包括:第二获取模块4041,配置用于获取样本激光点云帧序列中的每帧样本激光点云对应的检测障碍物点云和标注障碍物点云,其中,标注障碍物点云包括用于指示标注障碍物点云所表征的物理障碍物的障碍物标识;第一生成模块4042,配置用于由各帧样本激光点云对应的各个标注障碍物点云的障碍物标识中的不同障碍物标识生成障碍物标识集合;第二确定模块4043,配置用于对于每帧样本激光点云对应的每个检测障碍物点云,根据该检测障碍物点云与该帧样本激光点云对应的每个标注障碍物点云之间的相似度,确定该检测障碍物点云对应的预设维数的匹配度向量,上述预设维数为上述障碍物标识集合中障碍物标识的数目,匹配度向量中的各个元素的取值为该检测障碍物点云与上述障碍物标识集合中各个障碍物标识所指示的物理障碍物的匹配度;第二生成模块4044,配置用于根据上述样本激光点云帧序列中所处位置差距小于等于预设数目的两帧样本激光点云中一帧样本激光点云对应的各个检测点云障碍物的匹配度向量与另一帧样本激光点云对应的各个检测点云障碍物的匹配度向量之间的相似度,生成样本数据集合中每个样本数据中的两个障碍物点云和相似度。
在本实施例的一些可选的实现方式中,上述第二生成模块4044可以包括:第一确定子模块(未示出),配置用于对于上述样本激光点云帧序列中所处位置差距小于预设数目的两帧样本激光点云,对于该两帧样本激光云中一帧样本激光点云对应的至少一个检测障碍物点云中的第一检测障碍物点云和另一帧样本激光点云对应的至少一个检测障碍物点云中的第二检测障碍物点云,生成一个样本数据,并将上述第一检测障碍物点云和上述第二检测障碍物点云确定为所生成的样本数据中的两个障碍物点云,将上述第一检测障碍物点云对应的匹配度向量与上述第二检测障碍物点云对应的匹配度向量之间的相似度确定为所生成的样本数据中的相似度;第二确定子模块(未示出),配置用于根据所生成的至少一个样本数据确定上述预先确定的样本数据集合。
在本实施例的一些可选的实现方式中,检测障碍物点云与标注障碍物点云之间的相似度可以为检测障碍物点云与标注障碍物点云之间的杰卡德相似系数。
在本实施例的一些可选的实现方式中,上述第一检测障碍物点云对应的匹配度向量与上述第二检测障碍物点云对应的匹配度向量之间的相似度可以为上述第一检测障碍物点云对应的匹配度向量与上述第二检测障碍物点云对应的匹配度向量之间的内积、杰卡德相似系数或者余弦相似度。
在本实施例的一些可选的实现方式中,上述样本数据集合可以包括相似度大于预设相似度阈值的正样本数据集合和相似度小于等于上述预设相似度阈值的负样本数据集合;以及上述第二确定子模块可以进一步用于:根据所生成的至少一个样本数据中相似度小于等于上述预设相似度阈值的样本数据生成负样本数据集合;根据所生成的至少一个样本数据中相似度大于上述预设相似度阈值的样本数据生成正样本数据集合。
在本实施例的一些可选的实现方式中,上述第二确定子模块可以进一步用于:由所生成的至少一个样本数据中相似度大于上述预设相似度阈值的样本数据生成正样本数据集合;将上述正样本数据集合中的正样本数据按照样本数据中的相似度从小到大的顺序进行排序;根据排序结果,对各上述正样本数据的相似度的执行预设分位数的分位数化操作,生成上述预设分位数个分位数结果;用所生成的上述预设分位数个分位数结果更新上述正样本数据集合中相应正样本数据中的相似度。
在本实施例的一些可选的实现方式中,上述第二确定子模块可以进一步用于:由所生成的至少一个样本数据中相似度小于等于上述预设相似度阈值的样本数据生成负样本数据集合;将上述负样本数据集合中的低匹配度负样本数据删除,其中,低匹配度负样本数据中的两个障碍物点云之间的特征点距离大于预设距离阈值或者低匹配度负样本数据中的两个障碍物点云的预设特征的特征值不同,其中,两个障碍物点云之间的特征点距离是两个障碍物点云中一个障碍物点云对应的特征点坐标与另一个障碍物点云对应的特征点坐标之间的距离。
需要说明的是,本申请实施例提供的用于输出信息的装置中各单元的实现细节和技术效果可以参考图2所示的实施例中的相关说明,在此不再赘述。
下面参考图5,其示出了适于用来实现本申请实施例的驾驶控制设备的计算机系统500的结构示意图。图5示出的驾驶控制设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU,Central Processing Unit)501,其可以根据存储在只读存储器(ROM,Read Only Memory)502中的程序或者从存储部分506加载到随机访问存储器(RAM,Random Access Memory)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM502以及RAM 503通过总线504彼此相连。输入/输出(I/O,Input/Output)接口505也连接至总线504。
以下部件连接至I/O接口505:包括硬盘等的存储部分506;以及包括诸如LAN(局域网,Local Area Network)卡、调制解调器等的网络接口卡的通信部分507。通信部分507经由诸如因特网的网络执行通信处理。驱动器508也根据需要连接至I/O接口505。可拆卸介质509,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器508上,以便于从其上读出的计算机程序根据需要被安装入存储部分506。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分507从网络上被下载和安装,和/或从可拆卸介质509被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括生成单元和输出单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,生成单元还可以被描述为“生成相似度的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:将待计算相似度的第一障碍物点云和第二障碍物点云导入预先训练的相似度计算模型,生成上述第一障碍物点云和上述第二障碍物点云之间的相似度,其中,上述相似度计算模型用于表征两个障碍物点云与相似度之间的对应关系;输出所生成的相似度;其中,上述相似度计算模型是通过如下训练步骤得到的:获取初始相似度计算模型和预先确定的样本数据集合,其中,每个样本数据包括两个障碍物点云和该两个障碍物点云之间的相似度;利用机器学习方法,以上述样本数据集合中的每个样本数据中的两个障碍物点云作为输入数据,并以每个样本数据中的相似度作为相应的输出数据,训练上述初始相似度计算模型;将训练后的上述初始相似度计算模型确定为上述预先训练的相似度计算模型。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种用于输出信息的方法,其特征在于,所述方法包括:
将待计算相似度的第一障碍物点云和第二障碍物点云导入预先训练的相似度计算模型,生成所述第一障碍物点云和所述第二障碍物点云之间的相似度,其中,所述相似度计算模型用于表征两个障碍物点云与相似度之间的对应关系;
输出所生成的相似度;
其中,所述预先训练的相似度计算模型是通过如下训练步骤得到的:
获取初始相似度计算模型和预先确定的样本数据集合,其中,每个样本数据包括两个障碍物点云和该两个障碍物点云之间的相似度;
利用机器学习方法,以所述样本数据集合中的每个样本数据中的两个障碍物点云作为输入数据,并以每个样本数据中的相似度作为相应的输出数据,训练所述初始相似度计算模型;
将训练后的所述初始相似度计算模型确定为所述预先训练的相似度计算模型。
2.根据权利要求1所述的方法,其特征在于,所述样本数据集合是通过如下确定步骤得到的:
获取样本激光点云帧序列中的每帧样本激光点云对应的检测障碍物点云和标注障碍物点云,其中,标注障碍物点云包括用于指示标注障碍物点云所表征的物理障碍物的障碍物标识;
由各帧样本激光点云对应的各个标注障碍物点云的障碍物标识中的不同障碍物标识生成障碍物标识集合;
对于每帧样本激光点云对应的每个检测障碍物点云,根据该检测障碍物点云与该帧样本激光点云对应的每个标注障碍物点云之间的相似度,确定该检测障碍物点云对应的预设维数的匹配度向量,所述预设维数为所述障碍物标识集合中障碍物标识的数目,匹配度向量中的各个元素的取值为该检测障碍物点云与所述障碍物标识集合中各个障碍物标识所指示的物理障碍物的匹配度;
根据所述样本激光点云帧序列中所处位置差距小于等于预设数目的两帧样本激光点云中一帧样本激光点云对应的各个检测点云障碍物的匹配度向量与另一帧样本激光点云对应的各个检测点云障碍物的匹配度向量之间的相似度,生成样本数据集合中每个样本数据中的两个障碍物点云和相似度。
3.根据权利要求2所述的方法,其特征在于,所述根据所述样本激光点云帧序列中所处位置差距小于预设数目的两帧样本激光点云中一帧样本激光点云对应的各个检测点云障碍物的匹配度向量与另一帧样本激光点云对应的各个检测点云障碍物的匹配度向量之间的相似度,生成样本数据集合中每个样本数据中的两个障碍物点云和相似度,包括:
对于所述样本激光点云帧序列中所处位置差距小于预设数目的两帧样本激光点云,对于该两帧样本激光云中一帧样本激光点云对应的至少一个检测障碍物点云中的第一检测障碍物点云和另一帧样本激光点云对应的至少一个检测障碍物点云中的第二检测障碍物点云,生成一个样本数据,并将所述第一检测障碍物点云和所述第二检测障碍物点云确定为所生成的样本数据中的两个障碍物点云,将所述第一检测障碍物点云对应的匹配度向量与所述第二检测障碍物点云对应的匹配度向量之间的相似度确定为所生成的样本数据中的相似度;
根据所生成的至少一个样本数据确定所述预先确定的样本数据集合。
4.根据权利要求3所述的方法,其特征在于,检测障碍物点云与标注障碍物点云之间的相似度为检测障碍物点云与标注障碍物点云之间的杰卡德相似系数。
5.根据权利要求4所述的方法,其特征在于,所述第一检测障碍物点云对应的匹配度向量与所述第二检测障碍物点云对应的匹配度向量之间的相似度为所述第一检测障碍物点云对应的匹配度向量与所述第二检测障碍物点云对应的匹配度向量之间的内积、杰卡德相似系数或者余弦相似度。
6.根据权利要求5所述的方法,其特征在于,所述样本数据集合包括相似度大于预设相似度阈值的正样本数据集合和相似度小于等于所述预设相似度阈值的负样本数据集合;以及
所述根据所生成的至少一个样本数据确定所述预先确定的样本数据集合,包括:
根据所生成的至少一个样本数据中相似度小于等于所述预设相似度阈值的样本数据生成负样本数据集合;
根据所生成的至少一个样本数据中相似度大于所述预设相似度阈值的样本数据生成正样本数据集合。
7.根据权利要求6所述的方法,其特征在于,所述根据所生成的至少一个样本数据中相似度大于所述预设相似度阈值的样本数据生成正样本数据集合,包括:
由所生成的至少一个样本数据中相似度大于所述预设相似度阈值的样本数据生成正样本数据集合;
将所述正样本数据集合中的正样本数据按照样本数据中的相似度从小到大的顺序进行排序;
根据排序结果,对各所述正样本数据的相似度的执行预设分位数的分位数化操作,生成所述预设分位数个分位数结果;
用所生成的所述预设分位数个分位数结果更新所述正样本数据集合中相应正样本数据中的相似度。
8.根据权利要求7所述的方法,其特征在于,所述根据所生成的至少一个样本数据中相似度小于等于所述预设相似度阈值的样本数据生成负样本数据集合,包括:
由所生成的至少一个样本数据中相似度小于等于所述预设相似度阈值的样本数据生成负样本数据集合;
将所述负样本数据集合中的低匹配度负样本数据删除,其中,低匹配度负样本数据中的两个障碍物点云之间的特征点距离大于预设距离阈值或者低匹配度负样本数据中的两个障碍物点云的预设特征的特征值不同,其中,两个障碍物点云之间的特征点距离是两个障碍物点云中一个障碍物点云对应的特征点坐标与另一个障碍物点云对应的特征点坐标之间的距离。
9.一种用于输出信息的装置,其特征在于,所述装置包括:
生成单元,配置用于将待计算相似度的第一障碍物点云和第二障碍物点云导入预先训练的相似度计算模型,生成所述第一障碍物点云和所述第二障碍物点云之间的相似度,其中,所述相似度计算模型用于表征两个障碍物点云与相似度之间的对应关系;
输出单元,配置用于输出所生成的相似度;
其中,所述预先训练的相似度计算模型是通过训练单元得到的,所述训练单元包括:
第一获取模块,配置用于获取初始相似度计算模型和预先确定的样本数据集合,其中,每个样本数据包括两个障碍物点云和该两个障碍物点云之间的相似度;
训练模块,配置用于利用机器学习方法,以所述样本数据集合中的每个样本数据中的两个障碍物点云作为输入数据,并以每个样本数据中的相似度作为相应的输出数据,训练所述初始相似度计算模型;
第一确定模块,配置用于将训练后的所述初始相似度计算模型确定为所述预先训练的相似度计算模型。
10.根据权利要求9所述的装置,其特征在于,所述样本数据集合是通过确定单元得到的,所述确定单元包括:
第二获取模块,配置用于获取样本激光点云帧序列中的每帧样本激光点云对应的检测障碍物点云和标注障碍物点云,其中,标注障碍物点云包括用于指示标注障碍物点云所表征的物理障碍物的障碍物标识;
第一生成模块,配置用于由各帧样本激光点云对应的各个标注障碍物点云的障碍物标识中的不同障碍物标识生成障碍物标识集合;
第二确定模块,配置用于对于每帧样本激光点云对应的每个检测障碍物点云,根据该检测障碍物点云与该帧样本激光点云对应的每个标注障碍物点云之间的相似度,确定该检测障碍物点云对应的预设维数的匹配度向量,所述预设维数为所述障碍物标识集合中障碍物标识的数目,匹配度向量中的各个元素的取值为该检测障碍物点云与所述障碍物标识集合中各个障碍物标识所指示的物理障碍物的匹配度;
第二生成模块,配置用于根据所述样本激光点云帧序列中所处位置差距小于等于预设数目的两帧样本激光点云中一帧样本激光点云对应的各个检测点云障碍物的匹配度向量与另一帧样本激光点云对应的各个检测点云障碍物的匹配度向量之间的相似度,生成样本数据集合中每个样本数据中的两个障碍物点云和相似度。
11.根据权利要求10所述的装置,其特征在于,所述第二生成模块包括:
第一确定子模块,配置用于对于所述样本激光点云帧序列中所处位置差距小于预设数目的两帧样本激光点云,对于该两帧样本激光云中一帧样本激光点云对应的至少一个检测障碍物点云中的第一检测障碍物点云和另一帧样本激光点云对应的至少一个检测障碍物点云中的第二检测障碍物点云,生成一个样本数据,并将所述第一检测障碍物点云和所述第二检测障碍物点云确定为所生成的样本数据中的两个障碍物点云,将所述第一检测障碍物点云对应的匹配度向量与所述第二检测障碍物点云对应的匹配度向量之间的相似度确定为所生成的样本数据中的相似度;
第二确定子模块,配置用于根据所生成的至少一个样本数据确定所述预先确定的样本数据集合。
12.根据权利要求11所述的装置,其特征在于,检测障碍物点云与标注障碍物点云之间的相似度为检测障碍物点云与标注障碍物点云之间的杰卡德相似系数。
13.根据权利要求12所述的装置,其特征在于,所述第一检测障碍物点云对应的匹配度向量与所述第二检测障碍物点云对应的匹配度向量之间的相似度为所述第一检测障碍物点云对应的匹配度向量与所述第二检测障碍物点云对应的匹配度向量之间的内积、杰卡德相似系数或者余弦相似度。
14.根据权利要求13所述的装置,其特征在于,所述样本数据集合包括相似度大于预设相似度阈值的正样本数据集合和相似度小于等于所述预设相似度阈值的负样本数据集合;以及
所述第二确定子模块进一步用于:
根据所生成的至少一个样本数据中相似度小于等于所述预设相似度阈值的样本数据生成负样本数据集合;
根据所生成的至少一个样本数据中相似度大于所述预设相似度阈值的样本数据生成正样本数据集合。
15.根据权利要求14所述的装置,其特征在于,所述第二确定子模块进一步用于:
由所生成的至少一个样本数据中相似度大于所述预设相似度阈值的样本数据生成正样本数据集合;
将所述正样本数据集合中的正样本数据按照样本数据中的相似度从小到大的顺序进行排序;
根据排序结果,对各所述正样本数据的相似度的执行预设分位数的分位数化操作,生成所述预设分位数个分位数结果;
用所生成的所述预设分位数个分位数结果更新所述正样本数据集合中相应正样本数据中的相似度。
16.根据权利要求15所述的装置,其特征在于,所述第二确定子模块进一步用于:
由所生成的至少一个样本数据中相似度小于等于所述预设相似度阈值的样本数据生成负样本数据集合;
将所述负样本数据集合中的低匹配度负样本数据删除,其中,低匹配度负样本数据中的两个障碍物点云之间的特征点距离大于预设距离阈值或者低匹配度负样本数据中的两个障碍物点云的预设特征的特征值不同,其中,两个障碍物点云之间的特征点距离是两个障碍物点云中一个障碍物点云对应的特征点坐标与另一个障碍物点云对应的特征点坐标之间的距离。
17.一种驾驶控制设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN201710813687.4A 2017-09-11 2017-09-11 用于输出信息的方法和装置 Active CN109492656B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710813687.4A CN109492656B (zh) 2017-09-11 2017-09-11 用于输出信息的方法和装置
US16/049,088 US10817748B2 (en) 2017-09-11 2018-07-30 Method and apparatus for outputting information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710813687.4A CN109492656B (zh) 2017-09-11 2017-09-11 用于输出信息的方法和装置

Publications (2)

Publication Number Publication Date
CN109492656A CN109492656A (zh) 2019-03-19
CN109492656B true CN109492656B (zh) 2022-04-29

Family

ID=65632138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710813687.4A Active CN109492656B (zh) 2017-09-11 2017-09-11 用于输出信息的方法和装置

Country Status (2)

Country Link
US (1) US10817748B2 (zh)
CN (1) CN109492656B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110927742A (zh) * 2019-11-19 2020-03-27 杭州飞步科技有限公司 障碍物跟踪方法、装置、设备及存储介质
CN113128248B (zh) * 2019-12-26 2024-05-28 深圳一清创新科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN111368927B (zh) * 2020-03-06 2023-10-03 广州文远知行科技有限公司 一种标注结果处理方法、装置、设备及存储介质
CN111427037B (zh) * 2020-03-18 2022-06-03 北京百度网讯科技有限公司 障碍物的检测方法和装置、电子设备和车端设备
WO2022027159A1 (en) * 2020-08-03 2022-02-10 Beijing Voyager Technology Co., Ltd. Systems and methods for constructing high-definition map with its confidence determined based on crowdsourcing
CN113759346B (zh) * 2020-10-10 2024-06-18 北京京东乾石科技有限公司 一种激光雷达标定方法、装置、电子设备及存储介质
CN113771846B (zh) * 2020-10-28 2023-08-04 北京京东乾石科技有限公司 用于车辆的自动控制方法、装置、系统和介质
US11767028B2 (en) * 2020-12-11 2023-09-26 Aptiv Technologies Limited Change detection criteria for updating sensor-based reference maps
CN112541475B (zh) * 2020-12-24 2024-01-19 北京百度网讯科技有限公司 感知数据检测方法及装置
CN112776799A (zh) * 2021-01-13 2021-05-11 北京小马慧行科技有限公司 车辆的控制方法、计算机可读存储介质、处理器和车辆
CN112945198B (zh) * 2021-02-02 2023-01-31 贵州电网有限责任公司 一种基于激光lidar点云的输电线路铁塔倾斜自动检测方法
CN113033564B (zh) * 2021-02-20 2022-10-14 意欧斯物流科技(上海)有限公司 一种高精度和鲁棒性的2d激光点云匹配的方法
CN113609572B (zh) * 2021-07-06 2023-08-11 武汉大学 一种基于云模型相似度的指标评估方法及装置
CN114353799B (zh) * 2021-12-30 2023-09-05 武汉大学 搭载多线激光雷达的无人驾驶平台室内快速全局定位方法
CN115546293B (zh) * 2022-12-02 2023-03-07 广汽埃安新能源汽车股份有限公司 障碍物信息融合方法、装置、电子设备和计算机可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104554083A (zh) * 2014-11-24 2015-04-29 朱今兰 一种智能行车辅助系统
US9052721B1 (en) * 2012-08-28 2015-06-09 Google Inc. Method for correcting alignment of vehicle mounted laser scans with an elevation map for obstacle detection
CN105761305A (zh) * 2016-02-05 2016-07-13 北京铁道工程机电技术研究所有限公司 一种车辆行驶检测方法及系统
CN106092104A (zh) * 2016-08-26 2016-11-09 深圳微服机器人科技有限公司 一种室内机器人的重定位方法及装置
CN106530297A (zh) * 2016-11-11 2017-03-22 北京睿思奥图智能科技有限公司 基于点云配准的物体抓取区域定位方法
CN106650640A (zh) * 2016-12-05 2017-05-10 浙江大学 一种基于激光雷达点云局部结构特征的负障碍物检测方法
CN106910242A (zh) * 2017-01-23 2017-06-30 中国科学院自动化研究所 基于深度相机进行室内完整场景三维重建的方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2526342A (en) * 2014-05-22 2015-11-25 Nokia Technologies Oy Point cloud matching method
US20160314569A1 (en) * 2015-04-23 2016-10-27 Ilya Lysenkov Method to select best keyframes in online and offline mode
US9824453B1 (en) * 2015-10-14 2017-11-21 Allstate Insurance Company Three dimensional image scan for vehicle
US10137890B2 (en) * 2016-06-28 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded obstacle classification for vehicles
US10663584B2 (en) * 2017-05-26 2020-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. Publishing LIDAR cluster data
US10192115B1 (en) * 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9052721B1 (en) * 2012-08-28 2015-06-09 Google Inc. Method for correcting alignment of vehicle mounted laser scans with an elevation map for obstacle detection
CN104554083A (zh) * 2014-11-24 2015-04-29 朱今兰 一种智能行车辅助系统
CN105761305A (zh) * 2016-02-05 2016-07-13 北京铁道工程机电技术研究所有限公司 一种车辆行驶检测方法及系统
CN106092104A (zh) * 2016-08-26 2016-11-09 深圳微服机器人科技有限公司 一种室内机器人的重定位方法及装置
CN106530297A (zh) * 2016-11-11 2017-03-22 北京睿思奥图智能科技有限公司 基于点云配准的物体抓取区域定位方法
CN106650640A (zh) * 2016-12-05 2017-05-10 浙江大学 一种基于激光雷达点云局部结构特征的负障碍物检测方法
CN106910242A (zh) * 2017-01-23 2017-06-30 中国科学院自动化研究所 基于深度相机进行室内完整场景三维重建的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Semantic3D.net: A new Large-scale Point Cloud Classification Benchmark;Timo Hackel等;《https://arxiv.org/abs/1704.03847》;20170412;第1-9页 *
基于车载激光扫描数据的地物分类和快速建模技术研究;喻亮;《中国博士学位论文全文数据库信息科技辑》;20140115;第I138-53页 *
基于车载激光点云数据的典型地物分类与提取;唐云龙;《中国优秀硕士学位论文全文数据库基础科学辑》;20160315;第A008-27页 *

Also Published As

Publication number Publication date
US20190080203A1 (en) 2019-03-14
CN109492656A (zh) 2019-03-19
US10817748B2 (en) 2020-10-27

Similar Documents

Publication Publication Date Title
CN109492656B (zh) 用于输出信息的方法和装置
US11131999B2 (en) Method and apparatus for identifying laser point cloud data of autonomous vehicle
CN109521756B (zh) 用于无人驾驶车辆的障碍物运动信息生成方法和装置
CN111079619B (zh) 用于检测图像中的目标对象的方法和装置
CN109901567B (zh) 用于输出障碍物信息的方法和装置
CN111291697B (zh) 用于识别障碍物的方法和装置
CN111797526B (zh) 一种仿真测试场景构建方法及装置
EP3644278A1 (en) Method and apparatus for localization based on images and map data
CN113907663B (zh) 障碍物地图构建方法、清洁机器人及存储介质
EP3640846B1 (en) Method and apparatus to train image recognition model, and image recognition method and apparatus
CN111339876B (zh) 用于识别场景中各区域类型的方法和装置
CN111381585B (zh) 一种构建占据栅格地图的方法及其装置、相关设备
CN112654998B (zh) 一种车道线检测方法和装置
CN111401255B (zh) 用于识别分歧路口的方法和装置
CN111469781B (zh) 用于输出信息的方法和装置
US20200380085A1 (en) Simulations with Realistic Sensor-Fusion Detection Estimates of Objects
EP3588007A1 (en) Information processing method and information processing device
US11176823B2 (en) Enhanced vehicle operation
US20230394694A1 (en) Methods and apparatus for depth estimation using stereo cameras in a vehicle system
CN116295497A (zh) 路径生成方法、装置、机器人和存储介质
CN112668371B (zh) 用于输出信息的方法和装置
Prakash et al. Multiple Objects Identification for Autonomous Car using YOLO and CNN
Cattaruzza Design and simulation of autonomous driving algorithms
CN112560324B (zh) 用于输出信息的方法和装置
CN112654997B (zh) 一种车道线检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211009

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Applicant after: Apollo Intelligent Technology (Beijing) Co., Ltd

Address before: 100085 third floor, baidu building, No. 10, Shangdi 10th Street, Haidian District, Beijing

Applicant before: Baidu Online Network Technology (Beijing) Co., Ltd

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant