CN110807439B - 检测障碍物的方法及装置 - Google Patents
检测障碍物的方法及装置 Download PDFInfo
- Publication number
- CN110807439B CN110807439B CN201911101904.2A CN201911101904A CN110807439B CN 110807439 B CN110807439 B CN 110807439B CN 201911101904 A CN201911101904 A CN 201911101904A CN 110807439 B CN110807439 B CN 110807439B
- Authority
- CN
- China
- Prior art keywords
- foreground
- point
- sample
- point cloud
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种检测障碍物的方法及装置,其中,该方法包括:获取基于激光雷达对待测空间进行检测时生成的点云数据;从点云数据中确定与各个前景点分别对应的前景点数据,并基于前景点数据,构建与待测空间对应的第一特征矩阵;将第一特征矩阵输入至预先训练好的障碍物检测模型中,得到与待测空间对应的障碍物检测结果。该方法基于获取的待测空间的点云数据,从点云数据中确定前景点数据,并基于前景点数据,构建与待测空间对应的第一特征矩阵,将第一特征矩阵输入至预先训练好的障碍物检测模型中,使得通过障碍物检测模型得到的障碍物检测结果的准确度较高,提高了障碍物的检测精度。
Description
技术领域
本申请涉及轨道交通技术领域,尤其是涉及一种检测障碍物的方法及装置。
背景技术
目前,在轨道交通领域中,为了保证列车的安全行驶,需要对列车前方是否存在障碍物进行检测,防止列车在行驶过程中与障碍物发生碰撞,对列车的正常行驶造成影响。
在相关技术中,一般基于图像检测方法对列车前方是否存在障碍物进行检测。在该方法中,会实时获取列车行驶方向的图像,并基于深度学习模型对获取到的图像进行障碍物检测,以确定列车行驶方向是否存在障碍物。但是通过上述方法检测障碍物时,要求获取的图像的分辨率较高,当图像的分辨率较低时,对障碍物的检测精度较低,会出现误检、漏检的情况,进而造成列车的错误停车、错误报警、或者与障碍物发生碰撞,对列车的正常行驶造成影响。
发明内容
有鉴于此,本申请的目的在于提供一种检测障碍物的方法及装置,以提高障碍物的检测精度。
第一方面,本申请实施例提供了一种检测障碍物的方法,所述方法包括:
获取基于激光雷达对待测空间进行检测时生成的点云数据;所述点云数据包括所述待测空间中各个位置点分别对应的检测结果;所述待测空间中的位置点包括前景点;
从所述点云数据中,确定与各个所述前景点分别对应的前景点数据,并基于前景点数据,构建与所述待测空间对应的第一特征矩阵;所述第一特征矩阵用于表征所述待测空间的空间状态;
将所述第一特征矩阵输入至预先训练好的障碍物检测模型中,得到与所述待测空间对应的障碍物检测结果。
本申请的一些实施例中,所述从所述点云数据中,确定与各个所述前景点分别对应的前景点数据,包括:
将所述点云数据输入至预先训练好的点云语义分割模型中,获取所述点云数据中各个位置点分别对应的语义分割结果;
基于所述语义分割结果,从所述点云数据中确定与各个前景点分别对应的所述前景点数据。
本申请的一些实施例中,所述点云语义分割模型包括:第一卷积模块、第二卷积模块、第一池化层、以及分类器;所述第一卷积模块包括多个第一卷积层;所述第二卷积模块,包括至少一个第二卷积层;
采用下述方式训练得到所述点云语义分割模型:
获取多组样本点云数据,每组样本点云数据包括:多个样本位置点分别对应的样本点数据,以及每个所述样本位置点是否为前景点的标签;
针对每组样本点云数据,执行下述处理过程:
将所述样本点云数据输入至所述点云语义分割模型的第一卷积模块进行多次卷积处理,获取所述样本点云数据对应的第一样本特征向量,以及所述第一卷积模块中目标第一卷积层输出的中间样本特征向量;所述目标第一卷积层为除最后一层第一卷积层以外的任一第一卷积层;
将所述第一样本特征向量输入至所述第一池化层进行池化处理,得到第二样本特征向量;
将所述第二样本特征向量以及所述中间样本特征向量进行拼接,得到第三样本特征向量,并将所述第三样本特征向量输入至所述第二卷积模块进行至少一次卷积处理,获取所述第二卷积模块输出的样本特征向量;
将所述样本特征向量输入至所述分类器,得到与该组样本点云数据对应的语义分割结果;
基于各组所述样本点云数据分别对应的所述语义分割结果,以及所述标签,对所述第一卷积模块、所述第二卷积模块、所述第一池化层、以及所述分类器进行本轮训练;
经过对所述第一卷积模块、所述第二卷积模块、所述第一池化层、以及所述分类器的多轮训练,得到所述点云语义分割模型。
本申请的一些实施例中,所述基于前景点数据,构建与所述待测空间对应的第一特征矩阵,包括:
将所述待测空间划分为多个子空间;
针对每个所述子空间:从各个所述前景点中,确定属于该子空间的目标前景点,并对所述目标前景点进行采样,获取与该子空间对应的采样前景点;将所述采样前景点对应的前景点数据,输入至预先训练好的特征提取模型中,得到所述子空间对应的子特征向量;
基于所有所述子空间中分别对应的子特征向量,得到所述第一特征矩阵。
本申请的一些实施例中,所述对所述目标前景点进行采样,获取与该子空间对应的采样前景点,包括:
将该子空间中任一目标前景点作为基准前景点,并从该子空间内除所述基准前景点外的其他目标前景点中,确定与所述基准前景点距离最远的目标前景点作为采样前景点;
将确定的所述采样前景点作为新的基准前景点,并返回至从该子空间内除所述基准前景点外的其他目标前景点中,确定与所述基准前景点距离最远的目标前景点作为采样前景点的步骤,直至确定的所述采样前景点的数量达到预设数量。
本申请的一些实施例中,所述特征提取模型包括:线性处理模块、卷积层、第二池化层、以及第三池化层;
所述将所述采样前景点对应的前景点数据,输入至预先训练好的特征提取模型中,得到所述子空间对应的子特征向量,包括:
将该子空间中各个采样前景点分别对应的前景点数据输入至所述线性处理模块进行线性变换处理,得到第一线性特征向量,并将所述第一线性特征向量输入至所述第二池化层进行最大池化处理,得到第二线性特征向量;以及,
将该子空间中各个采样前景点分别对应的前景点数据输入至所述卷积层进行卷积处理,得到第一卷积特征向量;
将所述第二线性特征向量与所述第一卷积特征向量进行连接,得到第一融合特征向量;
将所述第一融合特征向量输入至所述第三最大池化层进行池化处理,得到该子空间对应的子特征向量。
第二方面,本申请实施例还提供一种检测障碍物的装置,所述装置包括:
数据获取模块,用于获取基于激光雷达对待测空间进行检测时生成的点云数据;所述点云数据包括所述待测空间中各个位置点分别对应的检测结果;所述待测空间中的位置点包括前景点;
特征矩阵构建模块,用于从所述点云数据中,确定与各个所述前景点分别对应的前景点数据,并基于前景点数据,构建与所述待测空间对应的第一特征矩阵;所述第一特征矩阵用于表征所述待测空间的空间状态;
检测结果确定模块,用于将所述第一特征矩阵输入至预先训练好的障碍物检测模型中,得到与所述待测空间对应的障碍物检测结果。
本申请的一些实施例中,所述特征矩阵构建模块,利用下述步骤确定与各个所述前景点分别对应的前景点数据:
将所述点云数据输入至预先训练好的点云语义分割模型中,获取所述点云数据中各个位置点分别对应的语义分割结果;
基于所述语义分割结果,从所述点云数据中确定与各个前景点分别对应的所述前景点数据。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面的任一种可能的实施方式中所述的检测障碍物的方法的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面的任一种可能的实施方式中所述的检测障碍物的方法的步骤。
本申请实施例提供了一种检测障碍物的方法及装置,其中,检测障碍物的方法,包括:获取基于激光雷达对待测空间进行检测时生成的点云数据;点云数据包括待测空间中各个位置点分别对应的检测结果;待测空间中的位置点包括前景点;从点云数据中,确定与各个前景点分别对应的前景点数据,并基于前景点数据,构建与待测空间对应的第一特征矩阵;第一特征矩阵用于表征待测空间的空间状态;将第一特征矩阵输入至预先训练好的障碍物检测模型中,得到与待测空间对应的障碍物检测结果。上述检测障碍物的方法,基于获取的待测空间的点云数据,从点云数据中确定前景点数据,并基于前景点数据,构建与待测空间对应的第一特征矩阵,将第一特征矩阵输入至预先训练好的障碍物检测模型中,使得通过障碍物检测模型得到的障碍物检测结果的准确度较高,提高了障碍物的检测精度。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种检测障碍物的方法的流程图;
图2示出了本申请实施例所提供的一种训练点云语义分割模型的方法的流程图;
图3示出了本申请实施例所提供的一种点云语义分割模型的结构示意图;
图4示出了本申请实施例所提供的一种特征提取模型的结构示意图;
图5示出了本申请实施例所提供的一种检测障碍物的装置的结构示意图;
图6示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
考虑到在相关技术中,一般基于图像检测方法对列车前方是否存在障碍物进行检测。在该方法中,会实时获取列车行驶方向的图像,并基于深度学习模型对获取到的图像进行障碍物检测,以确定列车行驶方向是否存在障碍物。但是通过上述方法检测障碍物时,要求获取的图像的分辨率较高,当图像的分辨率较低时,对障碍物的检测精度较低,会出现误检、漏检的情况,进而造成列车的错误停车、错误报警、或者与障碍物发生碰撞,对列车的正常行驶造成影响。基于此,本申请实施例提供了一种检测障碍物的方法及装置,下面通过实施例进行描述。
为便于对本实施例进行理解,首先对本申请实施例所公开的一种检测障碍物的方法进行详细介绍。
实施例一
本申请实施例提供了一种检测障碍物的方法,该方法可应用于有轨列车行驶场景中,例如,应用于地铁场景中,在地铁行驶过程中,对地铁行驶前方的空间中的障碍物进行实时检测,检测行驶方向上是否存在障碍物,避免地铁与障碍物发生碰撞,保障了地铁的安全行驶。
参见图1所示的一种检测障碍物的方法的流程图,该方法包括S101-S103,具体过程如下:
S101,获取基于激光雷达对待测空间进行检测时生成的点云数据;点云数据包括待测空间中各个位置点分别对应的检测结果;待测空间中的位置点包括前景点。
示例性的,以该检测障碍物的方法应用于地铁场景中为例说明,则可将激光雷达设置在列车的驾驶室车窗外下方位置,使得激光雷达能够对列车前方的待测空间进行扫描,实时的获取待测空间的点云数据。以激光雷达的位置为点云所在坐标系的原点,待测空间中各个位置点分别对应的检测结果包括每个点的三维坐标以及每个点的反射率。其中,待测空间中的位置点还包括非前景点,前景点指障碍物的点。
示例性的,该待测空间可以为长方体空间,该长方体空间的高度可以为4米,以地面为基准面,向上延伸4米;长度为70.4米,以激光雷达为起点,向列车行驶前方延伸70.4米;宽度为20米,以激光雷达的位置点为原点,向左延伸10米,向右延伸10米。其中,待测空间的大小及形状,可以根据实际需要进行设置。
S102,从点云数据中,确定与各个前景点分别对应的前景点数据,并基于前景点数据,构建与待测空间对应的第一特征矩阵;第一特征矩阵用于表征待测空间的空间状态。
本申请实施例中,需要从点云数据中,筛选出前景点数据,并基于前景点数据,构建与待测空间对应的第一特征矩阵。
作为一可选实施例,从点云数据中,确定与各个前景点分别对应的前景点数据,包括:
第一,将点云数据输入至预先训练好的点云语义分割模型中,获取点云数据中各个位置点分别对应的语义分割结果;其中,任一位置点对应的语义分割结果包括:前景点与非前景点中的一种。
第二,基于语义分割结果,从点云数据中确定与各个前景点分别对应的前景点数据。
作为一可选实施例,点云语义分割模型包括:第一卷积模块、第二卷积模块、第一池化层、以及分类器;第一卷积模块包括多个第一卷积层;第二卷积模块,包括至少一个第二卷积层。
参见图2所示的是一种训练点云语义分割模型的方法的流程图,具体的,采用下述方式训练得到点云语义分割模型:
S201,获取多组样本点云数据,每组样本点云数据包括:多个样本位置点分别对应的样本点数据,以及每个样本位置点是否为前景点的标签。
本申请实施例中,以地铁场景为例说明,该样本点云数据为激光雷达从地铁场景中获取到的点云数据,且该样本点云数据中的每个样本位置点携带有标签,标签包括前景点以及非前景点。其中,样本点云数据的数量可以根据需要进行确定。
S202,针对每组样本点云数据,执行下述处理过程:
S203,将样本点云数据输入至点云语义分割模型的第一卷积模块进行多次卷积处理,获取样本点云数据对应的第一样本特征向量,以及第一卷积模块中目标第一卷积层输出的中间样本特征向量;目标第一卷积层为除最后一层第一卷积层以外的任一第一卷积层。
S204,将第一样本特征向量输入至第一池化层进行池化处理,得到第二样本特征向量。
S205,将第二样本特征向量以及中间样本特征向量进行拼接,得到第三样本特征向量,并将第三样本特征向量输入至第二卷积模块进行至少一次卷积处理,获取第二卷积模块输出的样本特征向量。
S206,将样本特征向量输入至所述分类器,得到与该组样本点云数据对应的语义分割结果,基于各组样本点云数据分别对应的语义分割结果,以及标签,对第一卷积模块、第二卷积模块、第一池化层、以及分类器进行本轮训练。
S207,经过对第一卷积模块、第二卷积模块、第一池化层、以及分类器的多轮训练,得到点云语义分割模型。
示例性说明,如图3所示的是一种点云语义分割模型的结构示意图,该点云语义分割模型包括:第一卷积模块301、第二卷积模块302、第一池化层303、以及分类器304;第一卷积模块包括四个第一卷积层311;第二卷积模块,包括两个第二卷积层321,其中,第一卷积模块包括四个第一卷积层,每个第一卷积层中卷积核的大小均为1×1,且四个第一卷积层的深度依次为4、64、128、512,优选的,目标第一卷积层为深度为128的第一卷积层。第二卷积模块包括两个第二卷积层,每个第二卷积层中卷积核的大小均为1×1,且两个第一卷积层的深度依次为128、2。
承接上述示例继续说明,将样本点云数据输入至第一卷积模块,第一卷积模块中的深度为4的第一卷积层对样本点云数据进行卷积处理,将处理得到的样本特征向量A输入至深度为64的第一卷积层进行卷积处理,再将处理得到的样本特征向量B输入至深度为128的第一卷积层进行卷积处理,进一步将处理得到的样本特征向量C输入至深度为512的第一卷积层进行卷积处理,得到样本点云数据对应的第一样本特征向量,其中,中间样本特征向量为样本特征向量C。将第一样本特征向量输入至第一池化层进行池化处理,得到第二样本特征向量。将第二样本特征向量以及中间样本特征向量即样本特征向量C进行拼接,得到第三样本特征向量。并将第三样本特征向量输入至第二卷积模块中,第二卷积模块中深度为128的第二卷积层对第三样本特征向量进行卷积处理,将处理得到的样本特征向量输入至深度为2的第二卷积层再进行一次卷积处理,获取第二卷积模块输出的样本特征向量。将样本特征向量输入至分类器,得到与该组样本点云数据对应的语义分割结果,基于各组样本点云数据分别对应的语义分割结果,以及标签,对第一卷积模块、第二卷积模块、第一池化层、以及分类器进行本轮训练。
本申请实施例中,将第二样本特征向量与中间样本特征向量进行拼接,使得得到的第三样本特征向量中既包括每个位置点自身的特征,也包括该位置点相对整个点云数据的特征,即得到的第三样本特征向量中包含的点云数据的特征较为全面,基于第三样本特征向量,得到的语义分割结果较为准确。
作为一可选实施例,基于前景点数据,构建与待测空间对应的第一特征矩阵,包括:
第一,将待测空间划分为多个子空间。
示例性的,子空间对应的长度可以为0.2米,宽度可以为0.2米,高度为4米,则若待测空间的长度为70.4米,宽度为20米,高度为4米,则可将该待测空间划分为35200个0.2米×0.2米×4米的子空间。
第二,针对每个子空间:从各个前景点中,确定属于该子空间的目标前景点,并对目标前景点进行采样,获取与该子空间对应的采样前景点;将采样前景点对应的前景点数据,输入至预先训练好的特征提取模型中,得到子空间对应的子特征向量。
本申请实施例中,优选的,采样前景点的数量可以为35个,具体的,采样前景点的数量可以根据实际情况进行设置。
第三,基于所有子空间中分别对应的子特征向量,得到第一特征矩阵。
本申请实施例中,若目标前景点的数量大于采样前景点的数量,则对目标前景点进行采样,获取与该子空间对应的采样前景点,包括:
将该子空间中任一目标前景点作为基准前景点,并从该子空间内除基准前景点外的其他目标前景点中,确定与基准前景点距离最远的目标前景点作为采样前景点。
将确定的采样前景点作为新的基准前景点,并返回至从该子空间内除基准前景点外的其他目标前景点中,确定与基准前景点距离最远的目标前景点作为采样前景点的步骤,直至确定的采样前景点的数量达到预设数量。
本申请实施例中,若目标前景点的数量等于采样前景点的数量,则目标前景点即为采样前景点。
本申请实施例中,若目标前景点的数量小于采样前景点的数量,则将目标前景点进行复制,直到采样前景点即目标前景点与复制点的数量之和达到预设数量。
作为一可选实施例,参见图4所示的是一种特征提取模型的结构示意图,特征提取模型包括:线性处理模块401、卷积层402、第二池化层403、以及第三池化层404。
将采样前景点对应的前景点数据,输入至预先训练好的特征提取模型中,得到子空间对应的子特征向量,包括:
将该子空间中各个采样前景点分别对应的前景点数据输入至线性处理模块进行线性变换处理,得到第一线性特征向量,并将第一线性特征向量输入至第二池化层进行最大池化处理,得到第二线性特征向量;以及,将该子空间中各个采样前景点分别对应的前景点数据输入至卷积层进行卷积处理,得到第一卷积特征向量。
将第二线性特征向量与第一卷积特征向量进行连接,得到第一融合特征向量;将第一融合特征向量输入至第三最大池化层进行池化处理,得到该子空间对应的子特征向量。
本申请实施例中,通过上述过程可得到每个子空间对应的子特征向量,进而基于所有子空间中分别对应的子特征向量,得到了第一特征矩阵。
S103,将第一特征矩阵输入至预先训练好的障碍物检测模型中,得到与待测空间对应的障碍物检测结果。
本申请实施例中,障碍物检测结果包括障碍物的类别、位置以及运动角度中一种或者多种。
示例性的,障碍物的类别包括:背景、机动车辆、行人以及有轨列车等。障碍物类别可以根据需要进行设置。现有技术中的障碍物检测方法,能够检测到图像中是否存在障碍物,但无法检测到障碍物的实际位置,也无法检测到运动中的障碍物的行驶方向,即无法准确检测到障碍物的状况,使得无法基于障碍物的状况,对列车的行驶状况进行判断,进而对列车的正常行驶造成影响。与现有技术相比,本申请的检测障碍物的方法,既能对障碍物的类别进行检测,又也对障碍物的位置以及运动角度进行检测,能够较准确的检测到障碍物的状况,基于该障碍物的状况对列车的行驶状况进行判断,进而能更准确的保障列车的正常行驶。
示例性说明,本申请实施例中,通过下述过程得到障碍物的类别:
将第一特征矩阵输入至预先训练好的障碍物检测模型中,障碍物检测模型的第一检测卷积层对第一特征矩阵进行卷积处理,得到第一特征矩阵对应的第一检测特征矩阵;将第一检测特征矩阵输入至第一检测卷积层,第一检测卷积层对第一检测特征矩阵进行卷积处理,得到第一检测特征矩阵对应的第二检测特征矩阵;将第一检测特征矩阵输入至第二检测卷积层进行卷积处理,得到第一检测特征矩阵对应的第三检测特征矩阵;对第二检测特征矩阵进行上采样处理,得到第二检测特征矩阵对应的第四检测特征矩阵;将第三检测特征矩阵与第四检测特征矩阵进行连接,得到第一特征矩阵对应的第二特征矩阵。
将第二特征矩阵输入至第一卷积神经网络中进行卷积处理,得到第二特征矩阵对应的第一分类特征矩阵,第一分类特征矩阵包括多个分类特征向量;将待测空间划分为多个空间格,其中,空间格的数量与分类特征向量的数量相同,每个空间格对应一分类特征向量;将第一分类特征矩阵中的多个分类特征向量输入至第二分类器中,得到每个空间格中障碍物的种类;基于每个空间格中障碍物的种类,得到待测空间中障碍物的种类。
示例性的,第一检测卷积层中卷积核的尺寸为3×3,深度为128,步长为2。第二检测卷积层中卷积核的尺寸为1×1,深度为256。第一卷积神经网络中卷积核的尺寸为1×1,深度为4。第二卷积神经网络中卷积核的尺寸为1×1,深度为14。
本申请实施例中,通过下述过程对障碍物的位置以及运动角度进行监测:
将第二特征矩阵输入至第二卷积神经网络中进行卷积处理,得到第二特征矩阵对应的第二分类特征数据,第二分类特征数据中包括多个第二分类特征向量,第二分类特征向量的数量与空间格的数量相同,且第二分类特征向量与空间格一一对应。
根据每个第二分类特征向量中的多个元素值,基于预设矩形边框以及预设角度,得到与该第二分类特征向量对应的空间格的检测边框,每个检测边框对应一角度值;根据非极大抑制算法,对多个检测边框进行处理,得到待测空间对应的最优检测边框,最优检测边框的位置即为待测空间中障碍物的位置,最优边框对应的角度值即为该障碍物的运动角度。
本申请实施例中,元素值的数量可以为7个、14个等。以元素值的数量为14为例进行说明,将14个元素值平均分为两组数据,其中,每组数据中的7个元素值分别为Δl,Δw,Δh,Δα,Δx,Δy,Δz,其中,Δl为障碍物对应的检测边框的长度与预设矩形框的长度之间的差值,Δw为障碍物对应的检测边框的宽度与预设矩形框的宽度之间的差值,Δh为障碍物对应的检测边框的高度与预设矩形框的高度之间的差值,Δα为障碍物对应的运动角度与预设角度之间的差值,Δx、Δy、Δz为在三维坐标系中,障碍物对应的检测边框的中心点与预设矩形框的中心点之间在x轴、y轴、以及z轴上的差值。两组数据中的预设角度不同,例如,第一组数据中的预设角度可以为0度,第二组数据中的预设角度可以为90度。因此,通过两组数据,可得到每个空间格对应的两个检测边框,以及每个检测边框对应一角度值。
根据非极大抑制算法,对多个检测边框进行处理,得到待测空间中障碍物的位置以及运动角度。其中,非极大抑制算法为现有技术中常用的寻找局部最大值算法,本申请实施例对此不进行详细说明。
本申请实施例提供的检测障碍物的方法,包括:获取基于激光雷达对待测空间进行检测时生成的点云数据;点云数据包括待测空间中各个位置点分别对应的检测结果;待测空间中的位置点包括前景点;从点云数据中,确定与各个前景点分别对应的前景点数据,并基于前景点数据,构建与待测空间对应的第一特征矩阵;第一特征矩阵用于表征待测空间的空间状态;将第一特征矩阵输入至预先训练好的障碍物检测模型中,得到与待测空间对应的障碍物检测结果。上述检测障碍物的方法,基于获取的待测空间的点云数据,从点云数据中确定前景点数据,并基于前景点数据,构建与待测空间对应的第一特征矩阵,将第一特征矩阵输入至预先训练好的障碍物检测模型中,使得通过障碍物检测模型得到的障碍物检测结果的准确度较高,提高了障碍物的检测精度。
基于同一发明构思,本申请实施例中还提供了与检测障碍物的方法对应的检测障碍物的装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述检测障碍物的方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
实施例二
本申请实施例提供了一种检测障碍物的装置,如图5所示的是一种检测障碍物的装置的结构示意图,所述装置包括:
数据获取模块501,用于获取基于激光雷达对待测空间进行检测时生成的点云数据;所述点云数据包括所述待测空间中各个位置点分别对应的检测结果;所述待测空间中的位置点包括前景点。
特征矩阵构建模块502,用于从所述点云数据中,确定与各个所述前景点分别对应的前景点数据,并基于前景点数据,构建与所述待测空间对应的第一特征矩阵;所述第一特征矩阵用于表征所述待测空间的空间状态。
检测结果确定模块503,用于将所述第一特征矩阵输入至预先训练好的障碍物检测模型中,得到与所述待测空间对应的障碍物检测结果。
作为一可选实施例,所述特征矩阵构建模块,利用下述步骤确定与各个所述前景点分别对应的前景点数据:
将所述点云数据输入至预先训练好的点云语义分割模型中,获取所述点云数据中各个位置点分别对应的语义分割结果。
基于所述语义分割结果,从所述点云数据中确定与各个前景点分别对应的所述前景点数据。
作为一可选实施例,所述装置还包括:点云语义分割模型训练模块;所述点云语义分割模型包括:第一卷积模块、第二卷积模块、第一池化层、以及分类器;所述第一卷积模块包括多个第一卷积层;所述第二卷积模块,包括至少一个第二卷积层。
点云语义分割模型训练模块,利用下述步骤训练得到所述点云语义分割模型:
获取多组样本点云数据,每组样本点云数据包括:多个样本位置点分别对应的样本点数据,以及每个所述样本位置点是否为前景点的标签。
针对每组样本点云数据,执行下述处理过程:
将所述样本点云数据输入至所述点云语义分割模型的第一卷积模块进行多次卷积处理,获取所述样本点云数据对应的第一样本特征向量,以及所述第一卷积模块中目标第一卷积层输出的中间样本特征向量;所述目标第一卷积层为除最后一层第一卷积层以外的任一第一卷积层。
将所述第一样本特征向量输入至所述第一池化层进行池化处理,得到第二样本特征向量。
将所述第二样本特征向量以及所述中间样本特征向量进行拼接,得到第三样本特征向量,并将所述第三样本特征向量输入至所述第二卷积模块进行至少一次卷积处理,获取所述第二卷积模块输出的样本特征向量。
将所述样本特征向量输入至所述分类器,得到与该组样本点云数据对应的语义分割结果。
基于各组所述样本点云数据分别对应的所述语义分割结果,以及所述标签,对所述第一卷积模块、所述第二卷积模块、所述第一池化层、以及所述分类器进行本轮训练。
经过对所述第一卷积模块、所述第二卷积模块、所述第一池化层、以及所述分类器的多轮训练,得到所述点云语义分割模型。
作为一可选实施例,所述特征矩阵构建模块,利用下述步骤构建与所述待测空间对应的第一特征矩阵:
将所述待测空间划分为多个子空间。
针对每个所述子空间:从各个所述前景点中,确定属于该子空间的目标前景点,并对所述目标前景点进行采样,获取与该子空间对应的采样前景点;将所述采样前景点对应的前景点数据,输入至预先训练好的特征提取模型中,得到所述子空间对应的子特征向量。
基于所有所述子空间中分别对应的子特征向量,得到所述第一特征矩阵。
作为一可选实施例,所述特征矩阵构建模块,利用下述步骤获取与该子空间对应的采样前景点,包括:
将该子空间中任一目标前景点作为基准前景点,并从该子空间内除所述基准前景点外的其他目标前景点中,确定与所述基准前景点距离最远的目标前景点作为采样前景点。
将确定的所述采样前景点作为新的基准前景点,并返回至从该子空间内除所述基准前景点外的其他目标前景点中,确定与所述基准前景点距离最远的目标前景点作为采样前景点的步骤,直至确定的所述采样前景点的数量达到预设数量。
作为一可选实施例,所述特征提取模型包括:线性处理模块、卷积层、第二池化层、以及第三池化层。
所述特征矩阵构建模块,利用下述步骤得到所述子空间对应的子特征向量,包括:
将该子空间中各个采样前景点分别对应的前景点数据输入至所述线性处理模块进行线性变换处理,得到第一线性特征向量,并将所述第一线性特征向量输入至所述第二池化层进行最大池化处理,得到第二线性特征向量;以及,将该子空间中各个采样前景点分别对应的前景点数据输入至所述卷积层进行卷积处理,得到第一卷积特征向量。
将所述第二线性特征向量与所述第一卷积特征向量进行连接,得到第一融合特征向量。
将所述第一融合特征向量输入至所述第三最大池化层进行池化处理,得到该子空间对应的子特征向量。
本申请实施例提供的检测障碍物的装置,与上述实施例一提供的检测障碍物的方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
实施例三
基于同一技术构思,本申请实施例还提供了一种电子设备。参照图6所示,为本申请实施例提供的电子设备600的结构示意图,包括处理器601、存储器602、和总线603。其中,存储器602用于存储执行指令,包括内存6021和外部存储器6022;这里的内存6021也称内存储器,用于暂时存放处理器601中的运算数据,以及与硬盘等外部存储器6022交换的数据,处理器601通过内存6021与外部存储器6022进行数据交换,当电子设备600运行时,处理器601与存储器602之间通过总线603通信,使得处理器601在执行以下指令:
获取基于激光雷达对待测空间进行检测时生成的点云数据;所述点云数据包括所述待测空间中各个位置点分别对应的检测结果;所述待测空间中的位置点包括前景点;
从所述点云数据中,确定与各个所述前景点分别对应的前景点数据,并基于前景点数据,构建与所述待测空间对应的第一特征矩阵;所述第一特征矩阵用于表征所述待测空间的空间状态;
将所述第一特征矩阵输入至预先训练好的障碍物检测模型中,得到与所述待测空间对应的障碍物检测结果。
一种可能设计中,处理器601可能执行的指令中,还包括:
将所述点云数据输入至预先训练好的点云语义分割模型中,获取所述点云数据中各个位置点分别对应的语义分割结果;
基于所述语义分割结果,从所述点云数据中确定与各个前景点分别对应的所述前景点数据。
一种可能设计中,处理器601可能执行的指令中,还包括:
所述点云语义分割模型包括:第一卷积模块、第二卷积模块、第一池化层、以及分类器;所述第一卷积模块包括多个第一卷积层;所述第二卷积模块,包括至少一个第二卷积层;
采用下述方式训练得到所述点云语义分割模型:
获取多组样本点云数据,每组样本点云数据包括:多个样本位置点分别对应的样本点数据,以及每个所述样本位置点是否为前景点的标签;
针对每组样本点云数据,执行下述处理过程:
将所述样本点云数据输入至所述点云语义分割模型的第一卷积模块进行多次卷积处理,获取所述样本点云数据对应的第一样本特征向量,以及所述第一卷积模块中目标第一卷积层输出的中间样本特征向量;所述目标第一卷积层为除最后一层第一卷积层以外的任一第一卷积层;
将所述第一样本特征向量输入至所述第一池化层进行池化处理,得到第二样本特征向量;
将所述第二样本特征向量以及所述中间样本特征向量进行拼接,得到第三样本特征向量,并将所述第三样本特征向量输入至所述第二卷积模块进行至少一次卷积处理,获取所述第二卷积模块输出的样本特征向量;
将所述样本特征向量输入至所述分类器,得到与该组样本点云数据对应的语义分割结果;
基于各组所述样本点云数据分别对应的所述语义分割结果,以及所述标签,对所述第一卷积模块、所述第二卷积模块、所述第一池化层、以及所述分类器进行本轮训练;
经过对所述第一卷积模块、所述第二卷积模块、所述第一池化层、以及所述分类器的多轮训练,得到所述点云语义分割模型。
一种可能设计中,处理器601可能执行的指令中,还包括:
将所述待测空间划分为多个子空间;
针对每个所述子空间:从各个所述前景点中,确定属于该子空间的目标前景点,并对所述目标前景点进行采样,获取与该子空间对应的采样前景点;将所述采样前景点对应的前景点数据,输入至预先训练好的特征提取模型中,得到所述子空间对应的子特征向量;
基于所有所述子空间中分别对应的子特征向量,得到所述第一特征矩阵。
一种可能设计中,处理器601可能执行的指令中,还包括:
将该子空间中任一目标前景点作为基准前景点,并从该子空间内除所述基准前景点外的其他目标前景点中,确定与所述基准前景点距离最远的目标前景点作为采样前景点;
将确定的所述采样前景点作为新的基准前景点,并返回至从该子空间内除所述基准前景点外的其他目标前景点中,确定与所述基准前景点距离最远的目标前景点作为采样前景点的步骤,直至确定的所述采样前景点的数量达到预设数量。
一种可能设计中,处理器601可能执行的指令中,还包括:
所述特征提取模型包括:线性处理模块、卷积层、第二池化层、以及第三池化层;
所述将所述采样前景点对应的前景点数据,输入至预先训练好的特征提取模型中,得到所述子空间对应的子特征向量,包括:
将该子空间中各个采样前景点分别对应的前景点数据输入至所述线性处理模块进行线性变换处理,得到第一线性特征向量,并将所述第一线性特征向量输入至所述第二池化层进行最大池化处理,得到第二线性特征向量;以及,
将该子空间中各个采样前景点分别对应的前景点数据输入至所述卷积层进行卷积处理,得到第一卷积特征向量;
将所述第二线性特征向量与所述第一卷积特征向量进行连接,得到第一融合特征向量;
将所述第一融合特征向量输入至所述第三最大池化层进行池化处理,得到该子空间对应的子特征向量。
实施例四
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述任一实施例中所述的检测障碍物的方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述检测障碍物的方法的步骤,从而提高障碍物的检测精度。
本申请实施例所提供的进行检测障碍物的方法的计算机程序产品,包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (5)
1.一种检测障碍物的方法,其特征在于,所述方法包括:
获取基于激光雷达对待测空间进行检测时生成的点云数据;所述点云数据包括所述待测空间中各个位置点分别对应的检测结果;所述待测空间中的位置点包括前景点;
从所述点云数据中,确定与各个所述前景点分别对应的前景点数据,并基于前景点数据,构建与所述待测空间对应的第一特征矩阵;所述第一特征矩阵用于表征所述待测空间的空间状态;
将所述第一特征矩阵输入至预先训练好的障碍物检测模型中,得到与所述待测空间对应的障碍物检测结果;
所述从所述点云数据中,确定与各个所述前景点分别对应的前景点数据,包括:
将所述点云数据输入至预先训练好的点云语义分割模型中,获取所述点云数据中各个位置点分别对应的语义分割结果;
基于所述语义分割结果,从所述点云数据中确定与各个前景点分别对应的所述前景点数据;
所述点云语义分割模型包括:第一卷积模块、第二卷积模块、第一池化层、以及分类器;所述第一卷积模块包括多个第一卷积层;所述第二卷积模块,包括至少一个第二卷积层;
采用下述方式训练得到所述点云语义分割模型:
获取多组样本点云数据,每组样本点云数据包括:多个样本位置点分别对应的样本点数据,以及每个所述样本位置点是否为前景点的标签;
针对每组样本点云数据,执行下述处理过程:
将所述样本点云数据输入至所述点云语义分割模型的第一卷积模块进行多次卷积处理,获取所述样本点云数据对应的第一样本特征向量,以及所述第一卷积模块中目标第一卷积层输出的中间样本特征向量;所述目标第一卷积层为除最后一层第一卷积层以外的任一第一卷积层;
将所述第一样本特征向量输入至所述第一池化层进行池化处理,得到第二样本特征向量;
将所述第二样本特征向量以及所述中间样本特征向量进行拼接,得到第三样本特征向量,并将所述第三样本特征向量输入至所述第二卷积模块进行至少一次卷积处理,获取所述第二卷积模块输出的样本特征向量;
将所述样本特征向量输入至所述分类器,得到与该组样本点云数据对应的语义分割结果;
基于各组所述样本点云数据分别对应的所述语义分割结果,以及所述标签,对所述第一卷积模块、所述第二卷积模块、所述第一池化层、以及所述分类器进行本轮训练;
经过对所述第一卷积模块、所述第二卷积模块、所述第一池化层、以及所述分类器的多轮训练,得到所述点云语义分割模型;
所述基于前景点数据,构建与所述待测空间对应的第一特征矩阵,包括:
将所述待测空间划分为多个子空间;
针对每个所述子空间:从各个所述前景点中,确定属于该子空间的目标前景点,并对所述目标前景点进行采样,获取与该子空间对应的采样前景点;将所述采样前景点对应的前景点数据,输入至预先训练好的特征提取模型中,得到所述子空间对应的子特征向量;
基于所有所述子空间中分别对应的子特征向量,得到所述第一特征矩阵;
所述特征提取模型包括:线性处理模块、卷积层、第二池化层、以及第三池化层;
所述将所述采样前景点对应的前景点数据,输入至预先训练好的特征提取模型中,得到所述子空间对应的子特征向量,包括:
将该子空间中各个采样前景点分别对应的前景点数据输入至所述线性处理模块进行线性变换处理,得到第一线性特征向量,并将所述第一线性特征向量输入至所述第二池化层进行最大池化处理,得到第二线性特征向量;以及,
将该子空间中各个采样前景点分别对应的前景点数据输入至所述卷积层进行卷积处理,得到第一卷积特征向量;
将所述第二线性特征向量与所述第一卷积特征向量进行连接,得到第一融合特征向量;
将所述第一融合特征向量输入至所述第三池化层进行池化处理,得到该子空间对应的子特征向量。
2.根据权利要求1所述的方法,其特征在于,所述对所述目标前景点进行采样,获取与该子空间对应的采样前景点,包括:
将该子空间中任一目标前景点作为基准前景点,并从该子空间内除所述基准前景点外的其他目标前景点中,确定与所述基准前景点距离最远的目标前景点作为采样前景点;
将确定的所述采样前景点作为新的基准前景点,并返回至从该子空间内除所述基准前景点外的其他目标前景点中,确定与所述基准前景点距离最远的目标前景点作为采样前景点的步骤,直至确定的所述采样前景点的数量达到预设数量。
3.一种检测障碍物的装置,其特征在于,所述装置包括:
数据获取模块,用于获取基于激光雷达对待测空间进行检测时生成的点云数据;所述点云数据包括所述待测空间中各个位置点分别对应的检测结果;所述待测空间中的位置点包括前景点;
特征矩阵构建模块,用于从所述点云数据中,确定与各个所述前景点分别对应的前景点数据,并基于前景点数据,构建与所述待测空间对应的第一特征矩阵;所述第一特征矩阵用于表征所述待测空间的空间状态;
检测结果确定模块,用于将所述第一特征矩阵输入至预先训练好的障碍物检测模型中,得到与所述待测空间对应的障碍物检测结果;
所述特征矩阵构建模块,利用下述步骤确定与各个所述前景点分别对应的前景点数据:
将所述点云数据输入至预先训练好的点云语义分割模型中,获取所述点云数据中各个位置点分别对应的语义分割结果;
基于所述语义分割结果,从所述点云数据中确定与各个前景点分别对应的所述前景点数据;
所述装置还包括:点云语义分割模型训练模块,所述点云语义分割模型包括:第一卷积模块、第二卷积模块、第一池化层、以及分类器;所述第一卷积模块包括多个第一卷积层;所述第二卷积模块,包括至少一个第二卷积层:
点云语义分割模型训练模块,利用下述步骤训练得到所述点云语义分割模型:
获取多组样本点云数据,每组样本点云数据包括:多个样本位置点分别对应的样本点数据,以及每个所述样本位置点是否为前景点的标签;
针对每组样本点云数据,执行下述处理过程:
将所述样本点云数据输入至所述点云语义分割模型的第一卷积模块进行多次卷积处理,获取所述样本点云数据对应的第一样本特征向量,以及所述第一卷积模块中目标第一卷积层输出的中间样本特征向量;所述目标第一卷积层为除最后一层第一卷积层以外的任一第一卷积层;
将所述第一样本特征向量输入至所述第一池化层进行池化处理,得到第二样本特征向量;
将所述第二样本特征向量以及所述中间样本特征向量进行拼接,得到第三样本特征向量,并将所述第三样本特征向量输入至所述第二卷积模块进行至少一次卷积处理,获取所述第二卷积模块输出的样本特征向量;
将所述样本特征向量输入至所述分类器,得到与该组样本点云数据对应的语义分割结果;
基于各组所述样本点云数据分别对应的所述语义分割结果,以及所述标签,对所述第一卷积模块、所述第二卷积模块、所述第一池化层、以及所述分类器进行本轮训练;
经过对所述第一卷积模块、所述第二卷积模块、所述第一池化层、以及所述分类器的多轮训练,得到所述点云语义分割模型;
所述特征矩阵构建模块,利用下述步骤构建与所述待测空间对应的第一特征矩阵:
将所述待测空间划分为多个子空间;
针对每个所述子空间:从各个所述前景点中,确定属于该子空间的目标前景点,并对所述目标前景点进行采样,获取与该子空间对应的采样前景点;将所述采样前景点对应的前景点数据,输入至预先训练好的特征提取模型中,得到所述子空间对应的子特征向量;
基于所有所述子空间中分别对应的子特征向量,得到所述第一特征矩阵;
所述特征提取模型包括:线性处理模块、卷积层、第二池化层、以及第三池化层;
所述特征矩阵构建模块在用于所述将所述采样前景点对应的前景点数据,输入至预先训练好的特征提取模型中,得到所述子空间对应的子特征向量时,所述特征矩阵构建模块具体用于:
将该子空间中各个采样前景点分别对应的前景点数据输入至所述线性处理模块进行线性变换处理,得到第一线性特征向量,并将所述第一线性特征向量输入至所述第二池化层进行最大池化处理,得到第二线性特征向量;以及,
将该子空间中各个采样前景点分别对应的前景点数据输入至所述卷积层进行卷积处理,得到第一卷积特征向量;
将所述第二线性特征向量与所述第一卷积特征向量进行连接,得到第一融合特征向量;
将所述第一融合特征向量输入至所述第三池化层进行池化处理,得到该子空间对应的子特征向量。
4.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至2任一所述的检测障碍物的方法的步骤。
5.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至2任一所述的检测障碍物的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911101904.2A CN110807439B (zh) | 2019-11-12 | 2019-11-12 | 检测障碍物的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911101904.2A CN110807439B (zh) | 2019-11-12 | 2019-11-12 | 检测障碍物的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110807439A CN110807439A (zh) | 2020-02-18 |
CN110807439B true CN110807439B (zh) | 2022-11-25 |
Family
ID=69502213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911101904.2A Active CN110807439B (zh) | 2019-11-12 | 2019-11-12 | 检测障碍物的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110807439B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111339973A (zh) * | 2020-03-03 | 2020-06-26 | 北京华捷艾米科技有限公司 | 一种对象识别方法、装置、设备及存储介质 |
CN113537258B (zh) * | 2020-04-16 | 2024-04-05 | 北京京东乾石科技有限公司 | 行动轨迹预测方法、装置、计算机可读介质及电子设备 |
US11964654B2 (en) * | 2020-10-30 | 2024-04-23 | GM Global Technology Operations LLC | Spatially invariant 3D convolutional network over spherical coordinate input |
CN112396067B (zh) * | 2021-01-19 | 2021-05-18 | 苏州挚途科技有限公司 | 点云数据采样方法、装置及电子设备 |
CN112857254B (zh) * | 2021-02-02 | 2022-02-08 | 北京大成国测科技有限公司 | 基于无人机数据的参数测量方法、装置及电子设备 |
CN113011315B (zh) * | 2021-03-16 | 2022-12-16 | 华南理工大学 | 一种基于超快速结构感知深度网络的地铁轨道识别方法 |
CN117882115A (zh) * | 2021-09-08 | 2024-04-12 | 华为技术有限公司 | 用于点云的无提议和无聚类全景分割系统的系统和方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101975951B (zh) * | 2010-06-09 | 2013-03-20 | 北京理工大学 | 一种融合距离和图像信息的野外环境障碍检测方法 |
CN101986328B (zh) * | 2010-12-06 | 2012-06-27 | 东南大学 | 一种基于局部描述符的三维人脸识别方法 |
CN105184852B (zh) * | 2015-08-04 | 2018-01-30 | 百度在线网络技术(北京)有限公司 | 一种基于激光点云的城市道路识别方法及装置 |
CN105551082B (zh) * | 2015-12-02 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | 一种基于激光点云的路面识别方法及装置 |
CN105957145A (zh) * | 2016-04-29 | 2016-09-21 | 百度在线网络技术(北京)有限公司 | 道路障碍物识别方法和装置 |
CN106339669A (zh) * | 2016-08-16 | 2017-01-18 | 长春理工大学 | 多线点云数据机器学习的人形目标识别方法和防撞装置 |
CN106707293B (zh) * | 2016-12-01 | 2019-10-29 | 百度在线网络技术(北京)有限公司 | 用于车辆的障碍物识别方法和装置 |
CN106951847B (zh) * | 2017-03-13 | 2020-09-29 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、设备及存储介质 |
CN109711410A (zh) * | 2018-11-20 | 2019-05-03 | 北方工业大学 | 一种三维物体快速分割和识别方法、装置及系统 |
-
2019
- 2019-11-12 CN CN201911101904.2A patent/CN110807439B/zh active Active
Non-Patent Citations (2)
Title |
---|
Shaoshuai Shi 等.PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud.《arXiv:1812.04244v2》.2019, * |
小执着~.【3D计算机视觉】从PointNet到PointNet++理论及pytorch代码.《https://blog.csdn.net/weixin_39373480/article/details/88878629》.2019, * |
Also Published As
Publication number | Publication date |
---|---|
CN110807439A (zh) | 2020-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110807439B (zh) | 检测障碍物的方法及装置 | |
US11709058B2 (en) | Path planning method and device and mobile device | |
CN109509210B (zh) | 障碍物跟踪方法和装置 | |
US10614324B2 (en) | Method and apparatus for identifying static obstacle | |
CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
CN110346808B (zh) | 一种激光雷达的点云数据处理方法和系统 | |
CN110674705A (zh) | 基于多线激光雷达的小型障碍物检测方法及装置 | |
CN111428859A (zh) | 自动驾驶场景的深度估计网络训练方法、装置和自主车辆 | |
CN111308500B (zh) | 基于单线激光雷达的障碍物感知方法、装置和计算机终端 | |
CN113111513B (zh) | 传感器配置方案确定方法、装置、计算机设备及存储介质 | |
KR20200094075A (ko) | 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치 | |
CN112154448A (zh) | 目标检测方法、设备及可移动平台 | |
CN112528781B (zh) | 一种障碍物检测方法、装置、设备和计算机可读存储介质 | |
KR20210099450A (ko) | 딥러닝을 이용한 원거리 소형 드론 탐지 방법 | |
CN110619299A (zh) | 基于网格的对象识别slam方法和装置 | |
CN112166446A (zh) | 可通行性的识别方法、系统、设备及计算机可读存储介质 | |
CN113378693A (zh) | 生成目标检测系统和检测目标的方法及装置 | |
CN110490058B (zh) | 行人检测模型的训练方法、装置、系统和计算机可读介质 | |
CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
CN113887433A (zh) | 一种障碍物的检测方法、装置、计算机设备及存储介质 | |
US20240160222A1 (en) | Method and system for localizing a mobile robot | |
CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
CN112946612B (zh) | 外参标定方法、装置、电子设备及存储介质 | |
CN110291771B (zh) | 一种目标对象的深度信息获取方法及可移动平台 | |
CN110363863B (zh) | 一种神经网络的输入数据生成方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |