CN111353512A - 障碍物分类方法、装置、存储介质和计算机设备 - Google Patents
障碍物分类方法、装置、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN111353512A CN111353512A CN201811562741.3A CN201811562741A CN111353512A CN 111353512 A CN111353512 A CN 111353512A CN 201811562741 A CN201811562741 A CN 201811562741A CN 111353512 A CN111353512 A CN 111353512A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- feature extraction
- target
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种障碍物分类方法,所述方法包括:获取待处理点云数据;所述待处理点云数据包括所述原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据;对所述待处理点云数据进行栅格化处理,得到二维栅格图;基于所述二维栅格图中的各栅格内的空间点,分别确定各所述栅格的目标统计参数,并得到与所述目标统计参数相对应的统计特征图;通过预定卷积神经网络,基于所述统计特征图确定目标图像特征,并基于所述目标图像特征进行分类,得到所述目标障碍物分别属于各候选类别的置信度;按照各所述置信度,从各候选类别中确定所述目标障碍物所属的类别。本申请提供的方案分类准确率高。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种障碍物分类方法、装置、计算机可读存储介质和计算机设备。
背景技术
近年来,越来越多地通过环境感知装置感知周围环境,得到用于表征周围环境的原始点云数据,进而在根据原始点云数据检测到周围环境中存在障碍物的基础上,进行障碍物分类,即在各候选类别中确定障碍物所属的类别。
传统的分类方式中,是人工设计点云数据的特征,比如三维协方差矩阵及反射强度概率分布特征,再通过SVM(Support Vector Machine,支持向量机)分类器,基于上述人工设计的特征进行障碍物分类。然而,上述人工设计的特征的提取非常耗时,其也无法准确表达点云数据的特性,且SVM的分类准确性高度依赖于特征的准确性,因此传统方式的分类准确率不高。
发明内容
基于此,有必要针对传统方式中特征提取耗时且分类准确率不高的技术问题,提供一种障碍物分类方法、装置、计算机可读存储介质和计算机设备。
一种障碍物分类方法,包括:
获取待处理点云数据;所述待处理点云数据包括所述原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据;
对所述待处理点云数据进行栅格化处理,得到二维栅格图;
基于所述二维栅格图中的各栅格内的空间点,分别确定各所述栅格的目标统计参数,并得到与所述目标统计参数相对应的统计特征图;
通过预定卷积神经网络,基于所述统计特征图确定目标图像特征,并基于所述目标图像特征进行分类,得到所述目标障碍物分别属于各候选类别的置信度;
按照各所述置信度,从各候选类别中确定所述目标障碍物所属的类别。
一种障碍物分类装置,包括:
待处理点云获取模块,用于获取待处理点云数据;所述待处理点云数据包括所述原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据;
二维栅格图获取模块,用于对所述待处理点云数据进行栅格化处理,得到二维栅格图;
统计特征图获取模块,用于基于所述二维栅格图中的各栅格内的空间点,分别确定各所述栅格的目标统计参数,并得到与所述目标统计参数相对应的统计特征图;
置信度确定模块,用于通过预定卷积神经网络,基于所述统计特征图确定目标图像特征,并基于所述目标图像特征进行分类,得到所述目标障碍物分别属于各候选类别的置信度;
类别确定模块,用于按照各所述置信度,从各候选类别中确定所述目标障碍物所属的类别。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述方法的步骤。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述方法的步骤。
上述障碍物分类方法、装置、计算机可读存储介质及计算机设备,对待处理点云数据进行栅格化处理得到二维栅格图,再确定二维栅格图中各栅格的目标统计参数,并得到相应的统计特征图,再通过卷积神经网络,基于统计特征图确定目标图像特征,再基于目标图像特征进行分类得到目标障碍物分别属于各候选类别的置信度,进而按照置信度确定目标障碍物所属的类别。如此,通过栅格化处理快速地将三维点云数据转化为二维栅格图,降低了数据的维度信息,减少了卷积神经网络的计算量;并且,待处理点云数据包括的是原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据,因此进行栅格化及得到统计特征图的过程耗费的时间非常少,有效地保证了处理实时性;此外,由于卷积神经网络能以统计特征图为基础提取到更深层次的特征,深层次的特征包含更丰富的语义信息,从而能够更准确地表达待处理点云数据的特性,提高了分类的准确性。
附图说明
图1为一个实施例中障碍物分类方法的应用环境图;
图2为一个实施例中障碍物分类方法的应用环境图;
图3为一个实施例中障碍物分类方法的流程示意图;
图4为一个实施例中二维栅格图的示意图;
图5为一个实施例中在原始点云数据中定位障碍物所处位置区域的示意图;
图6为一个实施例中预定卷积神经网络的结构示意图;
图7为一个实施例中预定卷积神经网络的结构示意图;
图8为一个实施例中预定卷积神经网络的结构示意图;
图9为一个实施例中障碍物分类装置的结构框图;
图10为一个实施例中计算机设备的结构框图;
图11为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本申请所使用的术语“第一”、“第二”等是用于对类似的对象作出命名上的区分,但这些对象本身不受这些术语限制。
本申请各实施例提供的障碍物分类方法,可应用于如图1所示的应用环境中。该应用环境可涉及控制终端110和环境感知装置120,环境感知装置120通过有线或无线的方式与控制终端110连接。
具体地,环境感知装置120感知周围环境得到原始点云数据,并将原始点云数据发送至控制终端110。相应地,控制终端110获取待处理点云数据,待处理点云数据包括原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据;进而,对待处理点云数据进行栅格化处理,得到二维栅格图;再基于二维栅格图中的各栅格内的空间点,分别确定各栅格的目标统计参数,并得到与目标统计参数相对应的统计特征图;然后,通过预定卷积神经网络,基于统计特征图确定目标图像特征,并基于目标图像特征进行分类,得到目标障碍物分别属于各候选类别的置信度;而后,按照置信度从候选类别中确定目标障碍物所属的类别。
在其他实施例中,如图2所示,应用环境还可涉及服务器130。据此,可以由环境感知装置120感知周围环境得到原始点云数据,并将原始点云数据发送至控制终端110,控制终端110将原始点云数据发送至服务器130,服务器130执行基于原始点云数据获取待处理点云数据至按照置信度从候选类别中确定目标障碍物所属的类别的步骤,进而再将障碍物的分类结果发送至控制终端110。
此外,控制终端110和环境感知装置120可设置于无人车、无人机及机器人上,但不局限于此。服务器130可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图3所示,提供了一种障碍物分类方法。以该方法应用于计算机设备(如上述图1中的控制终端110或图2中的服务器130)为例进行说明。该方法可包括如下步骤S302至S310。
S302,获取待处理点云数据。
待处理点云数据,可包括原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据。其中,原始点云数据是由环境感知装置感知周围环境得到,原始点云数据涵盖了被扫描的整个周围环境,而目标障碍物是该周围环境中的一部分,因此可以从原始点云数据中,分离出目标障碍物所处的位置区域涵盖的局部点云数据,以此得到待处理点云数据。
在一个实施例中,环境感知装置可以是激光雷达,据此可以由激光雷达对感知范围内的道路环境进行扫描,得到原始点云数据。此外,计算机设备可以从激光雷达输出的原始点云数据中分离出待处理点云数据。其中,原始点云数据可以是激光雷达扫描到的点云数据的鸟瞰图。激光雷达可以是多线激光雷达,比如16线激光雷达、40线激光雷达、60线激光雷达等等。
在另一个实施例中,环境感知装置也可以是双目摄像装置,据此可以由双目摄像装置对感知范围内的道路环境进行拍摄,得到原始点云数据。此外,计算机设备可以对双目摄像装置输出的原始点云数据进行降维处理,再从降维后的原始点云数据中分离出待处理点云数据。其中,双目摄像装置可以采用两个独立的摄像头实现,也可以采用封装有左摄像头和右摄像头的双目摄像机实现。
在实际应用中,一帧原始点云数据中包含的障碍物可能多于1个,各障碍物所属的类别均需要确定。在此情况下,可按照一定的顺序将各障碍物依次作为目标障碍物,相应地,原始点云数据中与各障碍物所处的位置区域分别对应的各局部点云数据依次作为待处理点云数据。具体地,针对任意一帧原始点云数据,将该帧原始点云数据中包含的各障碍物中的一个障碍物作为目标障碍物,相应将该障碍物所处的位置区域对应的局部点云数据作为待处理点云数据,执行一次本申请各实施例提供的障碍物分类方法,以从各候选类别中确定出该障碍物所属的类别;后续,再将各障碍物中的另一个障碍物作为目标障碍物,相应将该障碍物所处的位置区域对应的局部点云数据作为待处理点云数据,再次执行本申请各实施例提供的障碍物分类方法,以从各候选类别中确定出该障碍物所属的类别;以此类推,直至该帧原始点云数据中包含的各障碍物均确定出其所属的类别。
S304,对待处理点云数据进行栅格化处理,得到二维栅格图。
栅格化处理,用于将三维的待处理点云数据转换成二维栅格图。待处理点云数据的各空间点均可以对应到二维栅格图中的栅格。可以理解,待处理点云数据包括多于1个的空间点的属性信息,空间点的属性信息可以包括该空间点的三维坐标(横坐标X、纵坐标Y及竖坐标Z)、该空间点的激光反射强度(Intensity)和该空间点的颜色信息(RGB)。
在一个实施例中,栅格化处理的过程具体可以如下:
根据目标障碍物的尺寸(即目标障碍物长度和目标障碍物宽度)和预先定义的二维栅格图长度和二维栅格图宽度,确定初始二维栅格图中的每一个栅格在长度维度上的分辨率和在宽度维度上的分辨率,至此即确定了初始二维栅格图中的各栅格的总数目、以及每一个栅格在初始二维栅格图中所处的位置范围。
其中,初始二维栅格图中的各栅格在长度维度上的分辨率设为res_h,其中,object_height表示目标障碍物长度,单位是米;height表示二维栅格图长度,单位是像素。栅格在宽度维度上的分辨率设为res_w,其中,object_width表示目标障碍物宽度,单位是米;width表示二维栅格图宽度,单位是像素。
可以理解,初始二维栅格图是对应于二维栅格图的模板,后续将待处理点云数据的空间点投影到初始二维栅格图后即可得到二维栅格图。具体实施时,针对待处理点云数据中的每一个空间点,可以根据该空间点的横坐标及纵坐标,从初始二维栅格图中的各栅格中确定出与该空间点匹配的栅格,并将该空间点投影到与之匹配的栅格中,从而得到二维栅格图。如图4所示,是将待处理点云数据的各空间点投影到二维栅格图长度为64且二维栅格图宽度为32的初始二维栅格中的各栅格后,所得到的二维栅格图。
此外,待处理点云数据包括的是原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据,因此目标障碍物长度和目标障碍物宽度可以根据待处理点云数据计算得到。
在一个实施例中,可以在从原始点云数据中确定出与目标障碍物所处的位置区域相对应的局部点云数据时,将该位置区域的尺寸(位置区域长度和位置区域宽度)与该局部点云数据关联保存,后续该局部点云数据作为待处理点云数据被获取后,可以直接读取与之关联的位置区域的尺寸,该位置区域的尺寸即可以为目标障碍物的尺寸,而无需再临时根据待处理点云数据计算目标障碍物的尺寸。在另一个实施例中,也可以执行上述对位置区域的尺寸和局部点云数据的尺寸关联保存的步骤,而是在获取到待处理点云数据后,临时根据待处理点云数据计算目标障碍物的尺寸。
S306,基于二维栅格图中的各栅格内的空间点,分别确定各栅格的目标统计参数,并得到与目标统计参数相对应的统计特征图。
目标统计参数,可以是数据测量的属性参数。目标统计参数可以包括栅格内空间点的最大高度、栅格内最高的空间点的强度、栅格内空间点的平均高度、栅格内空间点的平均强度、栅格内空间点的总数目、栅格中心点与目标障碍物的中心点的距离、栅格中心点相对于目标障碍物的中心点的角度、以及栅格的占用状态参数中的至少一种。
具体地,栅格内空间点的最大高度,是属于该栅格的各空间点的竖坐标中最大的竖坐标。栅格内最高的空间点的强度,是属于该栅格的各空间点中竖坐标最大的空间点的激光反射强度。栅格内空间点的平均高度,是属于该栅格的各空间点的竖坐标的平均值。栅格内空间点的平均强度,是属于该栅格的各空间点的激光反射强度的平均值。栅格内空间点的总数目,是属于该栅格的各空间点的总个数。栅格中心点与目标障碍物的中心点的距离,是该栅格的中心点与目标障碍物的中心点之间的距离。栅格中心点相对于目标障碍物的中心点的角度,是该栅格的中心点相对于目标障碍物的中心点的角度。栅格的占用状态参数,是采用二进制标示栅格是空还是被占用。其中,目标障碍物的中心点可以基于待处理点云数据计算得到。
目标统计参数与统计特征图可以是一对一的关系,目标统计参数的种类数目与统计特征图的数目一致。比如,目标统计参数包括栅格内空间点的最大高度、栅格内最高的空间点的强度、栅格内空间点的平均高度、栅格内空间点的平均强度、栅格内空间点的总个数以及栅格中心点与目标障碍物的中心点的距离这6种时,针对任一待处理点云数据,则可以得到与这6种目标统计参数分别对应的6个统计特征图。再比如,目标统计参数包括上述8种时,针对任一待处理点云数据,则可以得到与这8种目标统计参数分别对应的8个统计特征图。
在本实施例中,可以根据二维栅格图中的各栅格的目标统计参数,得到该目标统计参数对应的统计特征图。以“栅格内空间点的最大高度”这一目标统计参数为例,根据二维栅格图中的各栅格的目标统计参数,得到目标统计参数对应的统计特征图的过程可以如下:针对二维栅格图中的每一个栅格,将属于该栅格内各空间点的竖坐标中最大的竖坐标,作为该栅格内空间点的最大高度,从而确定出每一个栅格内空间点的最大高度;进而根据二维栅格图中的各栅格内空间点的最大高度,确定出与“栅格内空间点的最大高度”这一目标统计参数相对应的统计特征图。此外,确定其他种类的目标统计参数所对应的统计特征图的方式类似,在此不加赘述。
需要说明的是,特征统计图基于二维栅格图中的各栅格的目标统计参数确定,二维栅格图是对待处理点云数据进行栅格化得到,因而统计特征图对应于待处理点云数据,其可以作为待处理点云数据的初步特征,用于表征待处理点云数据一部分的特性。
S308,通过预定卷积神经网络,基于统计特征图确定目标图像特征,并基于目标图像特征进行分类,得到目标障碍物分别属于各候选类别的置信度。
预定卷积神经网络,是具备点云数据分类功能的机器学习模型。预定卷积神经网络是基于样本点云数据对待训练卷积神经网络进行模型训练得到。
在本实施例中,获取到与目标障碍物相对应的待处理点云数据,并得到对应于待处理点云数据的统计特征图后,可以将统计特征图输入到预定卷积神经网络中。进而,通过预定卷积神经网络,基于统计特征图进行特征提取及特征整合处理,得到目标图像特征,再基于目标图像特征进行分类,得到目标障碍物属于各候选类别的置信度。
目标障碍物分别属于各候选类别的置信度,可用于描述该目标障碍物属于该候选类别的可能性。置信度越大,该目标障碍物属于该候选类别的可能性越大;置信度越小,该目标障碍物属于该候选类别的可能性越小。
候选类别可以基于实际需求预先设定,候选类别通常多于1个。相应地,预定卷积神经网络得到目标障碍物分别属于各候选类别的置信度。以自动驾驶领域为例,激光雷达通常扫描道路环境,据此可以设定各候选类别分别为轿车、骑行的人、货车、行人、背景以及其他物体。相应地,预定卷积神经网络输出目标障碍物分别属于轿车、骑行的人、货车、行人、背景以及其他物体的置信度,共计6个置信度。
S310,按照各置信度,从各候选类别中确定目标障碍物所属的类别。
具体地,可以从各候选类别中,筛选出其对应的置信度满足置信度筛选条件的候选类别,作为目标障碍物所属的类别。
其中,置信度筛选条件可以根据实际需求设定。比如,置信度筛选条件可以包括等于或大于置信度阈值,据此各候选类别中,置信度等于或大于置信度阈值的候选类别即为目标障碍物所属的类别;其中,置信度阈值基于实际需求设定。再比如,置信度筛选条件可以包括各候选类别对应的置信度中数值最大,据此各候选类别中,置信度最大的候选类别即为目标障碍物所属的类别。
上述障碍物分类方法,对待处理点云数据进行栅格化处理得到二维栅格图,再确定二维栅格图中各栅格的目标统计参数,并得到相应的统计特征图,再通过卷积神经网络,基于统计特征图确定目标图像特征,再基于目标图像特征进行分类得到目标障碍物分别属于各候选类别的置信度,进而按照置信度确定目标障碍物所属的类别。如此,通过栅格化处理快速地将三维点云数据转化为二维栅格图,降低了数据的维度信息,减少了卷积神经网络的计算量;并且,待处理点云数据包括的是原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据,因此进行栅格化及得到统计特征图的过程耗费的时间非常少,有效地保证了处理实时性;此外,由于卷积神经网络能以统计特征图为基础提取到更深层次的特征,深层次的特征包含更丰富的语义信息,从而能够更准确地表达待处理点云数据的特性,提高了分类的准确性。
在一个实施例中,获取待处理点云数据的步骤,可以包括如下步骤:获取原始点云数据,原始点云数据由环境感知装置感知周围环境得到;在原始点云数据中定位出目标障碍物所处的位置区域;基于原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据,得到待处理点云数据。
具体地,可以在接收到环境感知装置(以激光雷达为例)发送的一帧原始点云数据后,可以对该帧原始点云数据进行障碍物定位处理,从而确定该帧原始点云数据中障碍物所处的位置区域,再从该帧原始点云数据中,分离出与障碍物所处的位置区域相对应的局部点云数据。其中,确定障碍物所处的位置区域,具体可以是确定包络框的中心点、包络框的长度以及包络框的宽度,包络框可以是用于包围障碍物的外轮廓的矩形框。以图5所示为例,左图是激光雷达发送的一帧原始点云数据,右图中的7个包络框表示7个障碍物所处的位置区域。
在一帧原始点云数据中的障碍物多于1个时,分别确定该帧原始点云数据中各障碍物所处的位置区域,再从原始点云数据中,分离出与各障碍物所处的位置区域分别对应的各局部点云数据,进而从各局部点云数据中筛选出待处理点云数据。此外,在实际应用中,可以进行多次筛选,使该帧原始点云数据中的各局部点云数据均被作为一次待处理点云数据。
针对一次从各局部点云数据中筛选出待处理点云数据的操作,具体可以是从各局部点云数据中,随机选出一个未进行过分类的局部点云数据作为待处理点云数据,该局部点云数据中的障碍物即为目标障碍物。或者,可以是将各障碍物中与激光雷达所处的终端相距最近的障碍物所对应的局部点云数据,作为待处理点云数据,该与激光雷达所处的终端相距最近的障碍物即为目标障碍物。但可以理解,从各局部点云数据中选出待处理点云数据的具体方式不限于此,而可以基于实际需求进行设定。
在一个实施例中,通过预定卷积神经网络,基于统计特征图确定目标图像特征,并基于目标图像特征进行分类,得到目标障碍物分别属于各候选类别的置信度的步骤,可以包括如下步骤:通过预定卷积神经网络中的特征提取网络,基于统计特征图进行特征提取处理,得到局部图像特征;通过预定卷积神经网络中的第一全连接层,对局部图像特征进行特征整合处理,得到目标图像特征;通过预定卷积神经网络中的第二全连接层,基于目标图像特征进行分类处理,得到目标障碍物分别属于各候选类别的置信度。
在本实施例中,如图6所示,预定卷积神经网络可以包括顺次连接的特征提取网络、第一全连接层及第二全连接层。
其中,特征提取网络可以用于基于统计特征图进行特征提取处理,从而得到局部图像特征。特征提取处理可以包括卷积处理,卷积处理的类型可以是普通卷积处理。
第一全连接层,可以用于对局部图像特征进行特征整合处理,从而得到目标图像特征。需要说明的是,特征提取网络输出的各局部图像特征,可以分别用于表征统计特征图的各局部的特性,据此可以通过第一全连接层,对各局部图像特征进行特征整合处理,得到目标图像特征。亦即,将用于表征统计特征图各局部的特性的各局部图像特征,整合成用于表征统计特征图全局的特性的目标图像特征。以人脸识别场景类比,特征提取网络输出的各局部图像特征分别用于表征人脸中眼睛的特性、鼻子的特性及嘴巴的特性,对各局部图像特征进行特征整合处理,形成用于表征人脸全局的特性的目标图像特征。此外,第一全连接层的输出信息的维度可以是512维。
第二全连接层,可以用于基于目标图像特征进行分类处理,从而得到目标障碍物分别属于各候选类别的置信度。
在其他实施例中,在第二全连接层之后,还可以设置Softmax层。Softmax层可以用于对第二全连接层的输出信息进行归一化,从而得到目标障碍物分别属于各候选类别的概率。
在一个实施例中,预定卷积神经网络中的特征提取网络包括多于一个的子特征提取网络,各子特征提取网络顺次连接。据此,通过预定卷积神经网络中的特征提取网络,基于统计特征图进行特征提取处理,得到局部图像特征的步骤,可以包括如下步骤:通过特征提取网络中的各子特征提取网络,基于各自的输入信息进行特征提取处理;获取特征提取网络中排列在最后的子特征提取网络的输出信息。
在本实施例中,特征提取网络中排列在最前的子特征提取网络的输入信息包括统计特征图。即,通过特征提取网络中排列在最前的子特征提取网络,基于统计特征图进行特征提取处理。
除排列在最前的子特征提取网络以外的各子特征提取网络的输入信息,包括各自相邻的前一个子特征提取网络的输出信息。即,通过除排列在最前的子特征提取网络以外的各子特征提取网络,基于各自相邻的前一个子特征提取网络的输出信息进行特征提取处理。
并且,特征提取网络得到的局部图像特征,包括特征提取网络中排列在最后的子特征提取网络的输出信息。
需要说明的是,通过顺次连接的各子特征提取网络,依次进行特征提取处理,提取得到的图像特征的层次逐渐加深,即排列在前的子特征提取网络用于提取浅层特征,排列在后的子特征提取网络用于提取深层特征。从而,排列在最后的子特征提取网络能够提取到深层次的特征,由于深层次的特征能够准确地表征统计特征图的特性,有效地提高了分类的准确性。
在一个实施例中,通过子特征提取网络基于输入信息进行特征提取处理的方式,可以包括如下步骤:将该子特征提取网络的输入信息,经过子特征提取网络中的空洞卷积层进行空洞卷积处理,再经过该子特征提取网络中的激活层进行非线性变换处理。
空洞卷积处理,也称为扩张卷积处理,是在卷积核之间注入空洞的一种卷积方式。相较于普通卷积处理,空洞卷积处理引入了一个称为“扩张率(dilation rate)”的超参数,该参数定义了卷积核处理数据时各值的间距。比如,空洞卷积层的卷积核尺寸(Kernelsize)可以是3,滑动大小(Stride)可以是1,空洞大小(即扩张率)可以是1。
在本实施例中,特征提取网络中的各子特征提取网络均包括空洞卷积层(dilatedconvolution)和激活层(Rectified Linear Units,RELU)。据此,通过特征提取网络中的各子特征提取网络,基于各自的输入信息进行特征提取处理的步骤,可以包括如下步骤:依次通过每一个子特征提取网络中的空洞卷积层进行空洞卷积处理,再通过该子特征提取网络中的激活层对与之连接的空洞卷积层的输出信息进行非线性变换。
在一个实施例中,如图7所示,特征提取网络可以包括顺次连接的3个子特征提取网络,这3个子特征提取网络中均可以包括顺次连接的空洞卷积层、激活层、空洞卷积层、以及激活层。
据此,将统计特征图输入第1个子特征提取网络中,在第1个子特征提取网络内部,通过第1个空洞卷积层进行空洞卷积处理,再通过第1个激活层对第1个空洞卷积层的输出信息进行非线性变换处理,然后通过第2空洞卷积层对第1激活层的输出信息进行空洞卷积处理,进而通过第2个激活层对第2个空洞卷积层的输出信息进行非线性变换处理。
进而,将第1个子特征提取网络中的第2个激活层的输出信息输入第2个子特征提取网络中,在第2个子特征提取网络内部进行与第1个子特征提取网络内部类似的操作。再将第2个子特征提取网络中的第2个激活层的输出信息输入第3个子特征提取网络中,在第3个子特征提取网络内部进行与第1个子特征提取网络内部类似的操作。据此,第3个子特征提取网络中的第2个激活层的输出信息即为特征提取网络得到的局部图像特征。
需要说明的是,通过空洞卷积处理,一方面能够保持图像特征的空间尺度不变(即分辨率不变),从而避免因减少了图像特征的像素的信息而导致的信息损失,另一方面能够扩大感受野,感受野是预定卷积神经网络中的隐藏层输出的特征图上的空间点在该机器学习模型的输入图上映射的区域大小,感受野越大,即映射的区域越大,也意味着可能蕴含更为全局、语义层次更高的特征,据此能够实现更加精准地分类。
在一个实施例中,通过子特征提取网络基于输入信息进行特征提取处理的方式,可以包括如下步骤:将该子特征提取网络的输入信息,经过子特征提取网络中的空洞卷积层进行空洞卷积处理,再经过该子特征提取网络中的激活层进行非线性变换处理,再经过该子特征提取网络中的池化层进行降维处理。
在本实施例中,特征提取网络中的各子特征提取网络,除包括空洞卷积层和激活层之外,还可以包括池化层(Pooling)。池化层通常可以包括均值池化(Mean Pooling)和最大值池化(Max Pooling)两种形式。
据此,通过特征提取网络中的各子特征提取网络,基于各自的输入信息进行特征提取处理的步骤,可以包括如下步骤:依次通过每一个子特征提取网络中的空洞卷积层进行空洞卷积处理,再通过该子特征提取网络中的激活层对与之连接的空洞卷积层的输出信息进行非线性变换,进而通过该子特征提取网络中的池化层对与之连接的激活层的输出信息进行降维处理。
在一个实施例中,如图8所示,特征提取网络可以包括顺次连接的3个子特征提取网络,这3个子特征提取网络中均可以包括顺次连接的空洞卷积层、激活层、空洞卷积层、激活层以及池化层。
据此,将统计特征图输入第1个子特征提取网络中,在第1个子特征提取网络内部,通过第1个空洞卷积层进行空洞卷积处理,再通过第1个激活层对第1个空洞卷积层的输出信息进行非线性变换处理,然后通过第2空洞卷积层对第1激活层的输出信息进行空洞卷积处理,进而通过第2个激活层对第2个空洞卷积层的输出信息进行非线性变换处理,再通过池化层对第2个激活层的输出信息进行降维处理。
进而,将第1个子特征提取网络中的池化层的输出信息输入第2个子特征提取网络中,在第2个子特征提取网络内部进行与第1个子特征提取网络内部类似的操作。再将第2个子特征提取网络中的池化层的输出信息输入第3个子特征提取网络中,在第3个子特征提取网络内部进行与第1个子特征提取网络内部类似的操作。据此,第3个子特征提取网络中的池化层的输出信息即为特征提取网络得到的局部图像特征。
在本实施例中,引入了池化层进行降维处理的环节,有效地减少了卷积神经网络的计算量,并且能够保证平移和旋转的不变性。
此外,图7和图8所示的网络框架均是轻量化的卷积神经网络,网络的模型参数少,能够有效地加快网络计算速度,并且能够保证处理精度。
在一个实施例中,确定机器学习模型的方式,可以包括如下步骤:获取样本点云数据;获取样本点云数据;对样本点云数据进行栅格化处理,得到样本二维栅格图;基于样本二维栅格图中的各栅格内的空间点,确定各栅格的目标统计参数,并得到与目标统计参数相对应的样本统计特征图;通过待训练卷积神经网络,基于样本统计特征图确定样本目标图像特征,并基于样本目标图像特征进行分类,得到对应于样本点云数据的类别预测结果;基于类别预测结果和类别标签,确定损失参数;基于损失参数对待训练卷积神经网络进行模型训练,确定预定卷积神经网络。
样本点云数据,可以包括样本原始点云数据中被样本障碍物所处的位置区域涵盖的局部点云数据,其携带类别标签。类别标签用于表征样本点云数据对应的样本障碍物真实所属的类别。类别标签可以由人工分析确定,比如由相关技术领域的专家对样本点云数据进行分析确定。此外,可以收集分别属于各候选类别的样本点云数据,再根据各样本点云数据进行模型训练,从而得到预定卷积神经网络。
待训练卷积神经网络,是需要进行模型训练的机器学习模型,其网络框架可以与预定卷积神经网络的框架一致。模型训练是对机器学习模型中的各层的模型参数进行调整的操作。此外,模型训练的步骤(即上述从获取样本点云数据到确定预定卷积神经网络的步骤)可以在图2所示的服务器130上执行,也可以在图1或图2所示的控制终端110上执行。
调整模型参数是迭代处理的过程,可以对各样本点云数据分批,以批为单位调整待训练卷积神经网络的模型参数,即根据一批样本点云数据调整一次待训练卷积神经网络的模型参数,依次将各批样本点云数据输入待训练卷积神经网络,根据各批样本点云数据调整模型参数后,再重新将各批样本点云数据输入待训练卷积神经网络,再次根据各批样本点云数据调整模型参数,不断迭代,直至满足迭代停止条件时停止训练,停止训练时的模型参数即为预定卷积神经网络的模型参数。其中,各批中包括的样本点云数据的帧数(即Batch size参数),可以基于执行模型训练步骤的设备的GPU(Graphics Processing Unit,图形处理器)性能确定。
针对每一批中的每一帧样本点云数据,对该帧样本点云数据进行栅格化处理,得到样本二维栅格图,再基于该样本二维栅格图中的各栅格内的空间点,确定各栅格的目标统计参数,并得到与目标统计参数相对应的样本统计特征图,再将该样本统计特征图输入待训练卷积神经网络中,通过待训练卷积神经网络,基于该样本统计特征图确定样本目标图像特征,并基于该样本目标图像特征进行分类,得到对应于样本点云数据的类别预测结果,再基于类别预测结果和类别标签,确定对应于该帧样本点云数据的损失参数。进而,基于该批样本点云数据中的各帧样本点云数据对应的损失参数,调整待训练卷积神经网络的模型参数。反复地根据各批样本点云数据调整待训练机器模型的模型参数,直至满足迭代停止条件时停止训练。
其中,迭代停止条件可以基于实际需求设定,比如可以是达到预设的迭代次数,也可以是计算得到的损失参数满足预定条件,比如损失参数小于预定损失阈值或者计算得到损失参数不再减小等等。
在一个具体的示例中,可以在深度学习框架Caffe上进行模型训练,采用随机梯度下降法SGD进行迭代优化,在迭代优化的过程中,学习率会有所调整,调整策略可以采用均匀分步策略:其中,base_Ir表示初始学习率,可以设为0.001;gamma表示学习率每次的调整程度,可以设为0.2;stepsize表示调整学习率的迭代次数,即每进行stepsize次迭代调整一次学习率,可以设为2000;iter是当前迭代次数。此外,可以设置最大迭代次数为20万次,各批中包括的样本点云数据的帧数为20,即基于20帧样本点云数据调整一次模型参数。
需要说明的是,在首次将样本点云数据输入待训练卷积神经网络之前,需要先对待训练卷积神经网络进行参数初始化处理,使得待训练卷积神经网络的各层具有初始参数。其中,待训练卷积神经网络中的卷积层可以采用Xavier进行参数初始化,全连接层可以采用Gaussian进行参数的初始化。
在一个实施例中,提供了一种障碍物分类方法。该方法可以包括如下步骤(1)至(10)。
(1)获取原始点云数据,原始点云数据由环境感知装置感知周围环境得到。
(2)在原始点云数据中定位出障碍物所处的位置区域。
(3)从原始点云数据中被障碍物所处的位置区域涵盖的局部点云数据中,筛选出与目标障碍物对应的待处理点云数据。
(4)对待处理点云数据进行栅格化处理,得到二维栅格图。
(5)基于二维栅格图中的各栅格内的空间点,分别确定各栅格的目标统计参数,并得到与目标统计参数相对应的统计特征图。
(6)通过预定卷积神经网络的特征提取网络中的各子特征提取网络,基于各自的输入信息进行特征提取处理;其中,特征提取网络中排列在最前的子特征提取网络的输入信息包括统计特征图;除排列在最前的子特征提取网络以外的各子特征提取网络的输入信息包括各自相邻的前一个子特征提取网络的输出信息。并且,通过子特征提取网络基于输入信息进行特征提取处理的方式,包括:将子特征提取网络的输入信息,经过子特征提取网络中的空洞卷积层进行空洞卷积处理,再经过该子特征提取网络中的激活层进行非线性变换处理,再经过该子特征提取网络中的池化层进行降维处理。
(7)获取特征提取网络中排列在最后的子特征提取网络中的池化层的输出信息,以得到局部图像特征。
(8)通过预定卷积神经网络中的第一全连接层,对局部图像特征进行特征整合处理,得到目标图像特征。
(9)通过预定卷积神经网络中的第二全连接层,基于目标图像特征进行分类处理,得到目标障碍物分别属于各候选类别的置信度。
(10)按照各置信度,从各候选类别中确定目标障碍物所属的类别。
需要说明的是,本实施例中对各技术特征的具体限定,可以与前文中对相应技术特征的限定相同,此处不加赘述。
在合理条件下应当理解,虽然前文各实施例涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图9所示,提供了一种障碍物分类装置900。该装置900可以包括如下模块902至910。
待处理点云获取模块902,用于获取待处理点云数据;待处理点云数据包括原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据。
二维栅格图获取模块904,用于对待处理点云数据进行栅格化处理,得到二维栅格图。
统计特征图获取模块906,用于基于二维栅格图中的各栅格内的空间点,分别确定各栅格的目标统计参数,并得到与目标统计参数相对应的统计特征图。
置信度确定模块908,用于通过预定卷积神经网络,基于统计特征图确定目标图像特征,并基于目标图像特征进行分类,得到目标障碍物分别属于各候选类别的置信度。
类别确定模块910,用于按照各置信度,从各候选类别中确定目标障碍物所属的类别。
上述障碍物分类装置900,对待处理点云数据进行栅格化处理得到二维栅格图,再确定二维栅格图中各栅格的目标统计参数,并得到相应的统计特征图,再通过卷积神经网络,基于统计特征图确定目标图像特征,再基于目标图像特征进行分类得到目标障碍物分别属于各候选类别的置信度,进而按照置信度确定目标障碍物所属的类别。如此,通过栅格化处理快速地将三维点云数据转化为二维栅格图,降低了数据的维度信息,减少了卷积神经网络的计算量;并且,待处理点云数据包括的是原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据,因此进行栅格化及得到统计特征图的过程耗费的时间非常少,有效地保证了处理实时性;此外,由于卷积神经网络能以统计特征图为基础提取到更深层次的特征,深层次的特征包含更丰富的语义信息,从而能够更准确地表达待处理点云数据的特性,提高了分类的准确性。
在一个实施例中,待处理点云获取模块902可以包括如下单元:原始点云获取单元,用于获取原始点云数据,原始点云数据由环境感知装置感知周围环境得到;位置区域确定单元,用于在原始点云数据中定位出目标障碍物所处的位置区域;待处理点云获取单元,用于基于原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据,得到待处理点云数据。
在一个实施例中,目标统计参数包括栅格内空间点的最大高度、栅格内最高的空间点的强度、栅格内空间点的平均高度、栅格内空间点的平均强度、栅格内空间点的总个数、栅格中心点与目标障碍物的中心点的距离、栅格中心点相对于目标障碍物的中心点的角度、以及栅格的占用状态参数中的至少一种。
在一个实施例中,置信度确定模块908可以包括如下单元:局部特征提取单元,用于通过预定卷积神经网络中的特征提取网络,基于统计特征图进行特征提取处理,得到局部图像特征;目标特征确定单元,用于通过预定卷积神经网络中的第一全连接层,对局部图像特征进行特征整合处理,得到目标图像特征;置信度确定单元,用于通过预定卷积神经网络中的第二全连接层,基于目标图像特征进行分类处理,得到目标障碍物分别属于各候选类别的置信度。
在一个实施例中,预定卷积神经网络中的特征提取网络包括多于一个的子特征提取网络,各子特征提取网络顺次连接。据此,局部特征提取单元可以包括如下子单元:特征提取子单元,用于通过特征提取网络中的各子特征提取网络,基于各自的输入信息进行特征提取处理;其中,特征提取网络中排列在最前的子特征提取网络的输入信息包括统计特征图;除排列在最前的子特征提取网络以外的各子特征提取网络的输入信息包括各自相邻的前一个子特征提取网络的输出信息;局部特征获取子单元,用于获取特征提取网络中排列在最后的子特征提取网络的输出信息;局部图像特征包括:排列在最后的子特征提取网络的输出信息。
在一个实施例中,特征提取子单元可以用于:将子特征提取网络的输入信息,经过子特征提取网络中的空洞卷积层进行空洞卷积处理,再经过该子特征提取网络中的激活层进行非线性变换处理。
在一个实施例中,特征提取子单元可以用于:将子特征提取网络的输入信息,经过子特征提取网络中的空洞卷积层进行空洞卷积处理,再经过该子特征提取网络中的激活层进行非线性变换处理,再经过该子特征提取网络中的池化层进行降维处理。
在一个实施例中,障碍物分类装置900还可以包括以下模块:样本点云获取模块,用于获取样本点云数据;样本点云数据携带类别标签,样本点云数据包括样本原始点云数据中被样本障碍物所处的位置区域涵盖的局部点云数据;样本栅格图获取模块,用于对样本点云数据进行栅格化处理,得到样本二维栅格图;样本统计图获取模块,用于基于样本二维栅格图中的各栅格内的空间点,确定各栅格的目标统计参数,并得到与目标统计参数相对应的样本统计特征图;预测结果获取模块,用于通过待训练卷积神经网络,基于样本统计特征图确定样本目标图像特征,并基于样本目标图像特征进行分类,得到对应于样本点云数据的类别预测结果;损失参数确定模块,用于基于类别预测结果和类别标签,确定损失参数;模型训练模块,用于基于损失参数对待训练卷积神经网络进行模型训练,确定预定卷积神经网络。
需要说明的是,关于障碍物分类装置900的具体限定,可以参见上文中对于障碍物分类方法的限定,在此不再赘述。上述障碍物分类装置900中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行本申请任一实施例提供的障碍物分类方法中的步骤。
该计算机设备可以是图1所示的控制终端110。如图10所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现本申请任一实施例提供的障碍物分类方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行本申请任一实施例提供的障碍物分类方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
或者,该计算机设备可以是图2中的服务器130。如图11所示,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口。其中,该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质和内存储器,该非易失性存储介质存储有操作系统、计算机程序,该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现本申请任一实施例提供的障碍物的分类方法。
本领域技术人员可以理解,图10和图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的障碍物分类装置900可以实现为一种计算机程序的形式,计算机程序可在如图10或图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该障碍物分类装置900的各个程序模块,比如,图9所示的待处理点云获取模块902、二维栅格图获取模块904、统计特征图获取模块906、置信度确定模块909、以及类别确定模块910。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的障碍物分类方法中的步骤。
比如,图10或图11所示的计算机设备可以通过如图9所示的障碍物分类装置900中的待处理点云获取模块902执行步骤S302、通过二维栅格图获取模块904执行步骤S304、通过统计特征图获取模块906执行步骤S306、通过置信度确定模块909执行步骤S308、通过类别确定模块910执行步骤S310。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
据此,在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述障碍物分类方法的步骤。此处障碍物分类方法的步骤可以是上述各个实施例的障碍物分类方法中的步骤。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种障碍物分类方法,包括:
获取待处理点云数据;所述待处理点云数据包括原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据;
对所述待处理点云数据进行栅格化处理,得到二维栅格图;
基于所述二维栅格图中的各栅格内的空间点,分别确定各所述栅格的目标统计参数,并得到与所述目标统计参数相对应的统计特征图;
通过预定卷积神经网络,基于所述统计特征图确定目标图像特征,并基于所述目标图像特征进行分类,得到所述目标障碍物分别属于各候选类别的置信度;
按照各所述置信度,从各候选类别中确定所述目标障碍物所属的类别。
2.根据权利要求1所述的方法,其特征在于,所述获取待处理点云数据,包括:
获取原始点云数据;所述原始点云数据由环境感知装置感知周围环境得到;
在所述原始点云数据中定位出目标障碍物所处的位置区域;
基于所述原始点云数据中被所述目标障碍物所处的位置区域涵盖的局部点云数据,得到待处理点云数据。
3.根据权利要求1所述的方法,其特征在于,所述目标统计参数包括栅格内空间点的最大高度、栅格内最高的空间点的强度、栅格内空间点的平均高度、栅格内空间点的平均强度、栅格内空间点的总数目、栅格中心点与所述目标障碍物的中心点的距离、栅格中心点相对于所述目标障碍物的中心点的角度、以及栅格的占用状态参数中的至少一种。
4.根据权利要求1所述的方法,其特征在于,所述通过预定卷积神经网络,基于所述统计特征图确定目标图像特征,并基于所述目标图像特征进行分类,得到所述目标障碍物分别属于各候选类别的置信度,包括:
通过所述预定卷积神经网络中的特征提取网络,基于所述统计特征图进行特征提取处理,得到局部图像特征;
通过所述预定卷积神经网络中的第一全连接层,对所述局部图像特征进行特征整合处理,得到所述目标图像特征;
通过所述预定卷积神经网络中的第二全连接层,基于所述目标图像特征进行分类处理,得到所述目标障碍物分别属于各候选类别的置信度。
5.根据权利要求4所述的方法,其特征在于,所述预定卷积神经网络中的特征提取网络包括多于一个的子特征提取网络,各所述子特征提取网络顺次连接;
所述通过所述预定卷积神经网络中的特征提取网络,基于所述统计特征图进行特征提取处理,得到局部图像特征,包括:
通过所述特征提取网络中的各子特征提取网络,基于各自的输入信息进行特征提取处理;其中,所述特征提取网络中排列在最前的子特征提取网络的输入信息包括所述统计特征图;除所述排列在最前的子特征提取网络以外的各子特征提取网络的输入信息包括各自相邻的前一个子特征提取网络的输出信息;
获取所述特征提取网络中排列在最后的子特征提取网络的输出信息;
所述局部图像特征包括:所述排列在最后的子特征提取网络的输出信息。
6.根据权利要求5所述的方法,其特征在于,通过所述子特征提取网络基于输入信息进行特征提取处理的方式,包括:
将所述子特征提取网络的输入信息,经过所述子特征提取网络中的空洞卷积层进行空洞卷积处理,再经过该子特征提取网络中的激活层进行非线性变换处理;或者,
将所述子特征提取网络的输入信息,经过所述子特征提取网络中的空洞卷积层进行空洞卷积处理,再经过该子特征提取网络中的激活层进行非线性变换处理,再经过该子特征提取网络中的池化层进行降维处理。
7.根据权利要求1所述的方法,其特征在于,确定预定卷积神经网络的方式,包括:
获取样本点云数据;所述样本点云数据携带类别标签,所述样本点云数据包括样本原始点云数据中被样本障碍物所处的位置区域涵盖的局部点云数据;
对所述样本点云数据进行栅格化处理,得到样本二维栅格图;
基于所述样本二维栅格图中的各栅格内的空间点,确定各所述栅格的目标统计参数,并得到与所述目标统计参数相对应的样本统计特征图;
通过待训练卷积神经网络,基于所述样本统计特征图确定样本目标图像特征,并基于所述样本目标图像特征进行分类,得到对应于所述样本点云数据的类别预测结果;
基于所述类别预测结果和所述类别标签,确定损失参数;
基于所述损失参数对所述待训练卷积神经网络进行模型训练,确定所述预定卷积神经网络。
8.一种障碍物分类装置,包括:
待处理点云获取模块,用于获取待处理点云数据;所述待处理点云数据包括原始点云数据中被目标障碍物所处的位置区域涵盖的局部点云数据;
二维栅格图获取模块,用于对所述待处理点云数据进行栅格化处理,得到二维栅格图;
统计特征图获取模块,用于基于所述二维栅格图中的各栅格内的空间点,分别确定各所述栅格的目标统计参数,并得到与所述目标统计参数相对应的统计特征图;
置信度确定模块,用于通过预定卷积神经网络,基于所述统计特征图确定目标图像特征,并基于所述目标图像特征进行分类,得到所述目标障碍物分别属于各候选类别的置信度;
类别确定模块,用于按照各所述置信度,从各候选类别中确定所述目标障碍物所属的类别。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811562741.3A CN111353512B (zh) | 2018-12-20 | 2018-12-20 | 障碍物分类方法、装置、存储介质和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811562741.3A CN111353512B (zh) | 2018-12-20 | 2018-12-20 | 障碍物分类方法、装置、存储介质和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111353512A true CN111353512A (zh) | 2020-06-30 |
CN111353512B CN111353512B (zh) | 2023-07-28 |
Family
ID=71195489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811562741.3A Active CN111353512B (zh) | 2018-12-20 | 2018-12-20 | 障碍物分类方法、装置、存储介质和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111353512B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111982127A (zh) * | 2020-08-31 | 2020-11-24 | 华通科技有限公司 | LightWeight-3D避障方法 |
CN112232451A (zh) * | 2020-12-16 | 2021-01-15 | 禾多科技(北京)有限公司 | 多传感器数据融合方法、装置、电子设备和介质 |
CN112347986A (zh) * | 2020-11-30 | 2021-02-09 | 上海商汤临港智能科技有限公司 | 样本生成、神经网络训练、智能行驶控制方法及装置 |
CN112394737A (zh) * | 2021-01-19 | 2021-02-23 | 广州赛特智能科技有限公司 | 一种基于障碍检测的移动机器人自适应速度调节方法 |
CN112528830A (zh) * | 2020-12-07 | 2021-03-19 | 南京航空航天大学 | 一种结合迁移学习的轻量级cnn口罩人脸姿态分类方法 |
CN113253299A (zh) * | 2021-06-09 | 2021-08-13 | 深圳市速腾聚创科技有限公司 | 障碍物检测方法、装置及存储介质 |
CN113284342A (zh) * | 2021-05-17 | 2021-08-20 | 上海欧菲智能车联科技有限公司 | 空车位检测方法及装置、车辆和计算机设备 |
CN113447923A (zh) * | 2021-06-29 | 2021-09-28 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置、系统、电子设备及存储介质 |
WO2022017147A1 (zh) * | 2020-07-22 | 2022-01-27 | 上海商汤临港智能科技有限公司 | 点云数据的处理方法和装置、雷达装置、电子设备及计算机可读存储介质 |
CN114509785A (zh) * | 2022-02-16 | 2022-05-17 | 中国第一汽车股份有限公司 | 三维物体检测方法、装置、存储介质、处理器及系统 |
CN114648882A (zh) * | 2022-02-09 | 2022-06-21 | 上海欧菲智能车联科技有限公司 | 一种车位检测方法及装置 |
US11624831B2 (en) | 2021-06-09 | 2023-04-11 | Suteng Innovation Technology Co., Ltd. | Obstacle detection method and apparatus and storage medium |
CN113392937B (zh) * | 2021-07-30 | 2023-07-04 | 广东工业大学 | 一种3d点云数据分类方法及其相关装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106503678A (zh) * | 2016-10-27 | 2017-03-15 | 厦门大学 | 基于移动激光扫描点云的道路标线自动检测和分类方法 |
CN106951847A (zh) * | 2017-03-13 | 2017-07-14 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、设备及存储介质 |
CN107064955A (zh) * | 2017-04-19 | 2017-08-18 | 北京汽车集团有限公司 | 障碍物聚类方法及装置 |
CN107066553A (zh) * | 2017-03-24 | 2017-08-18 | 北京工业大学 | 一种基于卷积神经网络与随机森林的短文本分类方法 |
WO2018133851A1 (zh) * | 2017-01-22 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 一种点云数据处理方法、装置及计算机存储介质 |
CN108416440A (zh) * | 2018-03-20 | 2018-08-17 | 上海未来伙伴机器人有限公司 | 一种神经网络的训练方法、物体识别方法及装置 |
CN108416318A (zh) * | 2018-03-22 | 2018-08-17 | 电子科技大学 | 基于数据增强的合成孔径雷达图像目标深度模型识别方法 |
-
2018
- 2018-12-20 CN CN201811562741.3A patent/CN111353512B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106503678A (zh) * | 2016-10-27 | 2017-03-15 | 厦门大学 | 基于移动激光扫描点云的道路标线自动检测和分类方法 |
WO2018133851A1 (zh) * | 2017-01-22 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 一种点云数据处理方法、装置及计算机存储介质 |
CN106951847A (zh) * | 2017-03-13 | 2017-07-14 | 百度在线网络技术(北京)有限公司 | 障碍物检测方法、装置、设备及存储介质 |
CN107066553A (zh) * | 2017-03-24 | 2017-08-18 | 北京工业大学 | 一种基于卷积神经网络与随机森林的短文本分类方法 |
CN107064955A (zh) * | 2017-04-19 | 2017-08-18 | 北京汽车集团有限公司 | 障碍物聚类方法及装置 |
CN108416440A (zh) * | 2018-03-20 | 2018-08-17 | 上海未来伙伴机器人有限公司 | 一种神经网络的训练方法、物体识别方法及装置 |
CN108416318A (zh) * | 2018-03-22 | 2018-08-17 | 电子科技大学 | 基于数据增强的合成孔径雷达图像目标深度模型识别方法 |
Non-Patent Citations (1)
Title |
---|
薛金林;闫嘉;范博文;: "多类农田障碍物卷积神经网络分类识别方法", 农业机械学报, no. 1, pages 42 - 48 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022017147A1 (zh) * | 2020-07-22 | 2022-01-27 | 上海商汤临港智能科技有限公司 | 点云数据的处理方法和装置、雷达装置、电子设备及计算机可读存储介质 |
CN111982127A (zh) * | 2020-08-31 | 2020-11-24 | 华通科技有限公司 | LightWeight-3D避障方法 |
CN112347986A (zh) * | 2020-11-30 | 2021-02-09 | 上海商汤临港智能科技有限公司 | 样本生成、神经网络训练、智能行驶控制方法及装置 |
CN112528830A (zh) * | 2020-12-07 | 2021-03-19 | 南京航空航天大学 | 一种结合迁移学习的轻量级cnn口罩人脸姿态分类方法 |
CN112232451A (zh) * | 2020-12-16 | 2021-01-15 | 禾多科技(北京)有限公司 | 多传感器数据融合方法、装置、电子设备和介质 |
CN112232451B (zh) * | 2020-12-16 | 2021-04-30 | 禾多科技(北京)有限公司 | 多传感器数据融合方法、装置、电子设备和介质 |
CN112394737A (zh) * | 2021-01-19 | 2021-02-23 | 广州赛特智能科技有限公司 | 一种基于障碍检测的移动机器人自适应速度调节方法 |
CN112394737B (zh) * | 2021-01-19 | 2021-05-18 | 广州赛特智能科技有限公司 | 一种基于障碍检测的移动机器人自适应速度调节方法 |
CN113284342A (zh) * | 2021-05-17 | 2021-08-20 | 上海欧菲智能车联科技有限公司 | 空车位检测方法及装置、车辆和计算机设备 |
CN113284342B (zh) * | 2021-05-17 | 2022-09-06 | 上海欧菲智能车联科技有限公司 | 空车位检测方法及装置、车辆和计算机设备 |
CN113253299A (zh) * | 2021-06-09 | 2021-08-13 | 深圳市速腾聚创科技有限公司 | 障碍物检测方法、装置及存储介质 |
CN113253299B (zh) * | 2021-06-09 | 2022-02-01 | 深圳市速腾聚创科技有限公司 | 障碍物检测方法、装置及存储介质 |
US11624831B2 (en) | 2021-06-09 | 2023-04-11 | Suteng Innovation Technology Co., Ltd. | Obstacle detection method and apparatus and storage medium |
US11927672B2 (en) | 2021-06-09 | 2024-03-12 | Suteng Innovation Technology Co., Ltd. | Obstacle detection method and apparatus and storage medium |
CN113447923A (zh) * | 2021-06-29 | 2021-09-28 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置、系统、电子设备及存储介质 |
CN113392937B (zh) * | 2021-07-30 | 2023-07-04 | 广东工业大学 | 一种3d点云数据分类方法及其相关装置 |
CN114648882A (zh) * | 2022-02-09 | 2022-06-21 | 上海欧菲智能车联科技有限公司 | 一种车位检测方法及装置 |
CN114509785A (zh) * | 2022-02-16 | 2022-05-17 | 中国第一汽车股份有限公司 | 三维物体检测方法、装置、存储介质、处理器及系统 |
WO2023155389A1 (zh) * | 2022-02-16 | 2023-08-24 | 中国第一汽车股份有限公司 | 三维物体检测方法、装置、存储介质、处理器及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111353512B (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111353512B (zh) | 障碍物分类方法、装置、存储介质和计算机设备 | |
US10410353B2 (en) | Multi-label semantic boundary detection system | |
CN108416307B (zh) | 一种航拍图像路面裂缝检测方法、装置及设备 | |
CN110245662B (zh) | 检测模型训练方法、装置、计算机设备和存储介质 | |
US20220245792A1 (en) | Systems and methods for image quality detection | |
CN111027493B (zh) | 一种基于深度学习多网络软融合的行人检测方法 | |
Zhuo et al. | Cloud classification of ground-based images using texture–structure features | |
CN111353969B (zh) | 道路可行驶区域的确定方法、装置及计算机设备 | |
CN110163193B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
WO2020052678A1 (en) | Method and system for generating synthetic point cloud data using a generative model | |
CN111199206A (zh) | 三维目标检测方法、装置、计算机设备及存储介质 | |
CN113095418B (zh) | 一种目标检测方法及系统 | |
CN111144304A (zh) | 车辆目标检测模型的生成方法、车辆目标检测方法及装置 | |
Yang et al. | Real-time pedestrian and vehicle detection for autonomous driving | |
CN112464930A (zh) | 目标检测网络构建方法、目标检测方法、装置和存储介质 | |
CN114170231A (zh) | 基于卷积神经网络的图像语义分割方法、装置及电子设备 | |
CN112699858B (zh) | 无人平台烟尘雾感知方法、系统、计算机设备及存储介质 | |
CN113095199B (zh) | 一种高速行人识别方法及装置 | |
CN111985488B (zh) | 一种基于离线高斯模型的目标检测分割方法及系统 | |
CN112819832A (zh) | 基于激光点云的城市场景语义分割细粒度边界提取方法 | |
CN111738069A (zh) | 人脸检测方法、装置、电子设备及存储介质 | |
CN115861595B (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
CN115761552A (zh) | 面向无人机机载平台的目标检测方法、系统、设备及介质 | |
CN115409938A (zh) | 三维模型构建方法、装置、设备及存储介质 | |
CN114677578A (zh) | 确定训练样本数据的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |