CN104298971A - 一种3d点云数据中的目标识别方法 - Google Patents
一种3d点云数据中的目标识别方法 Download PDFInfo
- Publication number
- CN104298971A CN104298971A CN201410509882.4A CN201410509882A CN104298971A CN 104298971 A CN104298971 A CN 104298971A CN 201410509882 A CN201410509882 A CN 201410509882A CN 104298971 A CN104298971 A CN 104298971A
- Authority
- CN
- China
- Prior art keywords
- point
- cloud
- vision word
- classification
- feature descriptor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种3D点云数据中的目标识别方法,将2D SIFT特征扩展至3D场景,将SIFT关键点与表面法向量直方图相结合实现了在3D深度数据中具有尺度不变性的局部特征提取,特征稳定可靠;提出的语言模型,克服了传统视觉词袋模型用局部特征描述全局特征时不够精确,易受噪声影响的缺点,大大提高了使用局部特征对目标全局特征进行描述的精度。该方法模型精确,识别效果精确可靠,可应用与任何室外复杂或简单的场景下的目标识别。
Description
技术领域
本发明属于环境感知技术领域,具体涉及一种基于语言模型的3D点云数据中的目标识别方法,用于自主无人智能车辆的环境感知、室内目标识别和导航等方面。
背景技术
随着科学技术的发展,自主无人智能车辆的研究越来越成为各国研究机构的研究热点之一。自主无人智能车辆可以有效减少交通事故死亡率,在无人条件下完成危险环境作业,大大提高人类生活的智能化水平。而环境感知技术是自主智能车的核心技术之一。激光雷达和摄像头是目前无人车技术中的核心环境感知传感器。激光3D点云数据中的目标识别方法是提高自主智能车的环境感知和即时定位与地图构建(SLAM)技术水平以及自主智能车的自主导航中的关键技术。
3D点云下的目标识别一般包括特征提取和特征匹配两个阶段。目前3D点云下的目标识别方法依据提取的特征种类主要可分为以下两种:采用全局特征的识别方法和采用局部特征的识别方法。全局特征以提取目标的全局轮廓特征为主,在以往的实验中因对目标形变、目标因遮挡残缺不全等因素过于敏感,而渐渐被一些具有尺度与旋转不变性的稳定局部特征所替代。依赖局部特征进行目标识别的方法是目前应用最为广泛的方法之一。在特征匹配阶段,特征匹配方法也可以分为两类:直接特征点匹配方法和间接特征点匹配方法。直接特征点匹配方法直接在模型与待辨识物体上计算所提取特征的匹配程度,通过统计匹配成功的特征点百分比来进行目标辨识;而间接特征点匹配方法则通过对模型中的特征进行进一步的组合,实现通过局部特征对全局特征的描述,然后在模型和待匹配目标之间进行这些特征组合间的匹配来进行目标的辨识。稳定的局部特征加上合适的直接特征点匹配方法,在一些场合的应用中取得了不错的效果,但如何用稳定的局部特征对目标物体进行全局特征描述依旧是实现复杂场景下目标识别的难点之一。基于局部特征与视觉词袋模型的方法解决了用局部特征对物体进行全局特征描述的语义鸿沟,在图像处理领域取得了不错的效果。但传统的视觉词袋模型忽略了众多局部特征在表述目标全局特征过程中内在的空间语序逻辑,大大降低了其在对物体进行全局特征描述时的描述精度,因此使该方法的识别精度大打折扣。
发明内容
为了提高3D点云数据中的模型描述精度和目标识别精度,胜任城市复杂环境下的目标识别任务或其他应用场合的目标识别任务,本发明提出了一种基于语言模型的3D点云数据中的目标识别方法,本发明通过以下技术方案实现:
一种3D点云数据中的目标识别方法,包括离线语言模型训练步骤及在此语言模型基础上进行的对输入3D点云块的在线识别步骤,所述离线语言模型训练步骤具体包括以下步骤:
步骤1、对标记类别的点云块样本进行特征提取,具体包括:
A11、对每个点云块中的关键点进行提取,则提取到的第m个关键点表达为:km(x,y,z,Iintensity),其中,x,y,z为关键点的坐标,Iintensity为传感器检测出的该关键点的反射强度;其中,以传感器扫描窗口中心点为原点,以传感器扫描起始平面中的水平射线为x轴,传感器的旋转对称轴为z轴,y轴根据x轴z轴按右手螺旋定则确定;
A12、对步骤A11中得到的关键点进行主成分分析和法向量直方图特征提取,得到各关键点的法向量与其球形邻域中各点法向量的三个夹角α、φ和θ;将360°圆周角按照角β进行等角栅格划分,得到360/β个角栅格;统计所有关键点对应的夹角α、φ和θ的值分别落入各个角栅格中的比例,然后得到第m个关键点的夹角αm 0、φm 0和θm 0分别对应的直方图αm、φm和θm;最后得到关键点的法向量直方图的特征描述子dm={αm,φm,θm,εm,km(x,y,z,Iintensity)},所述β的取值范围为5°~20°,εm表示第m个关键点所在点云块的所有点中z轴坐标的最大值和最小值的差值ε,同时根据样本标记的类别信息对特征描述子进行类别标记,得到带有类别标记信息的特征描述子:(dm,cm)={αm,φm,θm,εm,km(x,y,z,Iintensity),cm},其中的cm代表第m个关键点所属的类别;
步骤2、对所提取特征进行聚类,生成视觉单词;
将所有类别中的所有特征描述子进行聚类,得到Nvw类特征描述子;将属于同一个聚类的特征描述子记为一个视觉单词,即得到Nvw个视觉单词,根据各个特征描述子所属类别,得到各视觉单词属于各个类别的后验概率:
其中,P(vj|ci)表示第j个视觉单词vj属于第i个类别ci的后验概率;nvw(ci)表示从类别ci中提取的视觉单词总数,nvot(vj)表示属于视觉单词vj中的特征描述子的总数,nvot(ci,vj)为类别ci中提取的属于视觉单词vj的特征描述子个数,nftr(ci)和nftr(ck)分别表示从类别ci和类别ck中提取得到的特征描述子总数;C为所有类别组成的集合;
步骤3、对视觉单词进行空间编码,生成语言模型,具体包括如下步骤:
A31、获得所有视觉单词所属的高度空间:
对每个视觉单词vj,查找其所有特征描述子中最大的差值ε,记为εmax,对属于视觉单词vj的所有特征描述子的z轴坐标进行尺度变换,即将z轴坐标值变换为:z×εmax/εm,得到变换后的特征描述子;
将z轴从0至传感器安装高度的范围进行等间隔划分,使划分后的栅格区间大于激光雷达传感器分辨率;
统计属于每个视觉单词的变换后特征描述子在各个栅格区间的分布直方图,然后按照各栅格区间中变换后特征描述子百分比按照从大到小进行排列,并依次将百分比累加,当累加到大于或等于80%时,参与累加的栅格区间则为该视觉单词所属的高度区间;
A32、获得所有类别的语言模型,完成语言模型构建:
针对属于每个类别中的所有视觉单词所属的高度区间包括的所有的栅格区间,从第一个视觉单词个数不为0的栅格区间开始,依次向上进行标记,至最后一个视觉单词不为0的栅格区间为止,然后对各个标记的栅格区间中的视觉单词进行编号,如此得到各个类别对应的语言模型,其中类别ci对应的语言模型为: 和分别表示类别ci中第一个、第二个和最后一个栅格区间中包含的视觉单词的集合,为类别ci中视觉单词不为0的栅格区间总个数;
所述对输入3D点云块的在线识别具体包括如下步骤:
步骤4、按所述步骤1的方法对待识别点云块进行特征提取,得到不带类别信息的待识别特征描述子;
步骤5、计算每个待识别特征描述子与步骤3的语言模型中所有视觉单词的聚类中心的距离,则该待识别特征描述子属于最小距离对应的视觉单词;则该最小距离对应的视觉单词即为与该待识别特征描述子匹配的视觉单词;
步骤6、将匹配到的视觉单词分别与每个类别对应的语言模型进行匹配,其中,与类别ci的匹配过程如下:
B61、计算待识别点云块的z轴坐标的最小值zmin和最大值zmax;
B62、以为精度将待识别点云块的高度空间划分为个栅格区间;
B63、获得步骤5中每个匹配的视觉单词中的待识别特征描述子在所述个栅格区间中的分布直方图,然后按照各栅格区间中待识别特征描述子的百分比按照从大到小进行排序,并依次将百分比累加,当累加到大于或等于80%时,参与累加的栅格区间则为该匹配的视觉单词所属的高度区间;
B64、获得待识别点云块与各个语言模型的匹配率,其中,待识别点云块与类别ci对应的语言模型的匹配率根据公式获得;其中nvw(ci)为从待识别点云块得到的属于类别ci的匹配的视觉单词总数,nvw为待识别点云块提取得到的匹配的视觉单词总数,为语言模型中栅格区间中的匹配的视觉单词总数,为栅格区间总数,为步骤A32中栅格区间中视觉单词与步骤B63中的栅格区间中匹配的视觉单词互相匹配的个数;
B65、取步骤B64得到的最大匹配率,并判断:当最大匹配率大于或等于设定阈值,则匹配成功,待识别点云块属于最大匹配率对应的类别;当最大匹配率小于设定阈值,匹配失败,无法确定该点云类别,所述设定阈值的取值范围为20%~35%。
所述步骤1的A11中提取关键点的方法具体包括如下步骤:
S21、对点云块分布空间采用边长为ε的立方体栅格进行划分,将其内含有点云点的立方体栅格的几何中心作为采样后的点云点,将该立方体栅格称为该采样后点云点对应的采样栅格;增大立方体栅格的边长,对采样后的点云点继续采样,如此重复采样Noctaves次,对点云块中的点云点进行Noctaves次采样;将点云块内未经过采样的点云点作为金字塔最底层,将不断增大的采样栅格对应的采样后的点云点依次存放在金字塔最底层以上的各层中,形成具有Noctaves+1层的点云金字塔;采样后的点云点的反射强度Iintensity等于对应的采样栅格中的所有点云点的平均反射强度;所述Noctaves≥3,ε≥激光雷达传感器分辨率;
S22、对每一层点云金字塔中的每个点云点分别进行m次不同卷积尺度的高斯卷积,并获得m个不同卷积尺度的高斯响应值,进而对每个点的相邻两个高斯响应值作差,得到m-1个高斯差分值,所述m≥3;
S23、针对点云金字塔各层中的每个点云点,如果对应的n-1个高斯差分值均为极值,保留该点云点,成为该层的一个极值点;否则,从该层中去除该点云点;
S24、从点云金字塔的最顶层开始,判断某个极值点在点云金字塔下一层中对应的采样栅格中是否存在极值点:
如果存在极值点,在该极值点的下一层中对应的采样栅格中寻找极值点,一直寻找到点云金字塔的最底层;
如果没有极值点,返回到点云金字塔的最顶层,判断其他极值点是否在以下各层中对应的采样栅格中存在极值点;
当某一个极值点在点云金字塔各层中对应的采样栅格中都存在极值点,则保留点云金字塔最底层中对应采样栅格中的极值点,作为关键点。
在所述步骤3中对视觉单词进行空间编码之前,先对视觉单词进行滤波和归类,具体为:
找到视觉单词vj所属的后验概率值最大的类别若其后验概率值大于或等于剩下的属于其余各类别对应的后验概率之和,则保留该视觉单词vj,小于则去除该视觉单词vj;
对于滤波后的每个视觉单词,按照其属于各个类别的后验概率大小进行排序,判断前个后验概率值是否大于80%:如果大于,则保留;如果小于或等于,则不保留;则最终将该视觉单词归入保留的后验概率对应的类别中。
有益效果:
本发明将2D SIFT特征扩展至3D场景,将SIFT关键点与表面法向量直方图相结合实现了在3D深度数据中具有尺度不变性的局部特征提取,特征稳定可靠;提出的语言模型,克服了传统视觉词袋模型用局部特征描述全局特征时不够精确,易受噪声影响的缺点,大大提高了使用局部特征对目标全局特征进行描述的精度。该方法模型精确,识别效果精确可靠,可应用与任何室外复杂或简单的场景下的目标识别。
附图说明
图1是本发明整体流程图;
图2是本发明提取3D SIFT关键点中,构建点云金子塔的示意图。
图3是本发明提取表面法向量夹角直方图的示意图。
图4是本发明生成视觉单词,构建语言模型的示意图。
具体实施方式
下面结合附图和实施例,对本发明进行详细描述。
一种基于语言模型的3D点云数据中的目标识别方法,包括离线语言模型训练步骤及在此语言模型基础上进行的对输入3D点云块的在线识别步骤。
本发明提出的目标识别方法需要预先标记的类别样本,如图1所示,各样本可以是从Velodyne 3D激光雷达点云中分割好的目标点云块。识别目标也为分割好的点云块,每个点云块代表一个物体;且待识别目标与样本用同样的传感器在同样条件下采样得到,用同样的点云分割方法完成点云分割。在实际无人车应用中,样本和待识别点云块均可从Velodyne 3D激光雷达传感器对城市或乡村环境的采样中分割得到。该方法满足无人车的实际应用需求。
本实施例待共针对四个类别的目标进行离线模型训练:汽车,行人,树木,骑自行车/摩托车的人。
步骤一所述离线训练过程,具体包含以下步骤:
步骤1、对标记类别的点云块样本进行特征提取,具体包括:
A11、对每个点云块中的关键点进行提取,则提取到的第m个关键点表达为:km(x,y,z,Iinensity),其中,x,y,z为关键点的坐标,其中,以传感器扫描窗口中心点为原点,以传感器扫描起始平面中的水平射线为x轴,传感器的旋转对称轴为z轴,y轴根据x轴z轴按右手螺旋定则确定;Iintensity为传感器检测出的该关键点的反射强度,具体为:
对点云块分布空间采用边长为ε的立方体栅格进行划分,有的立方体栅格中具有多个点云点,而有的立方体栅格中没有点云点,将其内含有点云点的立方体栅格的几何中心作为采样后的点云点,将该立方体栅格称为该采样后点云点对应的采样栅格;增大立方体栅格的边长,对采样后的点云点继续采样,如此重复采样Noctaves次,对点云块中的点云点进行Noctaves次采样,实现了依据栅格化尺度对原始输入点云进行降采样。如图2所示,将点云块内未经过采样的点云点作为金字塔最底层,将不断增大的采样栅格对应的采样后的点云点依次存放在金字塔最底层以上的各层中,形成具有Noctaves+1层的点云金字塔;采样后的点云点的反射强度Iintensity等于对应的采样栅格中的所有点云点的平均反射强度;所述Noctaves≥3,ε≥激光雷达传感器分辨率;本实施例取ε0=0.1m,Noctaves=4。将每层采样后输出的点云数据用KD-Tree进行存储,得到点云金子塔的Noctaves个用KD-Tree存储的数据组。
对每一层点云金字塔中的每个点云点分别进行m次不同卷积尺度的高斯卷积,并获得m个不同卷积尺度的高斯响应值,进而对每个点的相邻两个高斯响应值作差,得到m-1个高斯差分值,所述m≥3。本实施例中,设定高斯卷积最小尺度σmin=0.2m和点云金字塔各层的卷积尺度个数Minterval=3,生成Minterval个尺度值σl=2l·σmin,l∈[0~(Minterval-1)],表示对金字塔当前层的第l次高斯卷积。对每层的KD-Tree,设定该层的搜索半径为ri=3.0·εi,计算KD-tree中各个点的以ri为半径的球形邻域中的点集Pk,k为ri半径邻域内的点的个数。对每个高斯卷积尺度σl,计算Pk中各点与中心点的高斯响应:
DOG((p0,σl)=L((p0,σl+1)-L((p0,σl),l∈[0~(Minterval-2)]
DOG(p0,σl)为p0点的高斯差分,其中,(xj,yj,zj)为Pk中第j个点的坐标,Ij intensity为传感器检测出的第j个点的反射强度,j=1~k,在金字塔每一层中以各个点作中心点遍历计算该点处的高斯差分值,共Noctaves层,在金字塔各层的每个点处,都得到一组(即Minterval-1个)与相邻高斯卷积尺度之间的高斯差分值,为金字塔每层生成Minterval-1个DOG子层。
针对点云金字塔各层中的每个点云点,如果对应的n-1个高斯差分值均为极值,保留该点云点,成为该层的一个极值点;否则,从该层中去除该点云点;
从点云金字塔的最顶层开始,判断某个极值点在点云金字塔下一层中对应的采样栅格中是否存在极值点:
如果存在极值点,在该极值点的下一层中对应的采样栅格中寻找极值点,一直寻找到点云金字塔的最底层;
如果没有极值点,返回到点云金字塔的最顶层,判断其他极值点是否在以下各层中对应的采样栅格中存在极值点;
当某一个极值点在点云金字塔各层中对应的采样栅格中都存在极值点,则保留点云金字塔最底层中对应采样栅格中的极值点,作为关键点。
A12、如图3所示,对步骤A11中得到的关键点进行PCA主成分分析和法向量直方图特征提取,得到各关键点的法向量与其球形邻域中各点法向量的三个夹角α、φ和θ;将360°圆周角按照角β进行等角栅格划分,得到360/β个角栅格;统计所有关键点对应的夹角α、φ和θ的值分别落入各个角栅格中的比例,然后分别得到夹角α、φ和θ的直方图αm、φm和θm;最后得到关键点的法向量直方图的特征描述子 所述β的取值范围为5°~20°,εm表示关键点所在点云块的所有点中z轴坐标的最大值和最小值的差值,同时根据样本标记的类别信息对特征描述子进行类别标记,得到带有类别标记信息的特征描述子: 其中的C代表不同类别的集合,C={c1,c2...ci...cn},则本实施例中,C=[汽车,行人,树木,骑自行车/摩托车的人]。具体方法如下:
设定传感器所在位置vp(0,0,0)为该点云的视点位置。点云中各点的表面法向量反应了其所在表面的纹理信息,是物体的重要局部特征之一。将输入的原始点云用KD-Tree存储,设定邻域半径r=0.5m,对点云中的各点pi(x,y,z,Iintensity),计算其半径邻域点集合Pk,即计算以pi(x,y,z,Iintensity)为球心,r=0.5m为半径的球所包含的激光点的集合。PCA主成分分析是模式识别中一个常用的特征降维方法。进行PCA主成分分析如下:对其半径邻域Pk中的点,构造协方差矩阵:
计算该协方差矩阵的特征值λi和对应的法向量对协方差矩阵的特征值λi进行排序取大于0的最小值,则最小特征值λ0所对应的特征向量与表面法向量平行,若 则 否则
计算法向量直方图也采用由Blodow等人提出的PFH特征提取方法。本发明将扩展的3DSIFT特征与法向量直方图特征(PFH)相结合得到新的局部特征。对所有SIFT关键点km{(x,y,z,Iinensity)}及其相应单位法向量其邻域Pk中的点pj(x,y,z,Iintensity)及其单位法向量计算和的夹角。如图3所示,在km(x,y,z,Iinensity)处构造Darboux坐标系UVW,其中 则定义 则<α,φ,θ>为和的夹角。对角度空间进行划分,统计与邻域Pk中所有点的法向量的三个夹角的直方图,即可得到所述的关键点周围的法向量直方图描述子。将360度的角度范围按β=10度进行划分,可得36个划分栅格,则可得如下108维的特征描述子: 每个特征描述子描述一个点云块,记属于该点云块的所有点中Z坐标的最大值和最小值分别为zmax和zmin,则其中εm=|zmax-zmin|。
所述对标记样本进行特征提取方法即对标记样本集中的标记样本提取上述的特征描述子,同时根据样本标记的类别信息对特征描述子进行类别标记,可得如下带有类别标记信息的特征描述子:(dm,cm)={αm,φm,θm,εm,km(x,y,z,Iintensity),cm}。从同一个标记样本提取得到的描述子具有相同的εm值。
步骤2、对所提取特征进行聚类,生成视觉单词;
此过程基于现有的K-means算法的聚类过程。设定初始聚类个数为Nvw,Nvw大小的选择需平衡实时性和聚类精确度,从所有描述子中选出Nvw个点作为初始聚类中心,依据各描述子与聚类中心的距离进行聚类。每次聚类完成后,更新聚类中心坐标,进行重新聚类,直至各聚类中心收敛,完成聚类。
聚类完成后,属于同一个聚类的描述子具有相似的特征,可以描述同一类局部纹理特征,称为视觉单词。本实施实例中,在保证描述精确与实时性的前提下,设定视觉单词个数Nvw为180个,聚类可得180个视觉单词,每个单词包含来自不同标记类别的大量的特征描述子。同时,聚类完成后,根据各描述子与类别间的标记信息,可计算各视觉单词属于各个类别的后验概率:
其中,nvw(ci)表示从标记类ci中提取的视觉单词总数,nvot(vj)表示属于视觉单词vj的特征描述子的总数,nvot(ci,vj)为标记类ci中提取的属于视觉单词vj的特征描述子个数,nftr(ci)表示从标记类ci提取得到的特征描述子总数。该后验概率反映了当前视觉单词中的描述子来自各个类别的比例,代表了当前的视觉单词对各个类的表现能力。上述计算方法,保证了该后验概率不受样本中各类样本数量差异的影响,能够客观反映视觉单词与各个标记类别之间的统计规律。
步骤3、对视觉单词进行空间编码,生成语言模型,具体包括如下步骤:
对视觉单词进行空间编码前,先对视觉单词进行滤波、归类;
所述滤波操作为依据后验概率P(vj|ci),滤除在各个类中共存的区分度不大的视觉单词。不同类别的物体,如车辆,行人,骑自行车的人,树,之间有些局部特征具有相似性,表现在该后验概率中,即P(vj|c0)~P(vj|cN)在数值上非常接近。这些区分度不大的视觉单词,在对目标进行识别时,并不能带来多大的有益效果,相反会对目标的识别产生不利影响。因此,需要根据其概率值的特点进行滤除。
所述归类操作即确定区分度明显的视觉单词最可能来自哪几个标记类,及属于这几个类的概率。不同类别的物体,如车辆,行人,树木,其特征具有非常明显的区别。如车辆的扁平曲面特征,树木下部的圆柱面以及树冠的特征。确定各个视觉单词最可能来自哪几个类别,是依据特征进行识别的关键。归类时依据后验概率值,规定每个视觉单词最多可归为最大类别数为的类,本实施例中标记类别为4类,则每个视觉单词最多属于2个类,且属于各个类的后验概率P(vj|ci)>pt,本实施例取pt=0.85。
即依据属于视觉单词vj的各个特征描述子在Z轴上分布的统计特征,确定vj在z轴上的分布范围。如图4所示,对每个类别的物体,如车辆,树木,行人,从它们中提取的特征在空间上有特定的组合规律,依据视觉单词的数量、类别以及该特定的组合规律,可完成对未知目标的精确类别识别。对属于类ci的视觉单词vj,按其在z轴上的分布进行空间位置编码,得到所述的语言模型。
生成语言模型的主要步骤如下:
对每个视觉单词vj,查找其所有特征描述子中最大的差值ε,记为εmax,对属于视觉单词vj的所有特征描述子的z轴坐标进行尺度变换,即将z轴坐标值变换为:z×εmax/εm,得到变换后的特征描述子;
将z轴从0至传感器安装高度的范围进行等间隔划分,使划分后的栅格区间大于激光雷达传感器分辨率;
统计属于每个视觉单词的变换后特征描述子在各个栅格区间的分布直方图,然后按照各栅格区间中变换后特征描述子百分比按照从大到小进行排列,并依次将百分比累加,当累加到大于或等于80%时,参与累加的栅格区间则为该视觉单词所属的高度区间;
上述方案统计的是特征描述子在分布上的峰值位置,以及其分布比例。对于车辆、行人、树木、骑自行车的人、以及城市中的杆状物,该方式都有较好的区分度。
针对属于每个类别中的所有视觉单词所属的高度区间包括的所有的栅格区间,从第一个视觉单词个数不为0的栅格区间开始,依次向上进行标记,至最后一个视觉单词不为0的栅格区间为止,然后对各个标记的栅格区间中的视觉单词进行编号,如此得到各个类别对应的语言模型,其中类别ci对应的语言模型为: 和分别表示类别ci中第一个、第二个和最后一个栅格区间中包含的视觉单词的集合,为类别ci中视觉单词不为0的栅格区间总个数;
依次对各个标记类别完成语言模型构建。则该语言模型反映了从标记样本中得到的各个类的局部特征的种类以及其在空间上的分布特征。本发明依据该从训练样本中学习到的模型,进行未知点云块的识别工作。
步骤二所述基于语言模型对输入点云进行在线识别的过程,即为该发明提供的识别方法的在线运行过程。具体包含以下步骤:
步骤4、所述的对待识别点云块进行特征提取的方法即为步骤1中的3D SIFT特征扩展和法向量直方图特征提取中所述的方法,对输入点云特征提取后,可以得到不带标注信息的特征描述子。
步骤5、计算每个待识别特征描述子与步骤3的语言模型中所有视觉单词的聚类中心的距离,则该待识别特征描述子属于最小距离对应的视觉单词;则该最小距离对应的视觉单词即为与该待识别特征描述子匹配的视觉单词;
步骤6、将匹配到的视觉单词与各个类别对应的语言模型进行匹配,具体包括以下步骤:
B61、计算待识别点云块的z轴坐标的最小值zmin和最大值zmax;
B62、以为精度将待识别点云块的高度空间划分为个栅格区间;
B63、获得步骤5中每个匹配的视觉单词中的待识别特征描述子在所述个栅格区间中的分布直方图,然后按照各栅格区间中待识别特征描述子的百分比按照从大到小进行排序,并依次将百分比累加,当累加到大于或等于80%时,参与累加的栅格区间则为该匹配的视觉单词所属的高度区间;
B64、获得待识别点云块与各个语言模型的匹配率,其中,待识别点云块与类别ci对应的语言模型的匹配率根据公式获得;其中nvw(ci)为从待识别点云块得到的属于类别ci的匹配的视觉单词总数,nvw为待识别点云块提取得到的匹配的视觉单词总数,为语言模型中栅格区间中的匹配的视觉单词总数,为栅格区间总数,为步骤A32中栅格区间中视觉单词与步骤B63中的栅格区间中匹配的视觉单词互相匹配的个数;
B65、取步骤B64得到的最大匹配率,并判断:当最大匹配率大于或等于设定阈值,则匹配成功,待识别点云块属于最大匹配率对应的类别;当最大匹配率小于设定阈值,匹配失败,无法确定该点云类别,所述设定阈值的取值范围为20%~35%。
本发明将2D图像处理领域的SIFT特征扩展至3D点云图像处理中,结合点云法向量直方图特征(PFH),得到了更加合适而稳定的3D深度场景下的局部特征描述;同时针对视觉词袋模型的缺点,提出一种空间语言模型的特征编码和匹配方法,大大提高了利用局部特征对全局特征进行描述时的描述精度,实现了精确的匹配结果。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种3D点云数据中的目标识别方法,包括离线语言模型训练步骤及在此语言模型基础上进行的对输入3D点云块的在线识别步骤,其特征在于,所述离线语言模型训练步骤具体包括以下步骤:
步骤1、对标记类别的点云块样本进行特征提取,具体包括:
A11、对每个点云块中的关键点进行提取,则提取到的第m个关键点表达为:km(x,y,z,Iintensity),其中,x,y,z为关键点的坐标,Iintensity为传感器检测出的该关键点的反射强度;其中,以传感器扫描窗口中心点为原点,以传感器扫描起始平面中的水平射线为x轴,传感器的旋转对称轴为z轴,y轴根据x轴和z轴按右手螺旋定则确定;
A12、对步骤A11中得到的关键点进行主成分分析和法向量直方图特征提取,得到各关键点的法向量与其球形邻域中各点法向量的三个夹角α、φ和θ;将360°圆周角按照角β进行等角栅格划分,得到360/β个角栅格;统计所有关键点对应的夹角α、φ和θ的值分别落入各个角栅格中的比例,然后得到第m个关键点的夹角αm 0、φm 0和θm 0分别对应的直方图αm、φm和θm;最后得到关键点的法向量直方图的特征描述子dm={αm,φm,θm,εm,km(x,y,z,Iintensity)},所述β的取值范围为5°~20°,εm表示第m个关键点所在点云块的所有点中z轴坐标的最大值和最小值的差值ε,同时根据样本标记的类别信息对特征描述子进行类别标记,得到带有类别标记信息的特征描述子:(dm,cm)={αm,φm,θm,εm,km(x,y,z,Iintensity),cm},其中的cm代表第m个关键点所属的类别;
步骤2、对所提取特征进行聚类,生成视觉单词;
将所有类别中的所有特征描述子进行聚类,得到Nvw类特征描述子;将属于同一个聚类的特征描述子记为一个视觉单词,即得到Nvw个视觉单词,根据各个特征描述子所属类别,得到各视觉单词属于各个类别的后验概率:
其中,P(vj|ci)表示第j个视觉单词vj属于第i个类别ci的后验概率;nvw(ci)表示从类别ci中提取的视觉单词总数,nvot(vj)表示属于视觉单词vj中的特征描述子的总数,nvot(ci,vj)为类别ci中提取的属于视觉单词vj的特征描述子个数,nftr(ci)和nftr(ck)分别表示从类别ci和类别ck中提取得到的特征描述子总数;C为所有类别组成的集合;
步骤3、对视觉单词进行空间编码,生成语言模型,具体包括如下步骤:
A31、获得所有视觉单词所属的高度空间:
对每个视觉单词vj,查找其所有特征描述子中最大的差值ε,记为εmax,对属于视觉单词vj的所有特征描述子的z轴坐标进行尺度变换,即将z轴坐标值变换为:z×εmax/εm,得到变换后的特征描述子;
将z轴从0至传感器安装高度的范围进行等间隔划分,使划分后的栅格区间大于激光雷达传感器分辨率;
统计属于每个视觉单词的变换后特征描述子在各个栅格区间的分布直方图,然后按照各栅格区间中变换后特征描述子百分比按照从大到小进行排列,并依次将百分比累加,当累加到大于或等于80%时,参与累加的栅格区间则为该视觉单词所属的高度区间;
A32、获得所有类别的语言模型,完成语言模型构建:
针对属于每个类别中的所有视觉单词所属的高度区间包括的所有的栅格区间,从第一个视觉单词个数不为0的栅格区间开始,依次向上进行标记,至最后一个视觉单词不为0的栅格区间为止,然后对各个标记的栅格区间中的视觉单词进行编号,如此得到各个类别对应的语言模型,其中类别ci对应的语言模型为:和分别表示类别ci中第一个、第二个和最后一个栅格区间中包含的视觉单词的集合,为类别ci中视觉单词不为0的栅格区间总个数;
所述对输入3D点云块的在线识别具体包括如下步骤:
步骤4、按所述步骤1的方法对待识别点云块进行特征提取,得到不带类别信息的待识别特征描述子;
步骤5、计算每个待识别特征描述子与步骤3的语言模型中所有视觉单词的聚类中心的距离,则该待识别特征描述子属于最小距离对应的视觉单词;则该最小距离对应的视觉单词即为与该待识别特征描述子匹配的视觉单词;
步骤6、将匹配到的视觉单词分别与每个类别对应的语言模型进行匹配,其中,与类别ci的匹配过程如下:
B61、计算待识别点云块的z轴坐标的最小值zmin和最大值zmax;
B62、以为精度将待识别点云块的高度空间划分为个栅格区间;
B63、获得步骤5中每个匹配的视觉单词中的待识别特征描述子在所述个栅格区间中的分布直方图,然后按照各栅格区间中待识别特征描述子的百分比按照从大到小进行排序,并依次将百分比累加,当累加到大于或等于80%时,参与累加的栅格区间则为该匹配的视觉单词所属的高度区间;
B64、获得待识别点云块与各个语言模型的匹配率,其中,待识别点云块与类别ci对应的语言模型的匹配率根据公式获得;其中nvw(ci)为从待识别点云块得到的属于类别ci的匹配的视觉单词总数,nvw为待识别点云块提取得到的匹配的视觉单词总数,为语言模型中栅格区间中的匹配的视觉单词总数,为栅格区间总数,为步骤A32中栅格区间中视觉单词与步骤B63中的栅格区间中匹配的视觉单词互相匹配的个数;
B65、取步骤B64得到的最大匹配率,并判断:当最大匹配率大于或等于设定阈值,则匹配成功,待识别点云块属于最大匹配率对应的类别;当最大匹配率小于设定阈值,匹配失败,无法确定该点云类别,所述设定阈值的取值范围为20%~35%。
2.根据权利要求1所述的一种3D点云数据中的目标识别方法,其特征在于,所述步骤1的A11中提取关键点的方法具体包括如下步骤:
S21、对点云块分布空间采用边长为ε的立方体栅格进行划分,将其内含有点云点的立方体栅格的几何中心作为采样后的点云点,将该立方体栅格称为该采样后点云点对应的采样栅格;增大立方体栅格的边长,对采样后的点云点继续采样,如此重复采样Noctaves次,对点云块中的点云点进行Noctaves次采样;将点云块内未经过采样的点云点作为金字塔最底层,将不断增大的采样栅格对应的采样后的点云点依次存放在金字塔最底层以上的各层中,形成具有Noctaves+1层的点云金字塔;采样后的点云点的反射强度Iintensity等于对应的采样栅格中的所有点云点的平均反射强度;所述Noctaves≥3,ε≥激光雷达传感器分辨率;
S22、对每一层点云金字塔中的每个点云点分别进行m次不同卷积尺度的高斯卷积,并获得m个不同卷积尺度的高斯响应值,进而对每个点的相邻两个高斯响应值作差,得到m-1个高斯差分值,所述m≥3;
S23、针对点云金字塔各层中的每个点云点,如果对应的n-1个高斯差分值均为极值,保留该点云点,成为该层的一个极值点;否则,从该层中去除该点云点;
S24、从点云金字塔的最顶层开始,判断某个极值点在点云金字塔下一层中对应的采样栅格中是否存在极值点:
如果存在极值点,在该极值点的下一层中对应的采样栅格中寻找极值点,一直寻找到点云金字塔的最底层;
如果没有极值点,返回到点云金字塔的最顶层,判断其他极值点是否在以下各层中对应的采样栅格中存在极值点;
当某一个极值点在点云金字塔各层中对应的采样栅格中都存在极值点,则保留点云金字塔最底层中对应采样栅格中的极值点,作为关键点。
3.根据权利要求1所述的一种3D点云数据中的目标识别方法,其特征在于,在所述步骤3中对视觉单词进行空间编码之前,先对视觉单词进行滤波和归类,具体为:
找到视觉单词vj所属的后验概率值最大的类别若其后验概率值大于或等于剩下的属于其余各类别对应的后验概率之和,则保留该视觉单词vj,小于则去除该视觉单词vj;
对于滤波后的每个视觉单词,按照其属于各个类别的后验概率大小进行排序,判断前个后验概率值是否大于80%:如果大于,则保留;如果小于或等于,则不保留;则最终将该视觉单词归入保留的后验概率对应的类别中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410509882.4A CN104298971B (zh) | 2014-09-28 | 2014-09-28 | 一种3d点云数据中的目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410509882.4A CN104298971B (zh) | 2014-09-28 | 2014-09-28 | 一种3d点云数据中的目标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104298971A true CN104298971A (zh) | 2015-01-21 |
CN104298971B CN104298971B (zh) | 2017-09-19 |
Family
ID=52318692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410509882.4A Active CN104298971B (zh) | 2014-09-28 | 2014-09-28 | 一种3d点云数据中的目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104298971B (zh) |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104715254A (zh) * | 2015-03-17 | 2015-06-17 | 东南大学 | 一种基于2d和3d sift特征融合的一般物体识别方法 |
CN105488785A (zh) * | 2015-11-23 | 2016-04-13 | 华南理工大学 | 一种基于视觉词典的深度图生成方法 |
CN105701471A (zh) * | 2016-01-15 | 2016-06-22 | 昆明理工大学 | 一种激光扫描波形异常数据的修正方法 |
CN105740798A (zh) * | 2016-01-27 | 2016-07-06 | 西安理工大学 | 一种基于结构分析的点云场景物体识别方法 |
CN106250881A (zh) * | 2016-08-25 | 2016-12-21 | 深圳大学 | 一种基于三维点云数据的目标识别方法及系统 |
CN107239746A (zh) * | 2017-05-16 | 2017-10-10 | 东南大学 | 一种面向道路救援安全监控的障碍物识别跟踪方法 |
CN107424185A (zh) * | 2017-07-27 | 2017-12-01 | 深圳前海倍思拓技术有限公司 | 基于点云数据处理技术的圆锥体结构特征参数检测方法 |
CN107424189A (zh) * | 2017-07-27 | 2017-12-01 | 深圳前海倍思拓技术有限公司 | 基于点云数据处理技术的球、圆柱、椭圆锥模型识别方法 |
CN107590836A (zh) * | 2017-09-14 | 2018-01-16 | 斯坦德机器人(深圳)有限公司 | 一种基于Kinect的充电桩动态识别与定位方法及系统 |
CN107590829A (zh) * | 2017-09-18 | 2018-01-16 | 西安电子科技大学 | 一种适用于多视角密集点云数据配准的种子点拾取方法 |
CN107679477A (zh) * | 2017-09-27 | 2018-02-09 | 深圳市未来媒体技术研究院 | 基于空洞卷积神经网络的人脸深度和表面法向量预测方法 |
CN107945198A (zh) * | 2016-10-13 | 2018-04-20 | 北京百度网讯科技有限公司 | 用于标注点云数据的方法和装置 |
CN108010036A (zh) * | 2017-11-21 | 2018-05-08 | 江南大学 | 一种基于rgb-d相机的物体对称轴检测方法 |
CN108133191A (zh) * | 2017-12-25 | 2018-06-08 | 燕山大学 | 一种适用于室内环境的实时物体识别方法 |
CN108345007A (zh) * | 2017-01-23 | 2018-07-31 | 郑州宇通客车股份有限公司 | 一种障碍物识别方法和装置 |
CN108470174A (zh) * | 2017-02-23 | 2018-08-31 | 百度在线网络技术(北京)有限公司 | 障碍物分割方法及装置、计算机设备及可读介质 |
CN108830902A (zh) * | 2018-04-19 | 2018-11-16 | 江南大学 | 一种基于点云处理的散乱工件识别与定位方法 |
CN109165612A (zh) * | 2018-08-31 | 2019-01-08 | 苏州大学 | 基于深度特征和双向knn排序优化的行人再识别方法 |
CN109344786A (zh) * | 2018-10-11 | 2019-02-15 | 深圳步智造科技有限公司 | 目标识别方法、装置及计算机可读存储介质 |
CN109583513A (zh) * | 2018-12-17 | 2019-04-05 | 香港理工大学 | 一种相似帧的检测方法、系统、装置及可读存储介质 |
CN109816686A (zh) * | 2019-01-15 | 2019-05-28 | 山东大学 | 基于物体实例匹配的机器人语义slam方法、处理器及机器人 |
CN109964222A (zh) * | 2016-11-03 | 2019-07-02 | 三菱电机株式会社 | 用于处理具有多个点的输入点云的系统和方法 |
CN110298308A (zh) * | 2019-06-28 | 2019-10-01 | 北京无线电计量测试研究所 | 一种自行车专用道车辆行人识别系统 |
CN110579215A (zh) * | 2019-10-22 | 2019-12-17 | 上海木木机器人技术有限公司 | 基于环境特征描述的定位方法、移动机器人和存储介质 |
CN111257882A (zh) * | 2020-03-19 | 2020-06-09 | 北京三快在线科技有限公司 | 数据融合方法、装置、无人驾驶设备和可读存储介质 |
WO2020119661A1 (zh) * | 2018-12-14 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 一种目标检测方法、装置以及行人检测方法、系统 |
CN111505662A (zh) * | 2020-04-29 | 2020-08-07 | 北京理工大学 | 一种无人驾驶车辆定位方法及系统 |
CN111553343A (zh) * | 2020-04-01 | 2020-08-18 | 青岛联合创智科技有限公司 | 一种激光点云特征的提取方法 |
CN111694903A (zh) * | 2019-03-11 | 2020-09-22 | 北京地平线机器人技术研发有限公司 | 地图构建方法、装置、设备以及可读存储介质 |
CN111784699A (zh) * | 2019-04-03 | 2020-10-16 | Tcl集团股份有限公司 | 一种对三维点云数据进行目标分割方法、装置及终端设备 |
WO2020220941A1 (zh) * | 2019-04-30 | 2020-11-05 | 华为技术有限公司 | 点云编码方法、点云解码方法、装置及存储介质 |
CN112632661A (zh) * | 2020-12-14 | 2021-04-09 | 河南工业大学 | 一种基于智能识别算法的sbs改性沥青三维微观结构重建方法 |
CN112668068A (zh) * | 2020-12-22 | 2021-04-16 | 盈嘉互联(北京)科技有限公司 | 基于ifc的bim构件语义识别方法及装置 |
CN113034682A (zh) * | 2021-04-13 | 2021-06-25 | 阿波罗智联(北京)科技有限公司 | 点云数据处理方法、装置、设备及存储介质 |
CN113432600A (zh) * | 2021-06-09 | 2021-09-24 | 北京科技大学 | 基于多信息源的机器人即时定位与地图构建方法及系统 |
CN113591937A (zh) * | 2021-07-09 | 2021-11-02 | 国家电网有限公司 | 一种基于局部距离编码的电力系统关键节点识别方法 |
CN113689496A (zh) * | 2021-08-06 | 2021-11-23 | 西南科技大学 | 一种基于vr的核辐射环境场景构建与人机交互方法 |
CN113724332A (zh) * | 2021-11-04 | 2021-11-30 | 贝壳技术有限公司 | 相机相对位姿的确定方法、电子设备和存储介质 |
CN114999087A (zh) * | 2022-05-24 | 2022-09-02 | 深圳康佳电子科技有限公司 | 一种保护隐私的监控方法、装置、介质及终端 |
CN116664645A (zh) * | 2023-07-28 | 2023-08-29 | 之江实验室 | 一种点云匹配方法、装置、电子装置和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100310154A1 (en) * | 2007-10-09 | 2010-12-09 | Bjoern Barrois | Method for matching an object model to a three-dimensional point cloud |
CN102147812A (zh) * | 2011-03-31 | 2011-08-10 | 中国科学院自动化研究所 | 基于三维点云模型的地标建筑图像分类方法 |
CN102930246A (zh) * | 2012-10-16 | 2013-02-13 | 同济大学 | 一种基于点云片段分割的室内场景识别方法 |
CN103324945A (zh) * | 2013-07-08 | 2013-09-25 | 南京大学 | 一种基于模式识别的森林点云分类方法 |
-
2014
- 2014-09-28 CN CN201410509882.4A patent/CN104298971B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100310154A1 (en) * | 2007-10-09 | 2010-12-09 | Bjoern Barrois | Method for matching an object model to a three-dimensional point cloud |
CN102147812A (zh) * | 2011-03-31 | 2011-08-10 | 中国科学院自动化研究所 | 基于三维点云模型的地标建筑图像分类方法 |
CN102930246A (zh) * | 2012-10-16 | 2013-02-13 | 同济大学 | 一种基于点云片段分割的室内场景识别方法 |
CN103324945A (zh) * | 2013-07-08 | 2013-09-25 | 南京大学 | 一种基于模式识别的森林点云分类方法 |
Non-Patent Citations (2)
Title |
---|
RADU BOGDAN RUSU 等: "Fast Point Feature Histograms (FPFH) for 3D Registration", 《2009 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 * |
黄超: "基于3D点云模型的人耳检测与识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104715254A (zh) * | 2015-03-17 | 2015-06-17 | 东南大学 | 一种基于2d和3d sift特征融合的一般物体识别方法 |
CN104715254B (zh) * | 2015-03-17 | 2017-10-10 | 东南大学 | 一种基于2d和3d sift特征融合的一般物体识别方法 |
CN105488785A (zh) * | 2015-11-23 | 2016-04-13 | 华南理工大学 | 一种基于视觉词典的深度图生成方法 |
CN105488785B (zh) * | 2015-11-23 | 2019-01-15 | 华南理工大学 | 一种基于视觉词典的深度图生成方法 |
CN105701471A (zh) * | 2016-01-15 | 2016-06-22 | 昆明理工大学 | 一种激光扫描波形异常数据的修正方法 |
CN105701471B (zh) * | 2016-01-15 | 2019-04-12 | 昆明理工大学 | 一种激光扫描波形异常数据的修正方法 |
CN105740798A (zh) * | 2016-01-27 | 2016-07-06 | 西安理工大学 | 一种基于结构分析的点云场景物体识别方法 |
CN105740798B (zh) * | 2016-01-27 | 2019-07-23 | 西安理工大学 | 一种基于结构分析的点云场景物体识别方法 |
CN106250881A (zh) * | 2016-08-25 | 2016-12-21 | 深圳大学 | 一种基于三维点云数据的目标识别方法及系统 |
CN107945198B (zh) * | 2016-10-13 | 2021-02-23 | 北京百度网讯科技有限公司 | 用于标注点云数据的方法和装置 |
CN107945198A (zh) * | 2016-10-13 | 2018-04-20 | 北京百度网讯科技有限公司 | 用于标注点云数据的方法和装置 |
CN109964222A (zh) * | 2016-11-03 | 2019-07-02 | 三菱电机株式会社 | 用于处理具有多个点的输入点云的系统和方法 |
CN109964222B (zh) * | 2016-11-03 | 2023-04-18 | 三菱电机株式会社 | 用于处理具有多个点的输入点云的系统和方法 |
CN108345007B (zh) * | 2017-01-23 | 2020-10-20 | 郑州宇通客车股份有限公司 | 一种障碍物识别方法和装置 |
CN108345007A (zh) * | 2017-01-23 | 2018-07-31 | 郑州宇通客车股份有限公司 | 一种障碍物识别方法和装置 |
CN108470174B (zh) * | 2017-02-23 | 2021-12-24 | 百度在线网络技术(北京)有限公司 | 障碍物分割方法及装置、计算机设备及可读介质 |
CN108470174A (zh) * | 2017-02-23 | 2018-08-31 | 百度在线网络技术(北京)有限公司 | 障碍物分割方法及装置、计算机设备及可读介质 |
CN107239746A (zh) * | 2017-05-16 | 2017-10-10 | 东南大学 | 一种面向道路救援安全监控的障碍物识别跟踪方法 |
CN107424189A (zh) * | 2017-07-27 | 2017-12-01 | 深圳前海倍思拓技术有限公司 | 基于点云数据处理技术的球、圆柱、椭圆锥模型识别方法 |
CN107424185A (zh) * | 2017-07-27 | 2017-12-01 | 深圳前海倍思拓技术有限公司 | 基于点云数据处理技术的圆锥体结构特征参数检测方法 |
CN107590836B (zh) * | 2017-09-14 | 2020-05-22 | 斯坦德机器人(深圳)有限公司 | 一种基于Kinect的充电桩动态识别与定位方法及系统 |
CN107590836A (zh) * | 2017-09-14 | 2018-01-16 | 斯坦德机器人(深圳)有限公司 | 一种基于Kinect的充电桩动态识别与定位方法及系统 |
CN107590829A (zh) * | 2017-09-18 | 2018-01-16 | 西安电子科技大学 | 一种适用于多视角密集点云数据配准的种子点拾取方法 |
CN107679477A (zh) * | 2017-09-27 | 2018-02-09 | 深圳市未来媒体技术研究院 | 基于空洞卷积神经网络的人脸深度和表面法向量预测方法 |
WO2019100647A1 (zh) * | 2017-11-21 | 2019-05-31 | 江南大学 | 一种基于rgb-d相机的物体对称轴检测方法 |
CN108010036A (zh) * | 2017-11-21 | 2018-05-08 | 江南大学 | 一种基于rgb-d相机的物体对称轴检测方法 |
CN108010036B (zh) * | 2017-11-21 | 2020-01-21 | 江南大学 | 一种基于rgb-d相机的物体对称轴检测方法 |
US10607106B2 (en) | 2017-11-21 | 2020-03-31 | Jiangnan University | Object symmetry axis detection method based on RGB-D camera |
CN108133191A (zh) * | 2017-12-25 | 2018-06-08 | 燕山大学 | 一种适用于室内环境的实时物体识别方法 |
CN108830902A (zh) * | 2018-04-19 | 2018-11-16 | 江南大学 | 一种基于点云处理的散乱工件识别与定位方法 |
CN109165612A (zh) * | 2018-08-31 | 2019-01-08 | 苏州大学 | 基于深度特征和双向knn排序优化的行人再识别方法 |
CN109165612B (zh) * | 2018-08-31 | 2021-07-09 | 苏州大学 | 基于深度特征和双向knn排序优化的行人再识别方法 |
CN109344786A (zh) * | 2018-10-11 | 2019-02-15 | 深圳步智造科技有限公司 | 目标识别方法、装置及计算机可读存储介质 |
WO2020119661A1 (zh) * | 2018-12-14 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 一种目标检测方法、装置以及行人检测方法、系统 |
CN109583513B (zh) * | 2018-12-17 | 2022-12-02 | 香港理工大学 | 一种相似帧的检测方法、系统、装置及可读存储介质 |
CN109583513A (zh) * | 2018-12-17 | 2019-04-05 | 香港理工大学 | 一种相似帧的检测方法、系统、装置及可读存储介质 |
CN109816686A (zh) * | 2019-01-15 | 2019-05-28 | 山东大学 | 基于物体实例匹配的机器人语义slam方法、处理器及机器人 |
CN111694903B (zh) * | 2019-03-11 | 2023-09-12 | 北京地平线机器人技术研发有限公司 | 地图构建方法、装置、设备以及可读存储介质 |
CN111694903A (zh) * | 2019-03-11 | 2020-09-22 | 北京地平线机器人技术研发有限公司 | 地图构建方法、装置、设备以及可读存储介质 |
CN111784699A (zh) * | 2019-04-03 | 2020-10-16 | Tcl集团股份有限公司 | 一种对三维点云数据进行目标分割方法、装置及终端设备 |
WO2020220941A1 (zh) * | 2019-04-30 | 2020-11-05 | 华为技术有限公司 | 点云编码方法、点云解码方法、装置及存储介质 |
CN110298308A (zh) * | 2019-06-28 | 2019-10-01 | 北京无线电计量测试研究所 | 一种自行车专用道车辆行人识别系统 |
CN110298308B (zh) * | 2019-06-28 | 2022-03-04 | 北京无线电计量测试研究所 | 一种自行车专用道车辆行人识别系统 |
CN110579215A (zh) * | 2019-10-22 | 2019-12-17 | 上海木木机器人技术有限公司 | 基于环境特征描述的定位方法、移动机器人和存储介质 |
CN111257882A (zh) * | 2020-03-19 | 2020-06-09 | 北京三快在线科技有限公司 | 数据融合方法、装置、无人驾驶设备和可读存储介质 |
CN111257882B (zh) * | 2020-03-19 | 2021-11-19 | 北京三快在线科技有限公司 | 数据融合方法、装置、无人驾驶设备和可读存储介质 |
CN111553343B (zh) * | 2020-04-01 | 2023-04-25 | 青岛联合创智科技有限公司 | 一种激光点云特征的提取方法 |
CN111553343A (zh) * | 2020-04-01 | 2020-08-18 | 青岛联合创智科技有限公司 | 一种激光点云特征的提取方法 |
CN111505662B (zh) * | 2020-04-29 | 2021-03-23 | 北京理工大学 | 一种无人驾驶车辆定位方法及系统 |
CN111505662A (zh) * | 2020-04-29 | 2020-08-07 | 北京理工大学 | 一种无人驾驶车辆定位方法及系统 |
CN112632661A (zh) * | 2020-12-14 | 2021-04-09 | 河南工业大学 | 一种基于智能识别算法的sbs改性沥青三维微观结构重建方法 |
CN112668068A (zh) * | 2020-12-22 | 2021-04-16 | 盈嘉互联(北京)科技有限公司 | 基于ifc的bim构件语义识别方法及装置 |
CN113034682A (zh) * | 2021-04-13 | 2021-06-25 | 阿波罗智联(北京)科技有限公司 | 点云数据处理方法、装置、设备及存储介质 |
CN113432600A (zh) * | 2021-06-09 | 2021-09-24 | 北京科技大学 | 基于多信息源的机器人即时定位与地图构建方法及系统 |
CN113432600B (zh) * | 2021-06-09 | 2022-08-16 | 北京科技大学 | 基于多信息源的机器人即时定位与地图构建方法及系统 |
CN113591937B (zh) * | 2021-07-09 | 2023-09-26 | 国家电网有限公司 | 一种基于局部距离编码的电力系统关键节点识别方法 |
CN113591937A (zh) * | 2021-07-09 | 2021-11-02 | 国家电网有限公司 | 一种基于局部距离编码的电力系统关键节点识别方法 |
CN113689496B (zh) * | 2021-08-06 | 2023-07-18 | 西南科技大学 | 一种基于vr的核辐射环境场景构建与人机交互方法 |
CN113689496A (zh) * | 2021-08-06 | 2021-11-23 | 西南科技大学 | 一种基于vr的核辐射环境场景构建与人机交互方法 |
CN113724332B (zh) * | 2021-11-04 | 2022-01-18 | 贝壳技术有限公司 | 相机相对位姿的确定方法、电子设备和存储介质 |
CN113724332A (zh) * | 2021-11-04 | 2021-11-30 | 贝壳技术有限公司 | 相机相对位姿的确定方法、电子设备和存储介质 |
CN114999087A (zh) * | 2022-05-24 | 2022-09-02 | 深圳康佳电子科技有限公司 | 一种保护隐私的监控方法、装置、介质及终端 |
CN116664645A (zh) * | 2023-07-28 | 2023-08-29 | 之江实验室 | 一种点云匹配方法、装置、电子装置和存储介质 |
CN116664645B (zh) * | 2023-07-28 | 2023-10-20 | 之江实验室 | 一种点云匹配方法、装置、电子装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104298971B (zh) | 2017-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104298971A (zh) | 一种3d点云数据中的目标识别方法 | |
Serna et al. | Classification of traffic signs: The european dataset | |
CN102496034B (zh) | 基于直线单词的高空间分辨率遥感图像词袋分类方法 | |
CN109583482B (zh) | 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法 | |
Yu et al. | Learning hierarchical features for automated extraction of road markings from 3-D mobile LiDAR point clouds | |
CN102012939B (zh) | 综合颜色和局部不变特征匹配的动画场景自动标注方法 | |
CN107480620B (zh) | 基于异构特征融合的遥感图像自动目标识别方法 | |
CN101789005A (zh) | 一种基于感兴趣区域的图像检索方法 | |
CN102622607A (zh) | 一种基于多特征融合的遥感图像分类方法 | |
CN105528794A (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
CN106529431B (zh) | 基于车载激光扫描数据的路坎点自动提取及矢量化方法 | |
CN103020971A (zh) | 从图像中自动分割目标对象的方法 | |
CN103093240A (zh) | 书法字识别方法 | |
CN110210415B (zh) | 基于图结构的车载激光点云道路标线识别方法 | |
CN113963222B (zh) | 一种基于多策略组合的高分辨率遥感影像变化检测方法 | |
CN103927511A (zh) | 基于差异特征描述的图像识别方法 | |
CN104850822B (zh) | 基于多特征融合的简单背景下的叶片识别方法 | |
CN104794496A (zh) | 一种改进mRMR算法的遥感特征优选算法 | |
CN114359876B (zh) | 一种车辆目标识别方法及存储介质 | |
Sridharan et al. | Bag of lines (BoL) for improved aerial scene representation | |
CN104050460B (zh) | 多特征融合的行人检测方法 | |
CN105404858A (zh) | 一种基于深度费舍尔网络的车型识别方法 | |
CN106951873B (zh) | 一种遥感图像目标识别方法 | |
CN117036733A (zh) | 一种城市道路场景特征线提取的方法 | |
Yan et al. | Object detection in optical remote sensing images based on transfer learning convolutional neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |