CN105046264B - 一种基于可见光与激光雷达图像的稀疏地物分类与标示方法 - Google Patents

Abstract

本发明涉及一种基于可见光与激光雷达图像的稀疏地物分类与标示方法，该方法利用激光雷达图像的高度信息提取出可见光图像中对应的地物图像区域及其坐标位置，然后将这些地物目标图像区域用分类器进行类别判断，并在相应的坐标位置进行标示。该方法解决了目标区域不好提取以及滑动窗口策略带来的耗时、精准性不高的问题，能准确快速的分类与标示出地物，提高地物的分类速度与标示准确度，保证分类标注的准确性，减少分类时间。

Description

一种基于可见光与激光雷达图像的稀疏地物分类与标示方法

技术领域

本发明所属技术领域为空间信息技术领域或模式识别领域，涉及图像处理和计算机视觉等技术，特别涉及一种基于可见光与激光雷达图像的稀疏地物分类与标示方法。

背景技术

分类图像中建筑物，车辆或树木等凸起的稀疏地物目标可用传统的基于目标建模的检测分类方法，即标定大量训练样本目标，训练不同的分类器，然后在图像多个尺度上进行滑动窗口扫描，从而得到该图像中所有感兴趣目标的外接矩形窗口。但是，上述方法中采用的滑动窗口策略时间消耗比较大，特别是当目标类别不是一种而是多种时，这种策略更加难以实时；另外，该方法检测到目标的表示方式是用包围框框住目标，很多情况下，这些包围框的尺寸相对于目标来说，总是过大或过小，甚至出现多个尺寸的包围框框同一目标的情况，这就导致在进行目标标示时的精准度不够高；该方法不能得到目标的轮廓；即使训练很多的目标样本，有时该方法的错误分类与目标漏分类情况还是比较严重。

针对以上滑动框口策略带来的耗时、准确度不够高的问题，考虑从图像中提取出包含目标的区域，然后对这些区域进行分类。提取目标区域常用的方法是进行图像分割，目前图像分割的方法虽然有很多，但大多数都与目标的类型、应用目的相关，如果分割的准则或者特征选择不当，就容易造成过分割或者是欠分割。由于图像分割的复杂性，较好地从图像中提取出目标区域仍是一个问题。

由此可见，单纯依靠可见光图像来准确提取地物目标区域还存在着很大的局限性。而我们知道激光雷达能够直接获得目标的空间点云信息，对于区分地面上明显垂直分布的地物,如：建筑物、树木、车辆具有很大优势。因此，可将激光雷达的这些特性应用到地物目标区域提取中来。基于此，本发明研究一种利用激光雷达图像中地物目标的高程信息实现可见光图像中地物目标区域的获取，同时准确快速地分类标示出地物目标的方法，解决目标区域不好提取，滑动窗口策略遍历整幅图像进行地物分类时耗时、精准性不高的问题。

发明内容

本发明的目的是提供一种基于可见光与激光雷达图像的稀疏地物分类与标示方法，以便解决目标区域不好提取，滑动窗口策略遍历整幅图像进行地物分类时耗时、精准性不高的问题。保证分类标注的准确性，提高识别效率，减少分类时间。

为实现上述目的，本发明采用的技术方案是：一种基于可见光与激光雷达图像的稀疏地物分类与标示方法，其特征是：包括以下步骤：

步骤1：获得仅包含地物的二值化的nDSM图像；其中，nDSM为Normalized DigitalSurface Model；

步骤2：从可见光图像中提取与步骤1中nDSM图像对应的图像区域，用分类器判断这些图像区域的类别；

步骤3：得到可见光图像中仅包含地物区域的图像；

步骤4：通过上述步骤得到的信息对地物区域图像进行分类与标示。

所述的步骤1：获得仅包含地物的二值化的nDSM图像，包含以下步骤：

步骤1.1：设定高度阈值，进一步滤除nDSM图像中的地面点或噪声点，得到仅包含地物的nDSM图像；即对激光雷达数据分别进行滤波和插值操作，得到数字地面高程模型DEM和数字表面模型DSM数据，将DSM与DEM作差生成nDSM数据，将nDSM数据按照高度信息映射到[0，255]区间内，生成灰度点云图像；对灰度点云图像设定阈值，滤除残留的地面点或噪声点，得到仅包含地物的nDSM图像；其中，DEM为Digital Elevation Model，DSM为Digitalsurface model；

步骤1.2：对步骤1.1得到的图像进行二值化处理，即将提取出的地物赋值255，其他点赋值0；先对图像进行形态学腐蚀处理再进行形态学膨胀处理。

所述的步骤2：从可见光图像中提取与步骤1中nDSM图像对应的图像区域，用分类器判断这些图像区域的类别，包含以下步骤：

步骤2.1：对步骤1.2得到的图像进行轮廓遍历查找；

步骤2.2：设定轮廓面积以及周长阈值，大于该阈值即为满足条件,对查找到的满足条件的轮廓进行外接矩形提取，保存矩形坐标；在可见光图像中，提取对应矩形坐标区域的图像，将其编号为i保存，其中i＝0,1,2…N，这些图像称为测试样本图像，对这些测试样本图像用分类器进行分类，将其分类出的类别编号为c，其中c＝0,1,2…N；

步骤2.3：对步骤2.1查找到的轮廓进行填充，即轮廓内部赋值为255，外部赋值为0；用距离变换法求出该轮廓区域的中心坐标，将其编号为j保存，其中j＝0,1,2…N。

所述的步骤3：得到可见光图像中仅包含地物区域的图像，包含以下步骤：

步骤3.1：对步骤1.2得到的图像进行轮廓遍历查找；

步骤3.2：逐个填充步骤3.1中图像的轮廓，即将轮廓内部赋值为255，外部赋值为0，并对其进行归一化处理，即将图像中的像素值映射到[0,1]区间上，将其作为掩膜图像，并将其编号为k保存，其中k＝0,1,2…N；

步骤3.3：将可见光图像与由步骤3.2得到的掩膜图像k，其中k＝0,1,2…N，分别进行点乘，得到掩膜处理过的地物图像m，其中m＝0,1,2…N，将所有地物图像进行累加即可得到仅包含地物的图像，称为地物区域图像。

所述的步骤4：通过上述步骤得到的信息对地物区域图像进行分类与标示，具体包含：在由步骤3.3得到的地物区域图像的坐标j处标示出类别号c对应的类别，其中坐标j是由步骤2.3得到的，类别号c是由步骤2.2得到的。

本发明的优点是：本发明利用激光雷达图像的高度信息提取出可见光图像中对应的地物图像区域及其坐标位置，然后将这些地物目标图像区域用分类器进行类别判断，并在相应的坐标位置进行标示。该方法解决了目标区域不好提取以及滑动窗口策略带来的耗时、精准性不高的问题，能准确快速的分类与标示出地物，提高地物的分类速度与标示准确度，保证分类标注的准确性，减少分类时间。

附图说明

下面结合附图对本发明做进一步的说明：

图1是算法的主要流程。

图2是获得仅包含地物的二值化的nDSM(Normalized Digital Surface Model)图像流程图。

图3是提取与nDSM图像对应的可见光区域图像，用分类器判断其类别的流程图。

图4是得到可见光图像中仅包含地物区域的图像的流程图。

具体实施方式

如图1所示，一种基于可见光与激光雷达图像的稀疏地物分类与标示方法，包括以下4个步骤：

步骤1：获得仅包含地物的二值化的nDSM(Normalized Digital Surface Model)图像；

步骤2：从可见光图像中提取与步骤1中nDSM图像对应的图像区域，用分类器判断这些图像区域的类别；

步骤3：得到可见光图像中仅包含地物区域的图像；

步骤4：通过上述步骤得到的信息对地物区域图像进行分类与标示。

如图2所示，所述的步骤1：得到仅包含地物的二值化的nDSM图像，其特征包含以下步骤：

步骤1.1：设定高度阈值，进一步滤除nDSM图像中的地面点或噪声点，得到仅包含地物的nDSM图像。即对激光雷达数据分别进行滤波和插值操作，得到数字地面高程模型DEM(Digital Elevation Model)和数字表面模型DSM(Digital surface model)，将DSM与DEM作差生成nDSM数据，将nDSM数据按照高度信息映射到[0，255]区间内，生成灰度点云图像。对灰度点云图像设定阈值，滤除残留的地面点或噪声点，得到仅包含地物的nDSM图像；

步骤1.2：对步骤1.1得到的图像进行二值化处理，即将提取出的地物赋值255，其他点赋值0；先对图像进行形态学腐蚀处理再进行形态学膨胀处理。

如图3所示，所述的步骤2：从可见光图像中提取与步骤1中nDSM图像对应的图像区域，用分类器判断这些图像区域的类别，其特征包含以下步骤：

步骤2.1：对步骤1.2得到的图像进行轮廓遍历查找；

步骤2.2：设定轮廓面积以及周长阈值，大于该阈值即为满足条件,对查找到的满足条件的轮廓进行外接矩形提取，保存矩形坐标；在可见光图像中，提取对应矩形坐标区域的图像，将其编号为i保存，其中i＝0,1,2…N，这些图像称为测试样本图像，对这些测试样本图像用训练好的分类器进行分类，将其分类出的类别编号为c，其中c＝0,1,2…N；

步骤2.3：对步骤2.1查找到的轮廓进行填充，即轮廓内部赋值为255，外部赋值为0；用距离变换法求出该轮廓区域的中心坐标，将其编号为j保存，其中j＝0,1,2…N。

如图4所示，所述的步骤3：得到可见光图像中仅包含地物区域的图像，其特征包含以下步骤：

步骤3.1：对步骤1.2得到的图像进行轮廓遍历查找；

步骤3.2：逐个填充步骤3.1中图像的轮廓，即将轮廓内部赋值为255，外部赋值为0，并对其进行归一化处理，即将图像中的像素值映射到[0,1]区间上，将其作为掩膜图像，并将其编号为k保存，其中k＝0,1,2…N；

步骤3.3：将可见光图像与由步骤3.2得到的掩膜图像k，其中k＝0,1,2…N，分别进行点乘，得到掩膜处理过的地物图像m，其中m＝0,1,2…N，将所有地物图像进行累加即可得到仅包含地物的图像，称为地物区域图像。

所述的步骤4：通过上述步骤得到的信息对地物区域图像进行分类与标示，其特征包含：在由步骤3.3得到的地物区域图像的坐标j处标示出类别号c对应的类别，其中坐标j是由步骤2.3得到的，类别号c是由步骤2.2得到的，即可得到图像中,所有地物的分类与标示。

本发明提出利用激光雷达图像的高度信息提取出可见光图像中对应的地物图像区域及其坐标位置，然后送入分类器进行类别判断标示。其实现步骤为：设定高度阈值，进一步滤除nDSM图像中的地面点或噪声点，得到仅包含地物的图像；对图像进行二值化处理，形态学腐蚀膨胀处理；提取图像中的轮廓区域；提取轮廓的外接矩形，进而提取其对应可见光图像部分区域，然后用分类器对其进行类别判断；对轮廓进行填充，通过距离变换法求标注坐标；对填充过的轮廓进行归一化处理，生成掩膜图像，将其与可见光图像点乘，得到地物的可见光外形区域；根据以上得到的类别信息、坐标信息以及区域信息即可实现地物的分类与标示。本发明能准确快速的分类与标示出地物，提高了地物的分类速度与标示准确度，该方法能够保证分类标注的准确性，减少分类时间。

本实施方式中没有详细叙述的部分属本行业的常用方法手段，这里不一一叙述。

Claims (2)

1.一种基于可见光与激光雷达图像的稀疏地物分类与标示方法，其特征是：包括以下步骤：

步骤1：获得仅包含地物的二值化的nDSM图像；其中，nDSM为Normalized DigitalSurface Model；

步骤2：从可见光图像中提取与步骤1中nDSM图像对应的图像区域，用分类器判断这些图像区域的类别；

步骤3：得到可见光图像中仅包含地物区域的图像；

步骤4：通过上述步骤得到的信息对地物区域图像进行分类与标示；

所述的步骤1：获得仅包含地物的二值化的nDSM图像，包含以下步骤：

步骤1.1：设定高度阈值，进一步滤除nDSM图像中的地面点或噪声点，得到仅包含地物的nDSM图像；即对激光雷达数据分别进行滤波和插值操作，得到数字地面高程模型DEM和数字表面模型DSM数据，将DSM与DEM作差生成nDSM数据，将nDSM数据按照高度信息映射到[0，255]区间内，生成灰度点云图像；对灰度点云图像设定阈值，滤除残留的地面点或噪声点，得到仅包含地物的nDSM图像；其中，DEM为Digital Elevation Model，DSM为Digitalsurface model；

步骤1.2：对步骤1.1得到的图像进行二值化处理，即将提取出的地物赋值255，其他点赋值0；先对图像进行形态学腐蚀处理再进行形态学膨胀处理；

所述的步骤2：从可见光图像中提取与步骤1中nDSM图像对应的图像区域，用分类器判断这些图像区域的类别，包含以下步骤：

步骤2.1：对步骤1.2得到的图像进行轮廓遍历查找；

步骤2.2：设定轮廓面积以及周长阈值，大于该阈值即为满足条件,对查找到的满足条件的轮廓进行外接矩形提取，保存矩形坐标；在可见光图像中，提取对应矩形坐标区域的图像，将其编号为i保存，其中i＝0,1,2…N，这些图像称为测试样本图像，对这些测试样本图像用分类器进行分类，将其分类出的类别编号为c，其中c＝0,1,2…N；

步骤2.3：对步骤2.1查找到的轮廓进行填充，即轮廓内部赋值为255，外部赋值为0；用距离变换法求出该轮廓区域的中心坐标，将其编号为j保存，其中j＝0,1,2…N；

所述的步骤3：得到可见光图像中仅包含地物区域的图像，包含以下步骤：

步骤3.1：对步骤1.2得到的图像进行轮廓遍历查找；

步骤3.2：逐个填充步骤3.1中图像的轮廓，即将轮廓内部赋值为255，外部赋值为0，并对其进行归一化处理，即将图像中的像素值映射到[0,1]区间上，将其作为掩膜图像，并将其编号为k保存，其中k＝0,1,2…N；

步骤3.3：将可见光图像与由步骤3.2得到的掩膜图像k，其中k＝0,1,2…N，分别进行点乘，得到掩膜处理过的地物图像m，其中m＝0,1,2…N，将所有地物图像进行累加即可得到仅包含地物的图像，称为地物区域图像。

2.根据权利要求1所述的一种基于可见光与激光雷达图像的稀疏地物分类与标示方法,其特征是：所述的步骤4：通过上述步骤得到的信息对地物区域图像进行分类与标示，具体包含：在由步骤3.3得到的地物区域图像的坐标j处标示出类别号c对应的类别，其中坐标j是由步骤2.3得到的，类别号c是由步骤2.2得到的。