CN114266780A - 一种建筑物单体化实例分割方法及装置 - Google Patents
一种建筑物单体化实例分割方法及装置 Download PDFInfo
- Publication number
- CN114266780A CN114266780A CN202210183767.7A CN202210183767A CN114266780A CN 114266780 A CN114266780 A CN 114266780A CN 202210183767 A CN202210183767 A CN 202210183767A CN 114266780 A CN114266780 A CN 114266780A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- building
- particles
- points
- cloth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及计算机视觉应用技术领域，具体涉及一种建筑物单体化实例分割方法及装置，包括：对无人机图像生成的点云进行降噪及移除离群点；对降噪及移除离群点后的图像点云进行翻转，移除地面；对图像进行语义分割，从整个图像点云中筛选出类别为建筑物的点；对建筑物的点进行空间密度聚类，得到组成各个建筑物单体的点云簇族；对每一个点云簇族进行处理生成族类的三维边框；对三维边框进行边框裁切以及二次语义分割，得到完整的建筑物点云单体。该方法及装置支持对更低成本生成点云进行单体分割，并且具有较强的鲁棒性。地面滤波算法的使用极大提升了建模稳定性，极大降低了计算复杂度，加快的运算速度，深度学习方法的使用使得模型更加精确。
Description
技术领域
本发明涉及计算机视觉应用技术领域，具体而言，涉及一种建筑物单体化实例分割方法及装置。
背景技术
随着对智慧城市以及数字孪生应用的巨大需求，大范围城市地理点云数据，包含地形地貌、建筑物、道路植被等，成为一种重要的可视化表达载体。三维点云数据的立体型、层次性和多信息的特性，使其在展示城市的几何形态、属性、空间位置和纹理等方面具有传统图像所不具有的优势，能在展示城市时空信息、体现城市面貌变化、土地利用和数字化城市等方面发挥更大的作用。
其中数字城市系统中的三维模型是缺乏语义信息的模型或者是由人工手动单体分割建立的模型，并不能满足真正数字城市建设与应用的需求，数字城市的建设亟需高精度的单体化三维模型作为基础。建筑物点云的单体分割可以并行模型重建、高效管理与分析各个单体建筑物，生成可查询、可分析的建筑物三维模型。然而由于点云数据具有海量性、立体性、高密度以及空间分布不规则等特征，并且分类场景中的人工建筑结构以及地物之间的关和复杂性，因此如何准确、高效的通过自动化点云分类实现建筑物单体化仍是一个具有挑战性的课题，也是当前亟待解决的难题。
公开号CN109461207A点云数据建筑物单体化方法及装置提出了一种基于体素化的建筑物方法，体素化的建筑物方法有赖于三维空间的分割细腻度，而且算法的运算复杂度也较高。公开号CN111340822A机载LiDAR点云建筑物单体化分割方法提出了一种基于机载LiDAR点云数据进行多次二维和三维聚类的方法，基于LiDAR点云的方法依赖于昂贵的雷达设备，其对于由图像生成特征点的点云数据鲁棒性较低。这些方法对运算性能有较高的要求或者需要昂贵的采集设备数据。目前对建筑物的单体化分割主要关注小范围建筑物，对大范围复杂真实点云和对建筑物结构复杂和裙楼建筑物和点云密度不均匀建筑物缺少深入研究，无法实现单体分割。
发明内容
本发明实施例提供了一种建筑物单体化实例分割方法及装置，以至少解决现有技术无法实现单体分割的技术问题。
根据本发明的一实施例，提供了一种建筑物单体化实例分割方法，包括以下步骤：
S101.对无人机图像生成的点云进行降噪及移除离群点；
S102.对降噪及移除离群点后的图像点云进行翻转，移除地面；
S103.对图像进行语义分割，从整个图像点云中筛选出类别为建筑物的点；
S104.对建筑物的点进行空间密度聚类，得到组成各个建筑物单体的点云簇族；
S105.对每一个点云簇族进行处理生成族类的三维边框；
S106.对三维边框进行边框裁切以及二次语义分割，得到完整的建筑物点云单体。
进一步地，所述步骤S101包括：
对每一个点利用KD-tree进行一个统计分析，利用KD-tree得到的结果计算该点到所有临近点的平均距离，根据平均距离和每一个距离求标准差，将平均距离在标准范围u+n*sigma之外的点从数据中去除；
进一步地，所述步骤S102包括：
首先把点云进行翻转，设置一个由一层复数的粒子构成的布料，将所述布料放在翻转的点云上方；
然后所述布料受到重力下落至所述点云，根据公式（2）计算出所述布料包括的粒子的位移；
对所述布料与所述点云进行相交检查，检查所述布料的粒子是否下落到与所述点云的地面接触，如果所述布料的粒子已经与所述点云的地面接触则该粒子设置为不可移动；
所述布料下落过程中采用公式（3）考虑所述布料的粒子间的内部驱动，以约束未与所述点云的地面接触的粒子在反转表面空白区域的位移；对未与所述地面的点云接触的可移动粒子，根据邻近粒子对其产生的力来进行移动新的位置判断；
与所述布料中不可移动粒子相接的点云即为地面点，记录其索引；通过与所述布料中不可移动点的相接关系，点云被分为地面点与非地面点；
从所述点云中移除地面点即得到包含建筑物的点云；
其中，定义了一个基本公式：
上式模拟所述布料的运动和与所述点云的地面接触发生的变化，根据牛顿第二定律，粒子质量m和粒子的位置X关于时间t的二阶导数的乘积为其合力，表达为Fext和Fint；
粒子的位置移动包括外部驱动Fext、内部驱动Fint两方面的驱动因素；当仅有外部因素作用时，粒子的位移表示为：
用于考虑重力作用下粒子的位移；
其中Δt 为时间分量上的微分，G为引力常数；
考虑内部因素驱动时，粒子位移表示为：
其中d为粒子间作用下位移量，p为粒子位置，带箭头的n为移动法向量，参数上方箭头为向量符号，b为粒子是否可移动的标志，当粒子可移动时，b等于1，不可移动时，b等于0；p0为当前计算的粒子，pi为p0的任意相邻粒子；
所述公式（3）还引入了一个参数RI,用来描述粒子的移动次数，RI的值越大，则布料就越硬。
进一步地，所述步骤S103包括：
使用编码器-解码器架构，利用多层感知机对预定范围的点云进行特征提取，使用最大池化来压缩特征维度得到预定范围内的局部特征；
采用最远距离采样法来确认预定范围的点云中心点，以中心为圆心，分别以1米、5米、20米为半径确定预定范围，提取预定范围内的局部特征嵌入预定范围的点云中心点的特征通道来进行空间下采样；
解码器由四个以上的模块链接而成，并且提取的局部特征和之后解码器的特征进行拼接；解码器使用双线性插值法来进行空间的上采样，最后恢复到原本的特征空间，使用一个线性映射加softmax生成每个点的预测标签，从整个点云中筛选出类别为建筑物的点。
进一步地，所述步骤S104包括：
对点云计算相互之间的投影欧式一维距离，对于一个点的给定邻域内有N个点为核心点，当核心点相互在邻域内，则为可连接；连接所有可连接的核心点及组成一个簇族，设定阙值筛选簇族，得到组成各个建筑物单体的点云簇族。
进一步地，所述步骤S105包括：
对每一个所述点云簇族生成一个平行于x,y方向的三维边框，所述三维边框包含八个顶点坐标；边框直观展示各个单体在原始点云中的位置信息。
进一步地，所述步骤S106包括：
利用得到的所述三维边框，在原始点云中裁切单体，得到保留完整信息的建筑物单体点云；对建筑物单体及其预设范围的点云进行语义分割算法，过滤掉临近地面、植被及其他杂物，得到完整的建筑物点云单体。
根据本发明的另一实施例，提供了一种建筑物单体化实例分割装置，包括：
预处理单元，用于对无人机图像生成的点云进行降噪及移除离群点；
翻转单元，用于对降噪及移除离群点后的图像点云进行翻转，移除地面；
语义分割单元，用于对图像进行语义分割，从整个图像点云中筛选出类别为建筑物的点；
空间密度聚类单元，用于对建筑物的点进行空间密度聚类，得到组成各个建筑物单体的点云簇族；
族类生成单元，用于对每一个点云簇族进行处理生成族类的三维边框；
建筑物点云单体生成单元，用于对三维边框进行边框裁切以及二次语义分割，得到完整的建筑物点云单体。
一种存储介质，存储介质存储有能够实现上述任意一项建筑物单体化实例分割方法的程序文件。
一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的建筑物单体化实例分割方法。
本发明实施例中的建筑物单体化实例分割方法及装置，对无人机图像生成的点云进行降噪及移除离群点；对降噪及移除离群点后的图像点云进行翻转，移除地面；对图像进行语义分割，从整个图像点云中筛选出类别为建筑物的点；对建筑物的点进行空间密度聚类，得到组成各个建筑物单体的点云簇族；对每一个点云簇族进行处理生成族类的三维边框；对三维边框进行边框裁切以及二次语义分割，得到完整的建筑物点云单体。该方法及装置支持对更低成本生成点云进行单体分割，并且具有较强的鲁棒性。地面滤波算法的使用极大提升了建模稳定性，有别于传统三维欧式空间聚类的方法极大降低了计算复杂度，加快的运算速度，深度学习方法的使用使得模型更加精确。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明建筑物单体化实例分割方法的流程图；
图2为本发明建筑物单体化实例分割装置的模块图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明一实施例，提供了一种建筑物单体化实例分割方法，参见图1，包括以下步骤：
S101.对无人机图像生成的点云进行降噪及移除离群点；
S102.对降噪及移除离群点后的图像点云进行翻转，移除地面；
S103.对图像进行语义分割，从整个图像点云中筛选出类别为建筑物的点；
S104.对建筑物的点进行空间密度聚类，得到组成各个建筑物单体的点云簇族；
S105.对每一个点云簇族进行处理生成族类的三维边框；
S106.对三维边框进行边框裁切以及二次语义分割，得到完整的建筑物点云单体。
本发明实施例中的建筑物单体化实例分割方法，对无人机图像生成的点云进行降噪及移除离群点；对降噪及移除离群点后的图像点云进行翻转，移除地面；对图像进行语义分割，从整个图像点云中筛选出类别为建筑物的点；对建筑物的点进行空间密度聚类，得到组成各个建筑物单体的点云簇族；对每一个点云簇族进行处理生成族类的三维边框；对三维边框进行边框裁切以及二次语义分割，得到完整的建筑物点云单体。该方法支持对更低成本生成点云进行单体分割，并且具有较强的鲁棒性。地面滤波算法的使用极大提升了建模稳定性，有别于传统三维欧式空间聚类的方法极大降低了计算复杂度，加快的运算速度，深度学习方法的使用使得模型更加精确。
其中，对无人机图像生成的点云进行降噪及移除离群点包括：
对每一个点利用KD-tree进行一个统计分析，利用KD-tree得到的结果计算该点到所有临近点的平均距离，根据平均距离和每一个距离求标准差，将平均距离在标准范围u+n*sigma之外的点从数据中去除；
其中，对降噪及移除离群点后的图像点云进行翻转，移除地面包括：
首先把点云进行翻转，设置一个由一层复数的粒子构成的布料，将布料放在翻转的点云上方；
然后布料受到重力下落至点云，根据公式（2）计算出布料包括的粒子的位移；
对布料与点云进行相交检查，检查布料的粒子是否下落到与点云的地面接触，如果布料的粒子已经与点云的地面接触则该粒子设置为不可移动；
布料下落过程中采用公式（3）考虑布料的粒子间的内部驱动，以约束未与点云的地面接触的粒子在反转表面空白区域的位移；对未与地面的点云接触的可移动粒子，根据邻近粒子对其产生的力来进行移动新的位置判断；
与布料中不可移动粒子相接的点云即为地面点，记录其索引；通过与布料中不可移动点的相接关系，点云被分为地面点与非地面点；
从点云中移除地面点即得到包含建筑物的点云；
其中，定义了一个基本公式：
上式模拟布料的运动和与点云的地面接触发生的变化，根据牛顿第二定律，粒子质量m和粒子的位置X关于时间t的二阶导数的乘积为其合力，表达为Fext和Fint；
粒子的位置移动包括外部驱动Fext、内部驱动Fint两方面的驱动因素；当仅有外部因素作用时，粒子的位移表示为：
用于考虑重力作用下粒子的位移；
其中Δt 为时间分量上的微分，G为引力常数；
考虑内部因素驱动时，粒子位移表示为：
其中d为粒子间作用下位移量，p为粒子位置，n为移动法向量，参数上方箭头为向量符号，b为粒子是否可移动的标志，当粒子可移动时，b等于1，不可移动时，b等于0；p0为当前计算的粒子，pi为p0的任意相邻粒子；
该公式描述粒子考虑完外部力的作用完之后，内部力对粒子的影响。任意选取两个相邻的粒子，如果两个粒子都是可移动的，则令二者往相反的方向移动同样的距离；如果一个是不可移动的，则移动另一个；如果两者具有相同的高度，则不进行移动。位移量可以通过公式（3）进行计算。
公式（3）还引入了一个参数RI,用来描述粒子的移动次数，RI的值越大，则布料就越硬。
进一步的，对图像进行语义分割，从整个图像点云中筛选出类别为建筑物的点包括：
使用编码器-解码器架构，利用多层感知机对预定范围的点云进行特征提取，使用最大池化来压缩特征维度得到预定范围内的局部特征；
采用最远距离采样法来确认预定范围的点云中心点，以中心为圆心，分别以1米、5米、20米为半径确定预定范围，提取预定范围内的局部特征嵌入预定范围的点云中心点的特征通道来进行空间下采样；
解码器由四个以上的模块链接而成，并且提取的局部特征和之后解码器的特征进行拼接；解码器使用双线性插值法来进行空间的上采样，最后恢复到原本的特征空间，使用一个线性映射加softmax生成每个点的预测标签，从整个点云中筛选出类别为建筑物的点。
其中，对建筑物的点进行空间密度聚类，得到组成各个建筑物单体的点云簇族包括：
对点云计算相互之间的投影欧式一维距离，对于一个点的给定邻域内有N个点为核心点，当核心点相互在邻域内，则为可连接；连接所有可连接的核心点及组成一个簇族，设定阙值筛选簇族，得到组成各个建筑物单体的点云簇族。
其中，对每一个点云簇族进行处理生成族类的三维边框包括：
对每一个点云簇族生成一个平行于x,y方向的三维边框，三维边框包含八个顶点坐标；边框直观展示各个单体在原始点云中的位置信息。
其中，对三维边框进行边框裁切以及二次语义分割，得到完整的建筑物点云单体包括：
利用得到的三维边框，在原始点云中裁切单体，得到保留完整信息的建筑物单体点云；对建筑物单体及其预设范围的点云进行语义分割算法，过滤掉临近地面、植被及其他杂物，得到完整的建筑物点云单体。
下面以具体实施例，对本发明的建筑物单体化实例分割方法进行详细说明：
本发明提出一种基于空间密度聚类和深度学习的建筑物单体化实例分割的、足够鲁棒的方法，以便相关领域使用。本发明技术方案主要分为6大部分：降噪及移除离群点、移除地面、语义分割、空间密度聚类、生成族类的三维边框、边框裁切以及二次语义分割，具体为：
1降噪及移除离群点
对每一个点利用KD-tree进行一个统计分析，利用KD-tree得到的结果计算该点到所有临近点的平均距离。假设每个点与临近点之间的距离是一个高斯分布，那么平均距离就是均值，并且可以根据均值和每一个距离求标准差，那么平均距离在标准范围u+n*sigma之外的点，可以被定义为离群点并从数据中去除。
2移除地面
首先把点云进行翻转，然后假设有一块布料受到重力从上方落下，则最终落下的布料就可以代表当前地形。算法定义了一个基本公式：
该表达式模拟布料的运动和与地面接触的变化，根据牛顿第二定律，粒子质量m，和粒子的位置X关于时间t的二阶导数的乘积为其合力，表达为Fext和Fint。
粒子的位置移动包括外部驱动Fext、内部驱动Fint两方面的驱动因素。当仅有外部因素作用时：
其中Δt 为时间分量上的微分，G为引力常数。
考虑内部因素驱动时，粒子位移为：
其中d为粒子间作用下位移量，p为粒子位置，带箭头的n为移动法向量，参数上方箭头为向量符号，b为粒子是否可移动的标志，当粒子可移动时，b等于1，不可移动时，b等于0；p0为当前计算的粒子，pi为p0的任意相邻粒子。
该公式描述粒子考虑完外部力的作用完之后，内部力对粒子的影响。任意选取两个相邻的粒子，如果两个粒子都是可移动的，则令二者往相反的方向移动同样的距离；如果一个是不可移动的，则移动另一个；如果两者具有相同的高度，则不进行移动。位移量可以通过该公式进行计算。
公式（3）还引入了一个参数RI,RI用来描述粒子的移动次数，RI的值越大，则布料就越硬，一般来说，平地需要设置RI的值较大，陡坡、山区需要设置的RI值较小。
3语义分割
使用编码器-解码器架构，和类似U-Net的解码器-编码器链接方式。利用多层感知机对一定范围的点云进行特征提取，使用最大池化来压缩特征维度得到一定范围内的局部特征。采用最远距离采样法来确认预定范围的点云中心点，以中心为圆心，分别以1米、5米、20米为半径确定预定范围，提取预定范围内的局部特征嵌入预定范围的点云中心点的特征通道来进行空间下采样。解码器由四个以上的模块链接而成，并且提取的局部特征和之后解码器的特征进行拼接。解码器使用双线性插值法来进行空间的上采样，最后恢复到原本的特征空间。最后使用一个线性映射加softmax生成每个点的预测标签。本发明从整个点云中筛选出类别为建筑物的点。
针对模型输入受限于硬件显存大小，对大规模城市点云进行shifted window的密度采样，采样后预定范围的点云作为网络的输入。首先对整片点云进行窗口划分，固定预定范围的点云的点云数量，对窗口内的点云进行均匀采样。采用shifted window的方法相对于sliding window 对于初始窗口边界的点云有更好的采样效果。各个预定范围的点云的预测输出进行融合和拼接，得到完整点云的预测。
4空间密度聚类
之后本发明对点云计算相互之间的投影欧式一维距离，对于一个点的给定邻域内有N个点即为核心点，当核心点相互在邻域内，则为可连接。连接所有可连接的核心点及组成一个簇族，设定阙值筛选簇族。可以得到组成各个建筑物单体的点云簇族。
5生成族类的三维边框
对于每一个点云簇族，本发明对其生成一个平行于x,y方向的边框，三维边框包含八个顶点坐标。这些边框直观展示各个单体在原始点云中的位置信息。
6边框裁切以及二次语义分割
利用得到的三维边框，在原始点云中裁切单体，本发明得到保留完整信息的建筑物单体点云。对建筑物单体及其小范围的点云进行于步骤3相同的语义分割算法，过滤掉临近地面、植被及其他杂物，得到完整的建筑物点云单体。
现有的建筑物点云单体化方法或者依赖于昂贵的LiDAR采集的数据然后进行二维和三维的聚类或者对点云进行体素化之后进行处理，这些方法对采集的点云更敏感，计算复杂度及其运行所需时间要求更严苛。本发明的方法支持对更低成本生成点云进行单体分割，并且具有较强的鲁棒性。地面滤波算法的使用极大提升了建模稳定性，有别于传统三维欧式空间聚类的方法极大降低了计算复杂度，加快的运算速度，深度学习方法的使用使得模型更加精确。
实施例2
根据本发明的另一实施例，提供了一种建筑物单体化实例分割装置，参见图2，包括：
预处理单元100，用于对无人机图像生成的点云进行降噪及移除离群点；
翻转单元200，用于对降噪及移除离群点后的图像点云进行翻转，移除地面；
语义分割单元300，用于对图像进行语义分割，从整个图像点云中筛选出类别为建筑物的点；
空间密度聚类单元400，用于对建筑物的点进行空间密度聚类，得到组成各个建筑物单体的点云簇族；
族类生成单元500，用于对每一个点云簇族进行处理生成族类的三维边框；
建筑物点云单体生成单元600，用于对三维边框进行边框裁切以及二次语义分割，得到完整的建筑物点云单体。
本发明实施例中的建筑物单体化实例分割装置，对无人机图像生成的点云进行降噪及移除离群点；对降噪及移除离群点后的图像点云进行翻转，移除地面；对图像进行语义分割，从整个图像点云中筛选出类别为建筑物的点；对建筑物的点进行空间密度聚类，得到组成各个建筑物单体的点云簇族；对每一个点云簇族进行处理生成族类的三维边框；对三维边框进行边框裁切以及二次语义分割，得到完整的建筑物点云单体。该装置支持对更低成本生成点云进行单体分割，并且具有较强的鲁棒性。地面滤波算法的使用极大提升了建模稳定性，有别于传统三维欧式空间聚类的方法极大降低了计算复杂度，加快的运算速度，深度学习方法的使用使得模型更加精确。
下面以具体实施例，对本发明的建筑物单体化实例分割装置进行详细说明：
本发明提出一种基于空间密度聚类和深度学习的建筑物单体化实例分割的、足够鲁棒的装置，以便相关领域使用。本发明技术方案主要分为6大部分：降噪及移除离群点、移除地面、语义分割、空间密度聚类、生成族类的三维边框、边框裁切以及二次语义分割，具体为：
1降噪及移除离群点
预处理单元100：对每一个点利用KD-tree进行一个统计分析，利用KD-tree得到的结果计算该点到所有临近点的平均距离。假设每个点与临近点之间的距离是一个高斯分布，那么平均距离就是均值，并且可以根据均值和每一个距离求标准差，那么平均距离在标准范围u+n*sigma之外的点，可以被定义为离群点并从数据中去除。
2移除地面
翻转单元200：首先把点云进行翻转，然后假设有一块布料受到重力从上方落下，则最终落下的布料就可以代表当前地形。算法定义了一个基本公式：
粒子的位置移动包括外部驱动Fext、内部驱动Fint两方面的驱动因素。当仅有外部因素作用时：
考虑内部因素驱动时，粒子位移为：
其中d为粒子间作用下位移量，p为粒子位置，带箭头的n为移动法向量，参数上方箭头为向量符号，b为粒子是否可移动的标志，当粒子可移动时，b等于1，不可移动时，b等于0；p0为当前计算的粒子，pi为p0的任意相邻粒子。
该公式描述粒子考虑完外部力的作用完之后，内部力对粒子的影响。任意选取两个相邻的粒子，如果两个粒子都是可移动的，则令二者往相反的方向移动同样的距离；如果一个是不可移动的，则移动另一个；如果两者具有相同的高度，则不进行移动。位移量可以通过公式（3）进行计算。
公式（3）还引入了一个参数RI,RI用来描述粒子的移动次数，RI的值越大，则布料就越硬，一般来说，平地需要设置RI的值较大，陡坡、山区需要设置的RI值较小。
3语义分割
语义分割单元300：使用编码器-解码器架构，和类似U-Net的解码器-编码器链接方式。利用多层感知机对一定范围的点云进行特征提取，使用最大池化来压缩特征维度得到一定范围内的局部特征。采用最远距离采样法来确认预定范围的点云中心点，以中心为圆心，分别以1米、5米、20米为半径确定预定范围，提取预定范围内的局部特征嵌入预定范围的点云中心点的特征通道来进行空间下采样。解码器由四个以上的模块链接而成，并且提取的局部特征和之后解码器的特征进行拼接。解码器使用双线性插值法来进行空间的上采样，最后恢复到原本的特征空间。最后使用一个线性映射加softmax生成每个点的预测标签。本发明从整个点云中筛选出类别为建筑物的点。
4空间密度聚类
空间密度聚类单元400：之后本发明对点云计算相互之间的投影欧式一维距离，对于一个点的给定邻域内有N个点即为核心点，当核心点相互在邻域内，则为可连接。连接所有可连接的核心点及组成一个簇族，设定阙值筛选簇族。可以得到组成各个建筑物单体的点云簇族。
5生成族类的三维边框
族类生成单元500：对于每一个族类，本发明对其生成一个平行于x,y方向的边框，三维边框包含八个顶点坐标。这些边框直观展示各个单体在原始点云中的位置信息。
6边框裁切以及二次语义分割
建筑物点云单体生成单元600：利用得到的三维边框，在原始点云中裁切单体，本发明得到保留完整信息的建筑物单体点云。对建筑物单体及其小范围的点云进行于步骤3相同的语义分割算法，过滤掉临近地面、植被及其他杂物，得到完整的建筑物点云单体。
现有的建筑物点云单体化方法或者依赖于昂贵的LiDAR采集的数据然后进行二维和三维的聚类或者对点云进行体素化之后进行处理，这些方法对采集的点云更敏感，计算复杂度及其运行所需时间要求更严苛。本发明的装置支持对更低成本生成点云进行单体分割，并且具有较强的鲁棒性。地面滤波算法的使用极大提升了建模稳定性，有别于传统三维欧式空间聚类的方法极大降低了计算复杂度，加快的运算速度，深度学习方法的使用使得模型更加精确。
实施例3
一种存储介质，存储介质存储有能够实现上述任意一项建筑物单体化实例分割方法的程序文件。
实施例4
一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的建筑物单体化实例分割方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种建筑物单体化实例分割方法，其特征在于，包括以下步骤：
S101.对无人机图像生成的点云进行降噪及移除离群点；
S102.对降噪及移除离群点后的图像点云进行翻转，移除地面；
S103.对图像进行语义分割，从整个图像点云中筛选出类别为建筑物的点；
S104.对建筑物的点进行空间密度聚类，得到组成各个建筑物单体的点云簇族；
S105.对每一个点云簇族进行处理生成族类的三维边框；
S106.对三维边框进行边框裁切以及二次语义分割，得到完整的建筑物点云单体。
2.根据权利要求1所述的建筑物单体化实例分割方法，其特征在于，所述步骤S101包括：
对每一个点利用KD-tree进行一个统计分析，利用KD-tree得到的结果计算该点到所有临近点的平均距离，根据平均距离和每一个距离求标准差，将平均距离在标准范围u+n*sigma之外的点从数据中去除。
3.根据权利要求2所述的建筑物单体化实例分割方法，其特征在于，所述步骤S102包括：
首先把点云进行翻转，设置一个由一层复数的粒子构成的布料，将所述布料放在翻转的点云上方；
然后所述布料受到重力下落至所述点云，根据公式（2）计算出所述布料包括的粒子的位移；
对所述布料与所述点云进行相交检查，检查所述布料的粒子是否下落到与所述点云的地面接触，如果所述布料的粒子已经与所述点云的地面接触则该粒子设置为不可移动；
所述布料下落过程中采用公式（3）考虑所述布料的粒子间的内部驱动，以约束未与所述点云的地面接触的粒子在反转表面空白区域的位移；对未与所述地面的点云接触的可移动粒子，根据邻近粒子对其产生的力来进行移动新的位置判断；
与所述布料中不可移动粒子相接的点云即为地面点，记录其索引；通过与所述布料中不可移动点的相接关系，点云被分为地面点与非地面点；
从所述点云中移除地面点即得到包含建筑物的点云；
其中，定义了一个基本公式：
上式模拟所述布料的运动和与所述点云的地面接触发生的变化，根据牛顿第二定律，粒子质量m和粒子的位置X关于时间t的二阶导数的乘积为其合力，表达为Fext和Fint；
粒子的位置移动包括外部驱动Fext、内部驱动Fint两方面的驱动因素；当仅有外部因素作用时，粒子的位移表示为：
用于考虑重力作用下粒子的位移；
其中Δt 为时间分量上的微分，G为引力常数；
考虑内部因素驱动时，粒子位移表示为：
其中d为粒子间作用下位移量，p为粒子位置，带箭头的n为移动法向量，参数上方的箭头为向量符号，b为粒子是否可移动的标志，当粒子可移动时，b等于1，不可移动时，b等于0；p0为当前计算的粒子，pi为p0的任意相邻粒子；
所述公式（3）还引入了一个参数RI,用来描述粒子的移动次数，RI的值越大，则布料就越硬。
4.根据权利要求3所述的建筑物单体化实例分割方法，其特征在于，所述步骤S103包括：
使用编码器-解码器架构，利用多层感知机对预定范围的点云进行特征提取，使用最大池化来压缩特征维度得到预定范围内的局部特征；
采用最远距离采样法来确认预定范围的点云中心点，以中心为圆心，分别以1米、5米、20米为半径确定预定范围，提取预定范围内的局部特征嵌入预定范围的点云中心点的特征通道来进行空间下采样；
解码器由四个以上的模块链接而成，并且提取的局部特征和之后解码器的特征进行拼接；解码器使用双线性插值法来进行空间的上采样，最后恢复到原本的特征空间，使用一个线性映射加softmax生成每个点的预测标签，从整个点云中筛选出类别为建筑物的点。
5.根据权利要求4所述的建筑物单体化实例分割方法，其特征在于，所述步骤S104包括：
对点云计算相互之间的投影欧式一维距离，对于一个点的给定邻域内有N个点为核心点，当核心点相互在邻域内，则为可连接；连接所有可连接的核心点及组成一个簇族，设定阙值筛选簇族，得到组成各个建筑物单体的点云簇族。
6.根据权利要求5所述的建筑物单体化实例分割方法，其特征在于，所述步骤S105包括：
对每一个所述点云簇族生成一个平行于x,y方向的三维边框，所述三维边框包含八个顶点坐标；所述三维边框直观展示各个单体在原始点云中的位置信息。
7.根据权利要求6所述的建筑物单体化实例分割方法，其特征在于，所述步骤S106包括：
利用得到的所述三维边框，在原始点云中裁切单体，得到保留完整信息的建筑物单体点云；对建筑物单体及其预设范围的点云进行语义分割算法，过滤掉临近地面、植被及其他杂物，得到完整的建筑物点云单体。
8.一种建筑物单体化实例分割装置，其特征在于，包括：
预处理单元，用于对无人机图像生成的点云进行降噪及移除离群点；
翻转单元，用于对降噪及移除离群点后的图像点云进行翻转，移除地面；
语义分割单元，用于对图像进行语义分割，从整个图像点云中筛选出类别为建筑物的点；
空间密度聚类单元，用于对建筑物的点进行空间密度聚类，得到组成各个建筑物单体的点云簇族；
族类生成单元，用于对每一个所述点云簇族进行处理生成族类的三维边框；
建筑物点云单体生成单元，用于对三维边框进行边框裁切以及二次语义分割，得到完整的建筑物点云单体。
9.一种存储介质，其特征在于，所述存储介质存储有能够实现权利要求1至7中任意一项所述建筑物单体化实例分割方法的程序文件。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的建筑物单体化实例分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210183767.7A CN114266780A (zh) | 2022-02-28 | 2022-02-28 | 一种建筑物单体化实例分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210183767.7A CN114266780A (zh) | 2022-02-28 | 2022-02-28 | 一种建筑物单体化实例分割方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114266780A true CN114266780A (zh) | 2022-04-01 |
Family
ID=80833628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210183767.7A Pending CN114266780A (zh) | 2022-02-28 | 2022-02-28 | 一种建筑物单体化实例分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114266780A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115033967A (zh) * | 2022-06-27 | 2022-09-09 | 北京航空航天大学 | 一种基于点云数据的建筑物模板实例化建模方法 |
| CN115146745A (zh) * | 2022-09-01 | 2022-10-04 | 深圳市城市公共安全技术研究院有限公司 | 点云数据坐标点位置校正的方法、装置、设备及存储介质 |
| CN115356740A (zh) * | 2022-08-09 | 2022-11-18 | 群周科技(上海)有限公司 | 一种机载环境下的可降落区域降落定位方法 |
| CN115588178A (zh) * | 2022-12-12 | 2023-01-10 | 速度时空信息科技股份有限公司 | 一种高精地图要素自动化提取的方法 |
| CN118279329A (zh) * | 2024-06-03 | 2024-07-02 | 海纳云物联科技有限公司 | 三维模型单体化和语义化分割方法、装置、设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180218510A1 (en) * | 2017-01-31 | 2018-08-02 | Mitsubishi Electric Research Laboratories, Inc. | Method and System for Completing Point Clouds Using Planar Segments |
| CN109461207A (zh) * | 2018-11-05 | 2019-03-12 | 胡翰 | 一种点云数据建筑物单体化方法及装置 |
| CN112070769A (zh) * | 2020-09-18 | 2020-12-11 | 福州大学 | 一种基于dbscan的分层点云分割方法 |
| CN113689567A (zh) * | 2021-07-23 | 2021-11-23 | 深圳市顺欣同创科技有限公司 | 在云端单体化倾斜摄影模型中建筑的方法 |
-
2022
- 2022-02-28 CN CN202210183767.7A patent/CN114266780A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180218510A1 (en) * | 2017-01-31 | 2018-08-02 | Mitsubishi Electric Research Laboratories, Inc. | Method and System for Completing Point Clouds Using Planar Segments |
| CN109461207A (zh) * | 2018-11-05 | 2019-03-12 | 胡翰 | 一种点云数据建筑物单体化方法及装置 |
| CN112070769A (zh) * | 2020-09-18 | 2020-12-11 | 福州大学 | 一种基于dbscan的分层点云分割方法 |
| CN113689567A (zh) * | 2021-07-23 | 2021-11-23 | 深圳市顺欣同创科技有限公司 | 在云端单体化倾斜摄影模型中建筑的方法 |
Non-Patent Citations (5)
| Title |
|---|
| WUMING ZHANG ET AL: "An Easy-to-Use Airborne LiDAR Data Filtering Method Based on Cloth Simulation", 《REMOTE SENSING》 * |
| 余和顺: "基于影像密集匹配点云的单体建筑物提取和重建研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
| 卢彻 等: "改进U-Net的高分影像建筑物提取方法", 《测绘科学》 * |
| 李建柱: "基于无人机摄影测量点云滤波算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》 * |
| 李雪 等: "遥感图像数字表面模型建筑物点过滤方法研究", 《测绘科学》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115033967A (zh) * | 2022-06-27 | 2022-09-09 | 北京航空航天大学 | 一种基于点云数据的建筑物模板实例化建模方法 |
| CN115033967B (zh) * | 2022-06-27 | 2024-09-24 | 北京航空航天大学 | 一种基于点云数据的建筑物模板实例化建模方法 |
| CN115356740A (zh) * | 2022-08-09 | 2022-11-18 | 群周科技(上海)有限公司 | 一种机载环境下的可降落区域降落定位方法 |
| CN115146745A (zh) * | 2022-09-01 | 2022-10-04 | 深圳市城市公共安全技术研究院有限公司 | 点云数据坐标点位置校正的方法、装置、设备及存储介质 |
| CN115588178A (zh) * | 2022-12-12 | 2023-01-10 | 速度时空信息科技股份有限公司 | 一种高精地图要素自动化提取的方法 |
| CN118279329A (zh) * | 2024-06-03 | 2024-07-02 | 海纳云物联科技有限公司 | 三维模型单体化和语义化分割方法、装置、设备和介质 |
| CN118279329B (zh) * | 2024-06-03 | 2024-09-24 | 海纳云物联科技有限公司 | 三维模型单体化和语义化分割方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114266780A (zh) | 一种建筑物单体化实例分割方法及装置 | |
| Li et al. | Reconstructing building mass models from UAV images | |
| Poullis et al. | Automatic reconstruction of cities from remote sensor data | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| US9633483B1 (en) | System for filtering, segmenting and recognizing objects in unconstrained environments | |
| Zhang et al. | Filtering airborne LiDAR data by embedding smoothness-constrained segmentation in progressive TIN densification | |
| Ramiya et al. | Segmentation based building detection approach from LiDAR point cloud | |
| Matzen et al. | Scene chronology | |
| CN111832489A (zh) | 一种基于目标检测的地铁人群密度估计方法及系统 | |
| CN105678842A (zh) | 室内环境三维地图制作方法及装置 | |
| Korah et al. | Strip histogram grid for efficient lidar segmentation from urban environments | |
| CN113345092B (zh) | 一种实景三维模型的地面模型与非地面模型自动分离方法 | |
| CN105574545A (zh) | 环境图像多视角语义切割方法及装置 | |
| Yu et al. | Unsupervised ground filtering of airborne-based 3D meshes using a robust cloth simulation | |
| Zhang et al. | A framework for automated construction of building models from airborne Lidar measurements | |
| CN117911931B (zh) | 基于高空影像构建自动驾驶场景数据方法 | |
| CN115937461A (zh) | 多源融合模型构建及纹理生成方法、装置、介质及设备 | |
| CN117274536A (zh) | 一种实景三维模型重构方法及装置 | |
| Costantino et al. | Features and ground automatic extraction from airborne LiDAR data | |
| KR20160120955A (ko) | 수변구조물 피해탐지를 위한 대용량 다차원 영상정보 가시화 모듈 개발 | |
| Wang et al. | Automatic reconstruction of 3D environment using real terrain data and satellite images | |
| Che et al. | A New Method of Achieving Single Three‐Dimensional Building Model Automatically Based on Oblique Photography Data | |
| Hsiang et al. | Development of Simulation-Based Testing Scenario Generator for Robustness Verification of Autonomous Vehicles | |
| Song et al. | Landscape Fusion Method Based on Augmented Reality and Multiview Reconstruction | |
| Blaschke et al. | LidarScapes and OBIA |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220401 |