CN111402415B

CN111402415B - 对象物体立面图生成方法、装置及存储介质和终端设备

Info

Publication number: CN111402415B
Application number: CN202010168834.9A
Authority: CN
Inventors: 王鑫; 张国星; 范海地; 孙广元
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-03-12
Filing date: 2020-03-12
Publication date: 2021-06-01
Anticipated expiration: 2040-03-12
Also published as: CN111402415A

Abstract

本发明实施例公开了对象物体立面图生成方法、装置及存储介质和终端设备，应用于信息处理技术领域。对象物体立面图生成装置会先从对象物体的点云数据中粗略地提取出对象物体表面的点云数据，然后再通过平面拟合的方式精确地得到对象物体表面所在的参考面方程，并将对象物体表面的点云数据中不在参考面及距离参考面超出预置范围的点云数据去掉，进而考虑到对象物体表面凸出的物体，将距离参考面在预置范围的点云数据投影到参考面，得到参考面的所有点云数据，再根据参考面的所有点云数据，渲染得到对象物体的对象物体立面图。这样，考虑到了对象物体表面上附着的立体物体，使得对象物体立面图能更精细地反映实际的对象物体。

Description

对象物体立面图生成方法、装置及存储介质和终端设备

技术领域

本发明涉及信息处理技术领域，特别涉及一种对象物体立面图生成方法、装置及存储介质和终端设备。

背景技术

一座建筑物是否美观，很大程度上决定于它在主要立面上的艺术处理，包括造型与装修是否优美，而通过采集建筑物的实际图片，从而获取到建筑立面图，而建筑立面图是建筑物立面平行的投影面上建筑物的正投影图，即建筑物外部墙面图，比如反映建筑物门窗阳台间几何关系的图片等，可以应用于多种应用领域，比如游戏场景的建模等领域中。

现有技术中的一种基于建筑外轮廓线以及激光点云的建筑立面提取方法包括：获取一个建筑物的外轮廓线，根据外轮廓线在投影面的投影确定缓冲区，并根据XY坐标在缓冲区内的激光点云及外轮廓线，生成建筑立面。现有的方法较为粗略地通过外轮廓线的方式来生成建筑立面，生成的建筑立面不够精细。

发明内容

本发明实施例提供一种对象物体立面图生成方法、装置及存储介质和终端设备，实现了生成更精细地反映实际对象物体的对象物体立面图。

本发明实施例一方面提供一种对象物体立面图生成方法，包括：

获取对象物体的点云数据；

提取所述对象物体的点云数据中对象物体表面的点云数据；

根据所述对象物体表面的点云数据，拟合得到所述对象物体表面所在的参考面的参考面方程；

根据所述参考面方程，将距离所述参考面在预置范围的点云数据投影到所述参考面，并获取所述参考面的所有点云数据；

根据所述参考面的所有点云数据，渲染得到所述对象物体的对象物体立面图。

本发明实施例另一方面提供一种对象物体立面图生成装置，包括：

点云获取单元，用于获取对象物体的点云数据；

提取单元，用于提取所述对象物体的点云数据中对象物体表面的点云数据；

拟合单元，用户根据所述对象物体表面的点云数据，拟合得到所述对象物体表面所在的参考面的参考面方程；

投影单元，用于根据所述参考面方程，将距离所述参考面在预置范围的点云数据投影到所述参考面，并获取所述参考面的所有点云数据；

渲染单元，用于根据所述参考面的所有点云数据，渲染得到所述对象物体的对象物体立面图。

本发明实施例另一方面提供一种计算机可读存储介质，所述计算机可读存储介质储存多个计算机程序，所述计算机程序适于由处理器加载并执行如本发明实施例所述的对象物体立面图生成方法。

本发明实施例另一方面提供一种终端设备，包括处理器和存储器；

所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如本发明实施例所述的对象物体立面图生成方法；所述处理器，用于实现所述多个计算机程序中的各个计算机程序。

可见，在本实施例的方法中，对象物体立面图生成装置会先从对象物体的点云数据中粗略地提取出对象物体表面的点云数据，然后再通过平面拟合的方式精确地得到对象物体表面所在的参考面的参考面方程，并根据参考面方程将对象物体表面的点云数据中不在参考面且距离参考面超出预置范围的点云数据去掉，进而考虑到对象物体表面凸出的物体，比如建筑物的阳台或装饰物等物体，将距离参考面在预置范围的点云数据投影到参考面，从而获取到在参考面的所有点云数据，再根据参考面的所有点云数据，渲染得到对象物体的二维对象物体立面图。这样，在生成对象物体立面图的过程中，考虑到了对象物体表面上附着的立体物体，使得得到的对象物体立面图能更精细地反映实际的对象物体。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种对象物体立面图生成方法的示意图；

图2是本发明一个实施例提供的一种对象物体立面图生成方法的流程图；

图3是本发明一个应用实施例提供的一种对象物体立面图生成方法的流程示意图；

图4a是本发明一个应用实施例中无人机采集的点云数据的示意图；

图4b是本发明一个应用实施例中无人机采集的点云数据的缺失信息示意图；

图4c是本发明一个应用实施例中激光扫描车采集的点云数据的示意图；

图4d是本发明一个应用实施例中激光扫描车采集的点云数据缺失信息示意图；

图5a是本发明一个应用实施例中生成多个二维层级平面图像的示意图；

图5b是本发明一个应用实施例中提取出的建筑物的点云数据的示意图；

图5c是本发明一个应用实施例中进行语义分割的网络的示意图；

图6是本发明一个应用实施例中多个街道社区中建筑物的点云数据的示意图；

图7a是本发明一个应用实施例中建筑物的轮廓包围线的示意图；

图7b是本发明一个应用实施例中确定的建筑物墙面的点云数据；

图8a是本发明一个应用实施例中拟合得到的线与有效和无效数据的示意图；

图8b是本发明一个应用实施例中对建筑物墙面的点云数据进行过滤后的有效点云数据的示意图；

图9是本发明一个应用实施例中进行坐标对齐变换后的参考面中的点云数据的示意图；

图10a是本发明一个应用实施例中某一街道社区中建筑物的建筑立面图的示意图；

图10b是本发明一个应用实施例中游戏场景搭建时的参考图纸的示意图；

图10c是本发明一个应用实施例中完整复原建筑的墙面贴图的示意图；

图10d是本发明一个应用实施例中自动建立城市游戏场景时所需的参数文件的示意图；

图11是本发明另一应用实施例中对象物体立面图生成方法所应用于的分布式系统的示意图；

图12是本发明另一应用实施例中区块结构的示意图；

图13是本发明实施例提供的一种对象物体立面图生成装置的结构示意图；

图14是本发明实施例提供的一种终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供一种对象物体立面图生成方法，主要是根据采集装置采集的对象物体的点云数据来生成对应的对象物体立面图，如图1所示，主要可以包括如下步骤：

获取对象物体的点云数据；提取所述对象物体的点云数据中对象物体表面的点云数据；根据所述对象物体表面的点云数据，拟合得到所述对象物体表面所在的参考面的参考面方程；根据所述参考面方程，将距离所述参考面在预置范围的点云数据投影到所述参考面，并获取在所述参考面的所有点云数据；根据所述参考面的所有点云数据，渲染得到所述对象物体的二维对象物体立面图。

其中，对象物体可以是指像建筑物等物体表面复杂，且立体装饰等纹理较多的物体，比如建筑物，在建筑物墙面会有阳台、立体装饰等。

这样，先从对象物体的点云数据中粗略地提取出对象物体表面的点云数据，然后再通过平面拟合的方式精确地得到对象物体表面所在的参考面的参考面方程，并根据参考面方程将对象物体表面的点云数据中不在参考面且距离参考面超出预置范围的点云数据去掉，进而考虑到对象物体表面凸出的物体，比如建筑物的阳台或装饰物等物体，将距离参考面在预置范围的点云数据投影到参考面，从而获取到在参考面的所有点云数据，再根据参考面的所有点云数据，渲染得到对象物体的二维对象物体立面图。这样，在生成对象物体立面图的过程中，考虑到了对象物体表面上附着的立体物体，使得得到的对象物体立面图能更精细地反映实际的对象物体。

本发明一个实施例提供一种对象物体立面图生成方法，主要是对象物体立面图生成装置所执行的方法，流程图如图2所示，包括：

步骤101，获取对象物体的点云数据。

可以理解，可以通过采集装置比如激光扫描设备等采集对象物体的点云数据，而对象物体可以是表面具有立体装饰等纹理的物体，对象物体可以是一个也可以是多个，如果对象物体较大，为了得到全方位的对象物体的点云数据，

可以综合多种来源的采集装置采集的点云数据，这些来源的采集装置可以分别从不同方位采集对象物体的点云数据，例如，对象物体是建筑物时，可以采用无人机采集建筑物的彩色点云数据，激光扫描车采集建筑物的彩色点云数据，及背负式采集设备采集建筑物的彩色点云数据等，不同的采集装置采集的点云数据有各自的优势，例如无人机因为从空中俯瞰采集的点云数据会由于树木遮罩造成街道信息的缺失，但能够提供足够精细的屋顶，而激光扫描车可以从地面直接采集街道清晰的点云数据，比如街道树木行人等，同样由于视角问题从街道无法采集到建筑物顶部，以及建筑物的阳台信息。

其中，彩色点云数据是指通过测量仪器得到的物体外观表面的点数据集合也称之为点云数据，通常使用三维坐标测量机所得到的点云数量比较少，点与点的间距也比较大，叫稀疏点云，而使用三维激光扫描仪或照相式扫描仪得到的点云数量比较大并且比较密集，叫密集点云，而具备色彩信息的点云数据称为彩色点云数据，一般用在逆向工程中。

具体地，对象物体立面图生成装置在获取对象物体的点云数据时，可以先获取采集装置采集的与对象物体相关的点云数据，可以包括对象物体本身及其所在环境中物体的点云数据，比如，与建筑物相关的点云数据可以包括建筑物屋顶、建筑物本身及其所在街道等物体的点云数据；然后将与对象物体相关的点云数据分割为多种类型物体的点云数据，比如，将与建筑物相关的点云数据分割为草地树木、建筑物或地面点云数据，并选择其中对象物体自身的点云数据来执行如下步骤102到105的流程。

其中，对象物体立面图生成装置在获取与对象物体相关的点云数据时，可以获取多种来源的采集装置采集的与对象物体相关的点云数据，并将各种来源的采集装置采集的与对象物体相关的点云数据进行融合，比如，将各种来源的采集装置采集的与对象物体相关的点云数据进行组合，并剔除重复的点云数据，还可以剔除异常的点云数据等。

其中，由于与对象物体相关的点云数据包括了对象物体及其周围空间内各个物体的点云数据，则对象物体立面图生成装置在分割为多种类型物体的点云数据时，可以将与对象物体相关的点云数据划分为多个层级平面图像对应的点云数据，根据预置的语义分割模型及各个层级平面图像对应的点云数据，将各个层级平面图像进行语义分割，得到各个层级平面图像中物体的类型，进而再将各个层级平面图像中物体的类型与相应物体的点云数据相关联，得到多种类型物体的点云数据。这里，将对图像处理的语义分割模型与特定类型的点云数据提取结合起来，能较为准确地将对象物体的点云数据与其它物体的点云数据区分开。

其中，与对象物体相关的点云是三维空间中的点云，而这些点云可以由多个不同朝向的二维层级平面图像中的点云组成，这样，就可以将与对象物体相关的点云数据划分为多个层级平面图像的点云数据；且由于一个实际物体的点云可能分布到多个不同的层级平面图像的点云中，在得到各个层级平面图像中物体的类型后，还需要将物体类型与该类型物体的点云关联起来，最终可以得到各个点云的物体类型标签。

例如，有两个层级平面图像，且层级平面图像1中包括了点云11、12、13、14和15，对应物体类型为建筑物，另一层级平面图像1中包括了点云21、22、 23、24和25，对应物体类型为行人，则在进行关联时，可以为层级平面图像1 中的各个点云(即点云11、12、13、14和15)打上建筑物类型的标签，为层级平面图像2中的各个点云(即点云21、22、23、24和25)打上行人类型的标签。

这里语义分割模型是一种基于人工智能的机器学习模型，可以通过一定的训练方法得到，并将其运行逻辑储存在本地，而深度学习是机器学习中一种基于对训练样本进行表征学习的方法，训练样本(在本实施例中具体为一幅图像) 可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等，而使用某些特定的表示方法更容易从训练样本中学习任务，比如图像中的物体类型，深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

上述的人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

而机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

具体地，本实施例中训练的语义分割模型主要是根据各个层级平面图像对应的点云数据，分别对各个层级平面图像进行语义分割，确定出各个层级平面图像中物体的类型。

步骤102，提取对象物体的点云数据中对象物体表面的点云数据。

可以理解，如果上述步骤101中只采集到一个区域或一个对象物体的点云数据，则对象物体立面图生成装置可以直接进行对象物体表面的点云数据的提取；如果上述步骤101中采集到多个区域的对象物体的点云数据，则对象物体立面图生成装置会将上述对象物体的点云数据聚类为多个区域中对象物体的点云数据，然后再分别提取各个区域中对象物体表面的点云数据。例如，提取到多个街道社区中建筑物的点云数据，则需要先进行聚类，其中，一个街道社区是指由一段街道一侧的建筑物等物体所组成的区域。

进一步地，在将对象物体的点云数据聚类为多个区域中对象物体的点云数据时，可以采用一定的聚类算法，比如欧式空间聚类算法等进行聚类，具体地，是将相互之间的距离在一定范围内的点云数据聚类为一个区域中对象物体的点云数据。

进一步地，由于对象物体表面一般是处于对象物体的轮廓中，则对象物体立面图生成装置在提取各个区域中对象物体表面的点云数据时，一般可以采用凸包等算法来提取对象物体表面的点云数据，具体地，先根据各个区域中对象物体的点云数据在水平面进行投影，并确定各个区域中对象物体在水平面投影的轮廓包围线上的点云数据，然后再确定轮廓包围线两侧距离轮廓包围线在预置范围内的临近点云数据，则任一街道社区中对象物体表面的点云数据包括任一街道社区中对象物体的轮廓包围线上的点云数据及其临近点云数据。

其中，轮廓包围线是指可以将投影到水平面的点云都包围在内的封闭的线，可以是一个多边形，且轮廓包围线可以是对象物体在水平面投影的轮廓，也可以是略大于对象物体在水平面投影的轮廓。

步骤103，根据对象物体表面的点云数据，拟合得到对象物体表面所在的参考面的参考方程。

需要说明的是，上述步骤102中只是粗略地提取到对象物体表面的点云数据，为了精确地获取到对象物体表面的点云数据，本实施例中，需要进一步地过滤掉某些由于提取误差及点云数据的采集误差造成的异常点云数据，具体地，需要先对对象物体表面的点云数据进行拟合计算，得到参考面的参考面方程，这样得到的参考面方程可以精确地表示对象物体表面所在的面。

这里拟合计算是包括：在已知若干离散点的坐标信息的情况下，选择某一特定的函数模型，并根据离散点的坐标信息确定函数模型的多组变量值(x1， x2，……，xn)和函数值(比如f1，f2，……，fn)，通过调整该函数模型中若干待定系数f(λ1，λ2，…，λn)，使得函数模型与已知离散点的差别(一般通过最小二乘法的方法标识)最小，这样得到的最终拟合后的函数可以表示这些离散点的分布，比如随机样本一致性(RANdom SAmple Consensus，RANSAC) 拟合计算等。在本实施例中，将对象物体表面的点云数据作为已知离散点的坐标信息，而特定的函数模型为面的模型，拟合计算最终得到的函数模型即为对象物体表面所在的参考面方程。

例如，已知多组离散点(x1，y1)，(x2，y2)，……，(xn，yn)，选了函数模型为y＝kx，在拟合计算过程中，可以通过调整k，使得函数模型与多组离散点的差别最小，最终得到的y＝k1*x即为这些离散点的分布。

步骤104，根据参考面方程，将距离参考面在预置范围的点云数据投影到参考面，并获取参考面的所有点云数据，包括原本已经在参考面上的点云数据及投影到参考面的点云数据。

具体地，对象物体立面图生成装置在得到参考面方程后，可以将不在参考面上，且距离参考面超出预置范围的点云数据过滤掉，并将距离参考面在预置范围的点云数据投影到参考面。这样，由于参考面代表了对象物体表面大多数点所在的平面，则距离参考面在预置范围的点云数据包含了对象物体表面凸出物的数据(比如建筑物阳台、特殊的装饰等物体)，凸出物也属于对象物体表面，保留这些点云数据可以使得最终得到的对象物体表面上的纹理更全面精细。

步骤105，根据参考面的所有点云数据，渲染得到对象物体的二维对象物体立面图。

由于参考面的所有点云数据是从对象物体的点云数据中经过一系列计算提取出来的，而对象物体的点云数据是采集装置在其坐标系中采集到的数据，采集装置在采集对象物体的点云数据过程中，采集装置会距离对象物体一定的距离，而采集装置所在坐标系一般是以采集装置为原点，地平面所在面为XOY 平面，这样采集得到的对象物体的点云数据并没有与相应坐标系中的原点对齐，进而上述步骤104得到的参考面的所有点云数据也没有与原点对齐，因此，对象物体立面图生成装置在执行本步骤105时，可以先将参考面的所有点云数据进行坐标对齐变换计算，主要是将所有点云数据对齐到某一坐标系下的坐标原点，即使得所有点云数据中坐标最小的点为某一坐标系下的坐标原点。

在具体应用实施中，在进行坐标对齐变换时，可以将参考面的所有点云数据转化到某一坐标系下，该某一坐标系是以参考面为XOY平面，且与参考面垂直的方向为Z轴方向，在其它具体的实施例中，该坐标系还可以是其它的坐标系，在此不进行限制。

进一步地，由于上述坐标对齐变换后的所有点云数据是非结构化的数据，即离散点的坐标信息，而一般在对图像进行储存时，都是采用结构化的位图的形式来储存，则在得到坐标对齐变换后的所有点云数据后，还需要将这些点云数据转化为图像储存格式的数据，即根据这些点云数据渲染得到二维图像，即为对象物体的对象物体立面图。

以下以一个具体的应用实例来说明本发明中的对象物体立面图生成方法，在本实施例中对象物体具体为建筑物，对象物体立面图具体为建筑立面图，如图3所示，本实施例的方法具体包括如下步骤：

步骤201，获取多种来源的采集装置采集的与建筑物相关的点云数据，并将各种来源的采集装置采集的点云数据进行融合，且每种来源的采集装置会从不同方位对建筑物的点云数据进行采集。

具体地，可以获取无人机采集的如图4a所示的与建筑物相关的点云数据，这样，从空中俯瞰生成的点云数据会由于树木遮罩造成如图4b所示的街道信息的缺失，但能够提供的足够精细的屋顶信息；还可以获取激光扫描车采集的与建筑物相关的点云数据，激光扫描车可以从地面直接采集如图4c所示的街道清晰的点云数据，由于视角问题从街道无法采集到建筑物顶部，以及如图4d所示的建筑物阳台信息；还可以获取背负式采集设备采集的与建筑物相关的点云数据。

进一步地，为了能够获得尽可能全面的点云数据，就需要先对多种手段获取的点云数据进行拼接融合，其中，拼接融合的方式有很多例如手动与自动迭代最近点算法(Iterative Closest Point，ICP)融合，以弥补各自采集装置的缺失信息，然后进行重采样，即对同一片局部区域内的点云数据进行整理，剔除不重复冗余的数据，这样可以得到统一完整的点云数据。

步骤202，对融合后的点云数据进行语义分割，得到多种类型物体的点云数据，并选择建筑物类型的点云数据。

具体地，可以采用多视图方法进行点云数据的语义分割，具体地，通过在空间中针对融合后的点云数据生成如图5a所示的多个二维层级平面图像，图5a 中用四边形来表示一个层级平面图像，并对每个层级平面图像中的点云数据进行语义分割得到每个层级平面图像中的物体类型，而后将各个层级平面图像中的点云数据与相应的物体类型相关联，也就是将层级平面图像中的物体类型传递给相应层级平面图像上的点云。进一步地，对象物体立面图生成装置还需要从多种类型物体的点云数据中选出如图5b所示的建筑物类型的点云数据，也就是对象物体自身的点云数据。

其中，在对每个层级平面图像的点云数据进行语义分割时，可以将每个层级平面图像的点云数据通过如图5c所示的一个复杂的网络(比如一个函数或者语义分割模型等)，将每个层级平面图像中的点云增加物体类型标签，比如树木、建筑、道路、车辆、行人等标签。

步骤203，将建筑物的点云数据聚类为多个街道社区中建筑物的点云数据。

具体地，可以采用欧式距离的聚类方法或是基于区域生长的聚类方法对建筑物的点云数据进行聚类，而由于建筑物的点云数据提供了较高维度的数据，故有很多信息可以提取获得，在本实施例中，采用欧几里得算法，其中使用邻居点之间距离作为判定标准，进而得到如图6所示的多个街道社区中建筑物的点云数据，图中每一个长方体区域中包含的点云数据可以表示一个街道社区中建筑物的点云数据。具体地，可以采用如下的实现流程：

(1)确定建筑物的点云数据中的某点p10，由k维树(k-dimensional)找到距离该点最近的n个点，判断这n个点到p10的距离，并将距离小于阈值r的点 p12,p13,p14....放在类集合Q中。

(2)在Q\p10里确定一点p12,重复(1)的步骤，这样找到点p22,p23,p24.... 全部放进类集合Q中。

(3)当类集合Q再也会有新点加入了，则完成了聚类。

步骤204，从各个街道社区的建筑物的点云数据中，分别提取各个街道社区中建筑物墙面的点云数据，其中，建筑物墙面即为对象物体表面。

具体地，对于任一街道社区的建筑物的点云数据，对象物体立面图生成装置可以采用凸包算法或是Alpha形状算法等确定建筑物在水平面(比如地平面) 投影的轮廓包围线上的点云数据，具体地，先从建筑物在地平面投影的点云数据中查找具有最小和最大坐标的边界点，制定一条通过上述边界点的线，对于线的每一侧，从建筑物的点云数据中选择距离线最远的点，这样，点和线形成三角形，删除三角形内的所有点，然后重复以上步骤，直到剩下的所有点都在边界上，简明的说，在平面中给出N个点，找出一个由其中某些点作为顶点组成的凸多边形，恰好能围住所有的N个点，则该凸多边形即为轮廓包围线，例如图7a中所示的四边形即为轮廓包围线。

另一个实施例中，对象物体立面图生成装置在确定了轮廓包围线后，会按照轮廓包围线来切分建筑物的点云数据，保留距离轮廓包围线在预置范围内的点云数据，这样就可以获取到建筑物各个面的点云数据，这些面的点云数据连接起来即为建筑物墙面的点云数据，例如图7b所示的建筑物墙面的点云数据。

步骤205，根据上述步骤204中提取的各个街道社区中建筑物墙面的点云数据，拟合得到各个街道社区中建筑物墙面所在的参考面的参考面方程，并过滤掉不在参考面中，且距离参考面超出预置范围的点云数据。其本实施例中，建筑物墙面所在参考面一般为平面，则拟合得到的参考面方程也为一个平面方程，在其它实施例中，可以根据对象物体的形状，得到不同形状的参考面方程，比如一个曲面方程等。

具体地，对象物体立面图生成装置采用拟合算法，得到参考面方程，并过滤某些点云数据的过程，是根据一组包含异常数据的样本数据集，计算出数学模型参数，进而得到有效样本数据的算法。在本实施例中，在拟合参考面这一需求上，参考面的凹凸点(比如窗户、屋檐)这些是有效点云的数据，但对参考面来说存在一定的偏移；而大的凹凸，比如屋顶斜面，这些都是偏移量过大的无效点云的数据。

其中，如果采用最小二乘拟合算法，旨在照顾所有点云的数据，对所有点云数据进行拟合，在无效数据多且偏移量大的情况下，拟合效果不好；而 RANSAC拟合算法，旨在照顾最多数样本的特征，对主体数据进行拟合，手动设置一个阈值，距离拟合得到的参考面超过阈值的点，就被判定为无效点云的数据，如图8a所示，在拟合得到的一条线上的点及线附近的点为有效数据，而这条线两侧距离较远的点为无效数据。

本实施例中，采用RANSAC拟合算法来拟合参考面方程可以得到更准确的结果，而RANSAC拟合算法的基本假设是数据中包含正确数据(inliers，可以被模型描述的数据)，也包含异常数据(outliers，偏离正常范围很远、无法适应数学模型的数据)，即数据集中含有噪声，这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的，在本实施例中，可以理解为建筑物墙面周围的车辆、树枝、行人等物体的点云数据；同时RANSAC算法也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。

这样，可以根据建筑物墙面的点云数据随机拟合多个候选平面，从候选平面中选择点云数据最多的候选平面作为参考面，或者说，无效数据最少的候选平面作为参考面，例如图8b所示的根据某一个街道社区中建筑物墙面的参考面，对相应街道社区中建筑物墙面的点云数据进行过滤后的有效点云数据。

步骤206，在过滤后的各个街道社区中建筑物的点云数据中，将距离参考面在预置范围的点云数据投影到参考面，得到各个街道社区中建筑物墙面对应的参考面的所有点云数据。

具体地，对象物体立面图生成装置可以根据参考面方程ax+by+cz+d＝0中的固定元素a、b、c和d，及过滤后的各个街道社区中建筑物的点云数据，将不在参考面上的距离较近的有效点云数据投影到参考面，具体可以通过如下公式1 来表示：

假设不在参考面上且距离较近的某一有效点空间坐标是 P₀＝(x₀,y₀,z₀)，参考面上一点为P_f＝(x_f,y_f,z_f)以及参考面法向量为 N_f＝(x_N,y_N,z_N)，其中，若假设P_f＝(x_f,y_f,z_f)中x_f,y_f为某一固定值例如0，则可通过RANSAC算法得到的参数面方程ax+by+cz+d＝0，计算出

N_f＝(a,b,c)，则P₀在参考面上的投影点P 坐标如下公式1所示，其中，任一点P₀到参考面的距离为D＝((Po-Pf)*Nf)，即P₀沿着法向量的反方向移动D：

P＝P₀-N_f·((P₀-P_f)·N_f) (1)

步骤207，将各个参考面的所有点云数据进行坐标对齐变换，将所有点云数据都对齐到某一坐标系下的坐标原点，其中，某一坐标系为上述参考面为 XOY平面，且垂直于参考面的方向为Z轴，例如图9中所示的进行坐标对齐变换后的参考面中的点云数据。

具体地，

为当前坐标系

(即采集装置采集点云数据所在的坐标系)下各点的坐标；

为坐标对齐变换后新坐标系

下各点的坐标，

其中x_p,y_p,z_p为投影至参数面后的点云中任意一点的坐标，具体变换的过程如下公式2到5所示，其中，R和t分别为表示旋转和平移：

t＝(min(x_p),min(y_p),0) (4)

a＝Ra’+t (5)

步骤208，根据坐标对齐变换后的点云数据，渲染得到建筑物的建筑立面图，如图10a所示的某一街道社区中建筑物的建筑立面图。

具体地，上述得到的坐标对齐变换后的点云数据为非结构化的数据，本步骤中的渲染过程就是将这些点云数据转化为图像储存格式的数据的过程。具体地，先设定单位区域(边长为0.05m的正方形)，然后将坐标对齐变换后的点云数据划分到紧邻的多个单位区域，每个单位区域内可能包括了多个点，对每个单位区域中点的红绿蓝(red green blue，RGB)信息分别求均值作为当前单位区域的RGB值。其中，设定的单位区域的信息属于图像分辨率参数。

可见，本实施例中的方法可以自动地批量地生成各个街道社区中建筑物的建筑立面图后，可以应用于测绘、游戏场景的构建领域，在游戏场景的构建领域中，通过建筑立面图可以形成如图10b所示的游戏场景搭建时的参考图纸；也可以提供如图10c所示的完整复原建筑的墙面贴图；进一步地，还可以使用图像分割技术为游戏制作人员提供自动建立城市游戏场景时所需的参数文件，如图10d所示；进一步地，由于建筑立面图的数据比点云数据要小很多，从而减少城市游戏素材数据的大小，节约存储传输时间，使得游戏更有效的在移动端运行。

近年来，深度学习技术的发展为减少游戏的开发者的工作成本，加速游戏开发速度提供了一种更有效的解决思路，但是如果要大致还原一个大都会级的虚拟环境，为用户带来沉浸式的体验是一件非常有难度的事情。本发明实施例中，通过手机、无人机、激光扫描车甚至街景地图，可以得到一个城市的彩色点云数据，这为结合深度学习识别彩色点云数据中的门窗、阳台位置以及墙面纹理提供了可能，而自动批量的从点云数据中得到建筑立面图就显得非常重要。

以下以另一具体的应用实例来说明本发明中基于用户行为的信息处理方法，本发明实施例中的信息处理系统主要为分布式系统100，该分布式系统可以包括客户端300及多个节点200(接入网络中的任意形式的计算设备，如服务器、用户终端)，客户端300与节点200之间通过网络通信的形式连接。

以分布式系统为区块链系统为例，参见图11是本发明实施例提供的分布式系统100应用于区块链系统的一个可选的结构示意图，由多个节点200(接入网络中的任意形式的计算设备，如服务器、用户终端)和客户端300形成，节点之间形成组成的点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission ControlProtocol)协议之上的应用层协议。在分布式系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。

参见图11示出的区块链系统中各节点的功能，涉及的功能包括：

1)路由，节点具有的基本功能，用于支持节点之间的通信。

节点除具有路由功能外，还可以具有以下功能：

2)应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链系统中的其它节点，供其它节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。

例如，应用实现的业务包括：

钱包，用于提供进行电子货币的交易的功能，包括发起交易(即，将当前交易的交易记录发送给区块链系统中的其他节点，其他节点验证成功后，作为承认交易有效的响应，将交易的记录数据存入区块链的临时区块中；当然，钱包还支持查询电子货币地址中剩余的电子货币；共享账本，用于提供账目数据的存储、查询和修改等操作的功能，将对账目数据的操作的记录数据发送到区块链系统中的其他节点，其他节点验证有效后，作为承认账目数据有效的响应，将记录数据存入临时区块中，还可以向发起操作的节点发送确认；还可以包括智能合约，计算机化的协议，可以执行某个合约的条款，通过部署在共享账本上的用于在满足一定条件时而执行的代码实现，根据实际的业务需求代码用于完成自动化的交易，例如查询买家所购买商品的物流状态，在买家签收货物后将买家的电子货币转移到商户的地址；当然，智能合约不仅限于执行用于交易的合约，还可以执行对接收的信息进行处理的合约。

在本实施例中，节点中的应用还包括实现对象物体立面图生成功能的代码，该对象物体立面图生成功能主要包括：

获取对象物体的点云数据；提取所述对象物体的点云数据中对象物体表面的点云数据；根据所述对象物体表面的点云数据，拟合得到所述对象物体表面所在的参考面的参考面方程；根据参考面方程将距离所述参考面在预置范围的点云数据投影到所述参考面，得到在所述参考面的所有点云数据；根据所述参考面的所有点云数据，渲染得到所述对象物体的二维对象物体立面图。

3)区块链，包括一系列按照产生的先后时间顺序相互接续的区块(Block)，新区块一旦加入到区块链中就不会再被移除，区块中记录了区块链系统中节点提交的记录数据。

参见图12为本发明实施例提供的区块结构(Block Structure)一个可选的示意图，每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值，各区块通过哈希值连接形成区块链。另外，区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了相关的信息，用于验证其信息的有效性(防伪)和生成下一个区块。

本发明实施例还提供一种对象物体立面图生成装置，其结构示意图如图13 所示，具体可以包括：

点云获取单元10，用于获取对象物体的点云数据。

该点云获取单元10，具体用于获取采集装置采集的与对象物体相关的点云数据；将所述与对象物体相关的点云数据分割为多种类型物体的点云数据，并选择其中对象物体自身的点云数据。

其中，点云获取单元10在获取采集装置采集的与对象物体相关的点云数据时，具体用于获取多种来源的采集装置采集的与对象物体相关的点云数据，将各种来源的采集装置采集的与对象物体相关的点云数据进行融合。在所述将所述与对象物体相关的点云数据分割为多种类型物体的点云数据时，点云获取单元10具体用于将所述与对象物体相关的点云数据划分为多个层级平面图像对应的点云数据；根据预置的语义分割模型及各个层级平面图像对应的点云数据，将所述各个层级平面图像进行语义分割，得到各个层级平面图像中物体的类型；将所述各个层级平面图像中物体的类型与相应物体的点云数据相关联，得到多种类型物体的点云数据。

提取单元11，用于提取所述点云获取单元10获取的对象物体的点云数据中对象物体表面的点云数据。

提取单元11，具体用于将所述对象物体的点云数据聚类为多个区域中对象物体的点云数据；分别提取各个区域中对象物体表面的点云数据。

其中，提取单元11在分别提取各个区域中对象物体表面的点云数据时，具体用于根据所述各个区域中对象物体的点云数据，确定所述各个区域中对象物体在水平面投影的轮廓包围线上的点云数据；确定所述轮廓包围线两侧距离所述轮廓包围线在预置范围内的临近点云数据，则任一区域中对象物体表面的点云数据包括所述各个区域中对象物体的轮廓包围线上的点云数据及所述临近点云数据。

拟合单元12 ，用户根据所述提取单元11提取的对象物体表面的点云数据，拟合得到所述对象物体表面所在的参考面的参考面方程。

投影单元13 ，用于根据所述拟合单元12 拟合得到的参考面方程，将距离所述拟合单元12 得到的参考面在预置范围的点云数据投影到所述参考面，并获取在所述参考面的所有点云数据。

渲染单元14 ，用于根据所述投影单元13 得到的参考面的所有点云数据，渲染得到所述对象物体的对象物体立面图。

渲染单元14 ，具体用于将所述参考面的所有点云数据进行坐标对齐变换，使得所述所有点云数据对齐到某一坐标系下的坐标原点；将所述坐标对齐变换后的所有点云数据转化为图像储存格式的数据。。

其中，渲染单元14 在将所述参考面的所有点云数据进行坐标对齐变换时，具体用于将所述参考面的所有点云数据转化到某一坐标系下，所述某一坐标系是以所述参考面为XOY平面，与所述参考面垂直的方向为Z轴方向。

可见，在本实施例的对象物体立面图生成装置中，提取单元11先从对象物体的点云数据中粗略地提取出对象物体表面的点云数据，然后拟合单元12再通过平面拟合的方式精确地得到对象物体表面所在的参考面的参考面方程，并根据参考面方程将对象物体表面的点云数据中不在参考面且距离参考面超出预置范围的点云数据去掉，进而考虑到对象物体表面凸出的物体，比如建筑物的阳台或装饰物等物体，投影单元13将距离参考面在预置范围的点云数据投影到参考面，从而获取到在参考面的所有点云数据，渲染单元14再根据参考面的所有点云数据，渲染得到对象物体的二维对象物体立面图。这样，在生成对象物体立面图的过程中，考虑到了对象物体表面上附着的立体物体，使得得到的对象物体立面图能更精细地反映实际的对象物体。

本发明实施例还提供一种终端设备，其结构示意图如图14所示，该终端设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)20(例如，一个或一个以上处理器)和存储器21，一个或一个以上存储应用程序221或数据222的存储介质22(例如一个或一个以上海量存储设备)。其中，存储器21和存储介质22可以是短暂存储或持久存储。存储在存储介质22的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对终端设备中的一系列指令操作。更进一步地，中央处理器20可以设置为与存储介质22通信，在终端设备上执行存储介质22中的一系列指令操作。

具体地，在存储介质22中储存的应用程序221包括对象物体立面图生成的应用程序，且该程序可以包括上述对象物体立面图生成装置中的点云获取单元10，提取单元11，拟合单元12，投影单元13和渲染单元14，在此不进行赘述。更进一步地，中央处理器20可以设置为与存储介质22通信，在终端设备上执行存储介质22中储存的对象物体立面图生成的应用程序对应的一系列操作。

终端设备还可以包括一个或一个以上电源23，一个或一个以上有线或无线网络接口24，一个或一个以上输入输出接口25，和/或，一个或一个以上操作系统223，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM， FreeBSDTM等等。

上述方法实施例中所述的由对象物体立面图生成装置所执行的步骤可以基于该图14所示的终端设备的结构。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质储存多个计算机程序，所述计算机程序适于由处理器加载并执行如上述对象物体立面图生成装置所执行的对象物体立面图生成方法。

本发明实施例还提供一种终端设备，包括处理器和存储器；

所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如上述对象物体立面图生成装置所执行的对象物体立面图生成方法；所述处理器，用于实现所述多个计算机程序中的各个计算机程序。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM)、随机存取存储器(RAM)、磁盘或光盘等。

以上对本发明实施例所提供的对象物体立面图生成方法、装置及存储介质和终端设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种对象物体立面图生成方法，其特征在于，包括：

获取对象物体的点云数据；所述获取对象物体的点云数据，具体：获取多种来源的采集装置从不同方位采集的与对象物体相关的点云数据，将各种来源的采集装置采集的与对象物体相关的点云数据进行自动迭代最近点算法的融合，并剔除重复的点云数据及异常的点云数据；将所述与对象物体相关的点云数据划分为多个层级平面图像对应的点云数据；根据预置的语义分割模型及各个层级平面图像对应的点云数据，将所述各个层级平面图像进行语义分割，得到各个层级平面图像中物体的类型；将所述各个层级平面图像中物体的类型与相应物体的点云数据相关联，得到多种类型物体的点云数据，并选择其中对象物体自身的点云数据；其中，所述多种来源的采集装置包括：无人机、激光扫描车及背负式采集设备；

提取所述对象物体的点云数据中对象物体表面的点云数据；

根据所述参考面的所有点云数据，渲染得到所述对象物体的对象物体立面图；所述根据所述参考面的所有点云数据，渲染得到所述对象物体的对象物体立面图，具体包括：设定单位区域，将所述所有点云数据划分到近邻的多个单位区域，每个单位区域的红绿蓝值为每个单位区域中所有点云的红绿蓝信息的平均值；

所述提取所述对象物体的点云数据中对象物体表面的点云数据，具体包括：将所述对象物体的点云数据聚类为多个区域中对象物体的点云数据；分别提取各个区域中对象物体表面的点云数据；其中，任一区域中对象物体表面的点云数据包括所述各个区域中对象物体的轮廓包围线上的点云数据及其临近点云数据，每个区域为一个街道社区，一个街道社区包括一段街道一侧的对象物体，所述对象物体包括建筑物；

其中，将所述对象物体的点云数据聚类为多个区域中对象物体的点云数据，具体包括：确定所述对象物体的点云数据中的某一点，由k维树查找到距离所述某一点最近的n个点，将所述n个点中到所述某一点的距离小于阈值的点放置到类集合中，在所述类集合中确定另一点，并针对所述另一点重复执行所述将点放置到类集合中的步骤，当所述类集合中不会有新点加入时，完成聚类；

所述根据所述对象物体表面的点云数据，拟合得到所述对象物体表面所在的参考面的参考面方程，具体包括：

采用随机样本一致性拟合算法，对所述对象物体表面的点云数据中的主体数据分别进行多次拟合，得到多个候选平面，并选择点云数据最多的候选平面作为参考面，或者，选择无效数据最少的候选平面作为参考面。

2.如权利要求1所述的方法，其特征在于，所述分别提取各个区域中对象物体表面的点云数据，具体包括：

根据所述各个区域中对象物体的点云数据，确定所述各个区域中对象物体在水平面投影的轮廓包围线上的点云数据；

确定所述轮廓包围线两侧距离所述轮廓包围线在预置范围内的临近点云数据。

3.如权利要求1至2任一项所述的方法，其特征在于，所述根据所述参考面的所有点云数据，渲染得到所述对象物体的对象物体立面图，具体包括：

将所述参考面的所有点云数据进行坐标对齐变换，使得所述所有点云数据对齐到某一坐标系下的坐标原点；

将所述坐标对齐变换后的所有点云数据转化为图像储存格式的数据。

4.如权利要求3所述的方法，其特征在于，所述将所述参考面的所有点云数据进行坐标对齐变换，具体包括：

将所述参考面的所有点云数据转化到某一坐标系下，所述某一坐标系是以所述参考面为XOY平面，与所述参考面垂直的方向为Z轴方向。

5.一种对象物体立面图生成装置，其特征在于，包括：

点云获取单元，用于获取对象物体的点云数据；所述点云获取单元，具体用于获取多种来源的采集装置从不同方位采集的与对象物体相关的点云数据，将各种来源的采集装置采集的与对象物体相关的点云数据进行自动迭代最近点算法的融合，并剔除重复的点云数据及异常的点云数据；将所述与对象物体相关的点云数据划分为多个层级平面图像对应的点云数据；根据预置的语义分割模型及各个层级平面图像对应的点云数据，将所述各个层级平面图像进行语义分割，得到各个层级平面图像中物体的类型；将所述各个层级平面图像中物体的类型与相应物体的点云数据相关联，得到多种类型物体的点云数据，并选择其中对象物体自身的点云数据；其中，所述多种来源的采集装置包括：无人机、激光扫描车及背负式采集设备；

渲染单元，用于根据所述参考面的所有点云数据，渲染得到所述对象物体的对象物体立面图；所述渲染单元，具体用于设定单位区域，将所述所有点云数据划分到近邻的多个单位区域，每个单位区域的红绿蓝值为每个单位区域中所有点云的红绿蓝信息的平均值；

所述提取单元，具体用于将所述对象物体的点云数据聚类为多个区域中对象物体的点云数据；分别提取各个区域中对象物体表面的点云数据；其中，任一区域中对象物体表面的点云数据包括所述各个区域中对象物体的轮廓包围线上的点云数据及其临近点云数据，每个区域为一个街道社区，一个街道社区包括一段街道一侧的对象物体，所述对象物体包括建筑物；所述提取单元在将所述对象物体的点云数据聚类为多个区域中对象物体的点云数据时，具体用于确定所述对象物体的点云数据中的某一点，由k维树查找到距离所述某一点最近的n个点，将所述n个点中到所述某一点的距离小于阈值的点放置到类集合中，在所述类集合中确定另一点，并针对所述另一点重复执行所述将点放置到类集合中的步骤，当所述类集合中不会有新点加入时，完成聚类；

所述拟合单元，具体用于采用随机样本一致性拟合算法，对所述对象物体表面的点云数据中的主体数据分别进行多次拟合，得到多个候选平面，并选择点云数据最多的候选平面作为参考面，或者，选择无效数据最少的候选平面作为参考面。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质储存多个计算机程序，所述计算机程序适于由处理器加载并执行如权利要求1至4任一项所述的对象物体立面图生成方法。

7.一种终端设备，其特征在于，包括处理器和存储器；

所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如权利要求1至4任一项所述的对象物体立面图生成方法；所述处理器，用于实现所述多个计算机程序中的各个计算机程序。