CN116993947B - 一种三维场景可视化展示方法及系统 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种三维场景可视化展示方法及系统，包括：通过对二维的场所图像进行超像素块和种子点位置的自适应化，获得新超像素块和新超像素块的种子点，结合新超像素块和种子点对场所图像进行分割，获得分割区域并根据分割区域所有像素点的平均灰度对分割区域进行平滑处理，根据有多个分割区域所形成区域的LBP特征向量将场所图像映射到三维模型。本发明结合新超像素块和种子点对场所图像进行分割提高了对场所图像的分割区域的平滑效果，以减少场所图像中不必要的纹理，大大提高了将二维的场所图像映射到三维模型的可视化效果。

Description

一种三维场景可视化展示方法及系统

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种三维场景可视化展示方法及系统。

背景技术

三维模型技术在我国的应用广泛，目前通过结合三维建模技术对场所进行建模获得场所的三维模型进行实现，而现有方法中通常利用贴图的方式进行精细化建模，贴图建模将二维的图像投影到三维模型的表面上，从而为模型增加颜色、纹理、细节和光照效果。贴图建模通过在模型表面的不同部分应用不同的纹理图像，实现对模型的细节和表现力的增强，贴图建模是在几何建模的基础上进行处理，将获得纹理图像放置到已经获取到的几何模型上，为其增加细节信息。

现有方法中，在进行场所中的设备例如门窗、树木、围墙等建模时，通过结构光扫描获得物体的结构化光图案，投射光图案和物体表面之间的几何关系以获取物体表面的三维点云数据，利用三维点云数据生成三维模型，并通过摄像机采集三维模型中不同位置所对应的可见光图像，提取可以见光图像上的纹理信息，再将纹理信息映射到几何模型上。

但是，可见光图像得中存在部分不需要的细节纹理，因此需要对采集的图像进行纹理提取降低纹理的复杂性，常用的方法为利用超像素分割将图像分成相对均匀的区域，并提取每个区域的平均颜色或纹理特征，但是对图像进行超像素分割时超像素块的大小很大程度上影响对图像特征的提取，超像素块较大时对图像多度平滑导致纹理损失过多，而超像素块较小时一些区域内不需要的纹理信息也会被提取出来。

发明内容

本发明提供一种三维场景可视化展示方法及系统，以解决现有的问题：超像素分割算法的种子点数量对超像素块的大小存在直接影响，且种子点的数量进一步影响了对图像进行平滑处理时的平滑效果，超像素块较大时对图像多度平滑导致纹理损失过多，而超像素块较小时一些区域内不需要的纹理信息也会被提取出来。

本发明的一种三维场景可视化展示方法及系统采用如下技术方案：

本发明一个实施例提供了一种三维场景可视化展示方法，该方法包括以下步骤：

获取场所内的室内图像和三维点云数据，对室内图像进行像素级分类获得墙壁类、家具类以及窗户类区域，对三维点云数据进行模型构建获得三维模型；

将室内图像进行网格划分获得多个网格，将任意一个网格记为一个超像素块，将网格的中心作为超像素块的种子点，以任意像素点为起点获取不同方向上预设数量的像素点的灰度值，将任意一个方向上多个像素点的灰度值形成的序列记为灰度值序列，将超像素块的任意一个边进行平移结合种子点的坐标位置获得相对点，根据种子点和相对点的灰度值序列以及种子点所在超像素块的任意一个边的平移次数，获得边在对应平移方向上的延展程度；

根据延展程度的大小将场所图像中的超像素块进行合并获得若干个新超像素块，根据新超像素块中任意像素点与新超像素块的边之间的距离获得像素点的目标程度，根据目标程度的大小获得新超像素块的种子点；结合新超像素块的面积、像素点与新超像素块的种子点之间的距离以及灰度差异获得优化后距离度量参数；结合优化后距离度量参数对场所图像进行分割获得若干个分割区域，获取分割区域内的平均灰度对分割区域进行平滑，并获取墙壁类、家具类以及窗户类区域中每个区域的LBP特征向量；

结合LBP特征向量对三维模型进行三维场景可视化展示。

进一步的，所述获取场所内的室内图像和三维点云数据，对室内图像进行像素级分类获得墙壁类、家具类以及窗户类区域，对三维点云数据进行模型构建获得三维模型，包括的具体方法为：

首先，利用可见光摄像机对场所内部不同位置不同方向进行拍摄，将得到的图像记为场所室内图像，并利用3D扫描仪获取场所内部的三维点云数据；

然后，对场所室内图像进行灰度化处理，并对灰度化处理后的场所室内图像进行高斯滤波处理，将处理后的场所室内图像记为场所图像；利用K-means聚类算法对三维点云数据进行聚类，获得若干个聚类簇，利用表面重建算法将三维点云数据中每个聚类簇进行表面重建，获得每个聚类簇对应的三维模型；

最后，利用训练好的语义分割神经网络对场所图像中的区域进行像素级分类，将场所图像划为墙壁类、家具类以及窗户类区域。

进一步的，所述将室内图像进行网格划分获得多个网格，将任意一个网格记为一个超像素块，将网格的中心作为超像素块的种子点，以任意像素点为起点获取不同方向上预设数量的像素点的灰度值，将任意一个方向上多个像素点的灰度值形成的序列记为灰度值序列，包括的具体方法为：

首先，将场所图像划分为网格且每个网格的大小为，一个网格对应为一个超像素块，且一个超像素块包括4个边，其中/>为预设的超参数；

然后，在场所图像中将任意像素点作为起点，分别在0°、90°、180°以及270°方向上，获取对应方向上个像素点以及像素点的灰度值，将由任意一个方向上的/>个像素点的灰度值形成的一个序列记为灰度值序列，其中/>从数值/>开始迭代，迭代过程中的步长为/>，迭代的最大值不超过数值/>，其中/>、/>以及/>为预设的超参数。

进一步的，所述将超像素块的任意一个边进行平移结合种子点的坐标位置获得相对点，根据种子点和相对点的灰度值序列以及种子点所在超像素块的任意一个边的平移次数，获得边在对应平移方向上的延展程度，包括的具体方法为：

首先，将任意种子点所在超像素块的任意一个边进行逐像素地迭代平移，迭代平移的次数不超过预设的数值；将种子点的坐标记为/>，当超像素块的左、右两个边分别向180°、0°方向上进行迭代平移过程中，坐标分别为/>和的像素点，记为相对点；同样的，当超像素块的上、下两个边分别向90°、270°方向上进行迭代平移过程中，坐标分别为/>和/>的像素点，也记为相对点；其中，/>表示超像素块的左、右两个边在进行水平方向上的迭代平移过程中所平移的次数，/>表示超像素块的上、下两个边在进行竖直方向上的迭代平移过程中所平移的次数；

然后，获取超像素块的任意一个边所对应的相对点，将相对点所在边的平移方向的逆时针垂直方向上，相对点的灰度值序列记为相对灰度值序列；

最后，对种子点的灰度值序列和相对点的相对灰度值序列进行迭代，获得若干个种子点的灰度值序列和相对点的相对灰度值序列，获取任意一次迭代时种子点的灰度值序列和相对点的相对灰度值序列之间的欧氏距离，记为对应迭代次数下的距离特征，获得若干个距离特征；根据种子点的灰度值序列、相对点的相对灰度值序列以及种子点所在超像素块的边的平移次数，获得超像素块的任意一个边在对应平移方向上的延展程度，具体计算方法为：

；

其中，表示第/>个距离特征下超像素块的边在对应平移方向上的延展程度；表示超像素块的边在第/>次迭代下第/>个距离特征对应的灰度值序列的长度；/>表示超像素块的边在第/>次迭代下的第/>个距离特征；/>表示种子点的灰度值序列的迭代次数。

进一步的，所述根据延展程度的大小将场所图像中的超像素块进行合并获得若干个新超像素块，包括的具体方法为：

在超像素块的任意一个边在平移方向上进行迭代平移过程中，当边的延展程度最大时停止迭代平移并获取边所在的位置，当任意一个超像素块的4个边都停止迭代时，将4个边所围绕的区域记为新超像素块；若所述新超像素块包含有其他超像素块或新超像素块的一半以上的面积，则将包含一半以上面积的超像素块或新超像素块合并到所述新超像素块中。

进一步的，所述根据新超像素块中任意像素点与新超像素块的边之间的距离获得像素点的目标程度，根据目标程度的大小获得新超像素块的种子点，包括的具体方法为：

首先，获取新超像素块内任意一个像素点与新超像素块的4个边之间分别对应的最小距离，并将4个最小距离中的最小值记为对应像素点的距离参数；获取新超像素块内像素点在距离参数所对应方向上所有像素点灰度值的方差，记为像素点的方差参数；根据新超像素块内像素点与新超像素块的各个边之间的距离，获得新超像素块区域内任意像素点的目标程度，具体计算方法为：

；

其中，表示新超像素块中第/>个像素点的目标程度；/>表示新超像素块中第/>个像素点的方差参数；/>表示像素点与新超像素块的4个边之间分别对应的最小距离的方差；/>表示新超像素块中第/>个像素点的距离参数；/>表示以自然常数为底数的指数函数；

然后，将任意新超像素块中目标程度最大的像素点作为对应新超像素块的种子点。

进一步的，所述结合新超像素块的面积、像素点与新超像素块的种子点之间的距离以及灰度差异获得优化后距离度量参数，包括的具体方法为：

优化后距离度量参数计算方法为：

；

其中，表示优化后距离度量参数；/>表示种子点所在新超像素块的面积；/>表示像素点与种子点对应坐标之间的欧氏距离；/>表示像素点和种子点之间的灰度值差值。

进一步的，所述结合优化后距离度量参数对场所图像进行分割获得若干个分割区域，获取分割区域内的平均灰度对分割区域进行平滑，并获取墙壁类、家具类以及窗户类区域中每个区域的LBP特征向量，包括的具体方法为：

首先，结合优化后距离度量参数并利用超像素分割算法，通过新超像素块的种子点对场所图像进行超像素分割，获得若干个分割区域，获取任意分割区域中所有像素点的平均灰度值记为分割区域的整体灰度值，将分割区域内像素点的灰度值替换为分割区域的整体灰度值，以对场所图像中的分割区域进行平滑处理；

然后，墙壁类、家具类以及窗户类区域中每个区域包含若干个分割区域，利用LBP算法获取墙壁类、家具类以及窗户类区域中每个区域对应的LBP特征向量。

进一步的，所述结合LBP特征向量对三维模型进行三维场景可视化展示，包括的具体方法为：

首先，通过PFH算法获取三维点云数据中每个聚类簇的点云描述子；

然后，利用神经网络获取三维点云数据中的聚类簇对应的人工标签，所述人工标签为墙壁类、家具类以及窗户类；获取二维图像中墙壁类、家具类以及窗户类区域的任意区域的LBP特征量与三维点云数据中每个聚类簇的点云描述子之间的欧氏距离，记为区域-点云相似度；将区域-点云相似度最小且标签相同时所对应的区域与聚类簇之间的关系记为匹配关系；

最后，由于每个三维模型在二维图像中对应一个区域，将存在匹配关系区域通过仿射变换的方法映射到对应的三维模型上，完成三维模型场景可视化。

进一步的一种三维场景可视化展示系统，该系统包括以下模块：

图像采集模块：获取场所内的室内图像和三维点云数据，对室内图像进行像素级分类获得墙壁类、家具类以及窗户类区域，对三维点云数据进行模型构建获得三维模型；

超像素延展模块：将室内图像进行网格划分获得多个网格，将任意一个网格记为一个超像素块，将网格的中心作为超像素块的种子点，以任意像素点为起点获取不同方向上预设数量的像素点的灰度值，将任意一个方向上多个像素点的灰度值形成的序列记为灰度值序列，将超像素块的任意一个边进行平移结合种子点的坐标位置获得相对点，根据种子点和相对点的灰度值序列以及种子点所在超像素块的任意一个边的平移次数，获得边在对应平移方向上的延展程度；

超像素合并模块：根据延展程度的大小将场所图像中的超像素块进行合并获得若干个新超像素块，根据新超像素块中任意像素点与新超像素块的边之间的距离获得像素点的目标程度，根据目标程度的大小获得新超像素块的种子点；结合新超像素块的面积、像素点与新超像素块的种子点之间的距离以及灰度差异获得优化后距离度量参数；结合优化后距离度量参数对场所图像进行分割获得若干个分割区域，获取分割区域内的平均灰度对分割区域进行平滑，并获取墙壁类、家具类以及窗户类区域中每个区域的LBP特征向量；

场景可视化模块：结合LBP特征向量对三维模型进行三维场景可视化展示。

本发明的实施例提供了一种三维场景可视化展示系统，该系统包括图像采集模块模块、超像素延展模块模块、超像素合并模块模块以及场景可视化模块以实现三维场景可视化展示。

本发明的技术方案的有益效果是：通过对二维的场所图像进行超像素块和种子点位置的自适应化，获得新超像素块和新超像素块的种子点，结合新超像素块和种子点对场所图像进行分割提高了对场所图像的分割区域的平滑效果，以减少场所图像中不必要的纹理，大大提高了将二维的场所图像映射到三维模型的可视化效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种三维场景可视化展示方法的步骤流程图；

图2为本发明的一种三维场景可视化展示系统的结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种三维场景可视化展示方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种三维场景可视化展示方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种三维场景可视化展示方法的步骤流程图，该方法包括以下步骤：

步骤S001：获取场所内的室内图像以及点云数据，并对室内图像进行预处理和语义分割，构建三维点云数据的三维模型。

需要说明的是，通过可见光摄像机拍摄场所内部的图像，并对室内的图像进行灰度化获得对应的灰度图像，对灰度图像进行高斯滤波进行去噪处理获得预处理后的场所房屋图像。通过语义分割对采集的图像进行分类，将其分成墙壁类、家具类和窗户类等。

具体的，为了实现本实施例提出的一种三维场景可视化展示方法，首先需要采集场所室内图像，具体过程为：

首先，利用可见光摄像机对场所内部不同位置不同方向进行拍摄，将得到的图像记为场所室内图像，并利用3D扫描仪获取场所内部的三维点云数据。

然后，对场所室内图像进行灰度化处理，并对灰度化处理后的场所室内图像进行高斯滤波处理，将处理后的场所室内图像记为场所图像；利用K-means聚类算法对三维点云数据进行聚类，获得若干个聚类簇，利用表面重建算法将三维点云数据中每个聚类簇进行表面重建，获得每个聚类簇对应的三维模型。

需要说明的是，表面重建算法为现有的三维模型构建算法，因此本实施例中不过多赘述。

需要说明的是，高斯滤波为现有的滤波算法，因此本实施例不过多赘述。

最后，利用训练好的语义分割神经网络对场所图像中的区域进行像素级分类，将场所图像划为墙壁类、家具类以及窗户类区域。

需要说明的是，语义分割神经网络的训练过程为：首先，获取大量的不同地方的场所图像，将墙壁类、家具类和窗户类作为人工标签，对场所图像中的不同区域进行标注，将任意一个含有人工标签的场所图像作为一个样本，则由大量的样本构成一个数据集；然后，将数据集作为CNN神经网络的输入，将交叉熵损失函数作为CNN神经网络的损失函数，由CNN神经网络对场所图像进行像素级分割，获取场所图像中各人工标签所对应的区域。

至此，通过上述方法得到场所图像以及场所图像中的各个区域。

步骤S002：利用超像素分割算法对场所图像进行预分割，获得超像素块的延展程度。

需要说明的是，通过对预设的超像素的种子点分布，分析种子点周围的灰度情况和纹理分布走向以对超像素块的不同方向进行延展，分析延展后超像素块的周围相邻种子点，并判断种子点的合并情况，根据延展后的整个超像素块内的纹理对种子点的位置进行更新。

由于有些场所的窗户存在栅栏，在对不同的分类中的图像进行分析时所有的类别中同一物体的灰度值会存在一定的规律性分布，不同的类别的规律性分布是不相同的但是可以通过分析其分布的规则性和规则性延伸方向获得每个窗口的延伸程度，根据延伸的情况的对原始的超像素窗口进行扩展，分析扩展后扩展窗口和其它种子点的分布对种子点进行更新。

具体的，步骤（1），首先，将场所图像划分为网格且每个网格的大小为，并选择每个网格的中心作为种子点，使种子点均匀分布在场所图像中，得到若干个种子点，一个网格对应为一个超像素块，且一个超像素块包括4个边，其中/>为预设的超参数。

需要说明的是，根据经验预设超参数为3，可根据应用情况进行调整，本实施例不进行具体限定。

然后，在场所图像中将任意像素点作为起点，分别在0°、90°、180°以及270°方向上，获取对应方向上个像素点以及像素点的灰度值，将由任意一个方向上的/>个像素点的灰度值形成的一个序列记为灰度值序列，其中/>从数值/>开始迭代，迭代过程中的步长为/>，迭代的最大值不超过数值/>，其中/>、/>以及/>为预设的超参数。

需要说明的是，根据经验预设超参数、/>以及/>分别为1、1、50，可根据实际应用情况进行调整，本实施例不进行具体限定。

需要说明的是，本实施例中所述0°为向右指向的方向，且本实施例中方向的变化方向为逆指针方向。

最后，将任意种子点所在超像素块的任意一个边进行逐像素地迭代平移，迭代平移的次数不超过预设的数值；将种子点的坐标记为/>，当超像素块的左、右两个边分别向180°、0°方向上进行迭代平移过程中，坐标分别为/>和的像素点，记为相对点；同样的，当超像素块的上、下两个边分别向90°、270°方向上进行迭代平移过程中，坐标分别为/>和/>的像素点，也记为相对点；其中，/>表示超像素块的左、右两个边在进行水平方向上的迭代平移过程中所平移的次数，/>表示超像素块的上、下两个边在进行竖直方向上的迭代平移过程中所平移的次数。

需要说明的是，相对点对应迭代平移过程中在边的中心位置上的像素点。

需要说明的是，根据经验预设数值为17，可根据应用情况进行调整，本实施例不进行具体限定。

需要说明的是，超像素块的边在迭代平移过程中，当超像素块内部属于同一物体的情况下，获取超像素块的任意一个边所对应平移方向在逆时针的垂直方向上相对点的灰度值序列，相对点与种子点的灰度值序列越短，相对点与种子点的灰度值序列之间的相似性越大，并且超像素块的边在平移方向上可平移的次数越多，即边平移的越远。

步骤（2），首先，将超像素块的任意一个边所对应平移方向在逆时针的垂直方向上相对点的灰度值序列记为相对灰度值序列。

需要说明的是，相对点的灰度值序列与种子点的灰度值序列的获取方法一致。

然后，对种子点的灰度值序列和相对点的相对灰度值序列进行迭代，获得若干个种子点的灰度值序列和相对点的相对灰度值序列，获取任意一次迭代时种子点的灰度值序列和相对点的相对灰度值序列之间的欧氏距离，记为对应迭代次数下的距离特征，获得若干个距离特征；根据种子点的灰度值序列、相对点的相对灰度值序列以及种子点所在超像素块的边的平移次数，获得超像素块的任意一个边在对应平移方向上的延展程度，具体计算方法为：

；

其中，表示第/>个距离特征下超像素块的边在对应平移方向上的延展程度；表示超像素块的边在第/>次迭代下第/>个距离特征对应的灰度值序列的长度；/>表示超像素块的边在第/>次迭代下的第/>个距离特征；/>表示种子点的灰度值序列的迭代次数。

需要说明的是，相对点的相对灰度值序列与种子点的灰度值序列的长度始终相同。

需要说明的是，由于同一个物体表面上的灰度分布通常较为规则，因此根据超像素块的边在迭代平移过程中超像素块的种子点与边上相对点的灰度值序列，获得超像素块的边在对应平移方向上的延展程度，当灰度分布越相似则在对应平移方向上边的延展程度越大。

另外，由于超像素块的边在对应平移方向上的延展程度，同时受到种子点和相对点之间灰度值序列的相似性以及边的平移次数的限制，因此需要通过调节种子点和相对点之间灰度值序列的相似性以及边的平移次数，保证超像素块尽可能以最大面积包含物体表面上同一纹理的区域。

至此，通过上述方法得到超像素块的延展程度。

步骤S003：利用延展程度对超像素块进行合并获得新超像素块，进一步得到新超像素块的新种子点，对场所图像进行超像素分割并获取各区域的纹理信息。

需要说明的是，当超像素块的边在对应方向上的延展程度达到最大时，完成对超像素块的合并获得新超像素块，并根据新超像素块中像素点与超像素块的边之间的距离，确定新超像素块的种子点记为新种子点，利用新超像素块以及对应的新种子点对场所图像进行超像素分割，利用超像素分割后的超像素块结合步骤S001中语义分割后获得的墙壁类、家具类以及窗户类区域，对各区域进行平滑处理并获得各区域的纹理信息。

具体的，步骤（1），首先，在超像素块的任意一个边在平移方向上进行迭代平移过程中，当边的延展程度最大时停止迭代平移并获取边所在的位置，当任意一个超像素块的4个边都停止迭代时，将4个边所围绕的区域记为新超像素块；若所述新超像素块包含有其他超像素块或新超像素块的一半以上的面积，则将包含一半以上面积的超像素块或新超像素块合并到所述新超像素块中。

需要说明的是，在本实施例中，对场所图像中的超像素块的边进行迭代平移时，是所有超像素块的边同时进行迭代平移，因此在合并时会存在新超像素块或超像素块合并到另一个新超像素块中的情况。

需要说明的是，通过对超像素块的边进行迭代平移实现对超像素块的延展，但是超像素块在延展后得到的新超像素块需要获取新的种子点，以保证后续超像素分割的效果。由于超像素分割算法的种子点通常需要位于超像素块内灰度变化较小的区域，且种子点到超像素块的各个边之间的距离存在一定的一致性。

然后，获取新超像素块内任意一个像素点与新超像素块的4个边之间分别对应的最小距离，并将4个最小距离中的最小值记为对应像素点的距离参数；获取新超像素块内像素点在距离参数所对应方向上所有像素点灰度值的方差，记为像素点的方差参数；根据新超像素块内像素点与新超像素块的各个边之间的距离，获得新超像素块区域内任意像素点的目标程度，具体计算方法为：

；

其中，表示新超像素块中第/>个像素点的目标程度；/>表示新超像素块中第/>个像素点的方差参数；/>表示像素点与新超像素块的4个边之间分别对应的最小距离的方差；/>表示新超像素块中第/>个像素点的距离参数；/>表示以自然常数为底数的指数函数。

需要说明的是，目标程度反映了超像素块中像素点可以作为超像素块的种子点的置信程度，像素点的目标程度越大，越有可能作为超像素块的种子点；反之，像素点的目标程度越小，越不可能作为超像素块的种子点。

最后，将任意新超像素块中目标程度最大的像素点作为对应新超像素块的种子点。

步骤（2），需要说明的是，超像素分割算法在利用种子点对图像进行超像素分割的过程中，需要度量像素点与种子点之间的距离关系，用于判断是否将像素点归为种子点所在的超像素块中，常规的超像素分割算法获取像素点与种子点之间的距离关系时，通常获取像素点和种子点在图像上的坐标以及灰度值之间的欧氏距离作为距离度量参数，但是本实施例通过自适应超像素块的大小以及种子点的位置，使得获得的新超像素块大小存在差异，导致仅获取像素点和种子点的坐标以及灰度值对应的欧氏距离，可能会导致将本该属于大的新超像素块的像素点划分到小的超像素块中，影响超像素分割的准确性，因此需要对常规的超像素分割算法的距离度量参数进行优化，获取优化后距离度量参数。

优化后距离度量参数计算方法为：

；

其中，表示优化后距离度量参数；/>表示种子点所在新超像素块的面积；/>表示像素点与种子点对应坐标之间的欧氏距离；/>表示像素点和种子点之间的灰度值差值。

步骤（3），首先，结合优化后距离度量参数并利用超像素分割算法，通过新超像素块的种子点对场所图像进行超像素分割，获得若干个分割区域，获取任意分割区域中所有像素点的平均灰度值记为分割区域的整体灰度值，将分割区域内像素点的灰度值替换为分割区域的整体灰度值，以对场所图像中的分割区域进行平滑处理。

然后，墙壁类、家具类以及窗户类区域中每个区域包含若干个分割区域，利用LBP算法获取墙壁类、家具类以及窗户类区域中每个区域对应的LBP特征向量。

需要说明的是，LBP算法的中文名称为局部二值模式，由于LBP算法为现有算法，因此本实施例不做过多赘述。

至此，通过上述方法得到场所图像中各超像素块的LBP值。

步骤S004：结合LBP特征向量对三维模型进行图像映射，实现三维场景可视化。

具体的，首先，通过PFH算法获取三维点云数据中每个聚类簇的点云描述子。

需要说明的是，PFH算法的中文名称为点特征直方图算法，由于PFH算法为现有的点云描述子获取方法，因此本实施例不进行过多赘述。

然后，利用神经网络获取三维点云数据中的聚类簇对应的人工标签，所述人工标签为墙壁类、家具类以及窗户类；获取二维图像中墙壁类、家具类以及窗户类区域的任意区域的LBP特征量与三维点云数据中每个聚类簇的点云描述子之间的欧氏距离，记为区域-点云相似度；将区域-点云相似度最小且标签相同时所对应的区域与聚类簇之间的关系记为匹配关系。

需要说明的是，获取三维点云数据中的聚类簇对应的人工标签的神经网络的训练过程为：首先，获取大量三维点云数据的聚类簇，由专业人员对各个聚类簇进行标注，将标注内容墙壁类、家具类以及窗户类作为人工标签；然后，任意一个带有人工标签的聚类簇为一个样本，则大量的样本形成训练神经网络的数据集；最后，将数据集作为PointNet神经网络的输入，利用交叉熵损失函数对PointNet神经网络进行训练，输出各个聚类簇对应的人工标签，以完成对PointNet神经网络的训练，将训练完成后的PointNet神经网络投入使用。

最后，由于每个三维模型在二维图像中对应一个区域，将存在匹配关系区域通过仿射变换的方法映射到对应的三维模型上，完成三维模型场景可视化。

通过以上步骤，完成三维场景可视化展示。

请参阅图2，其示出了本发明一个实施例提供的一种三维场景可视化展示系统的结构框图，该系统包括以下模块：

图像采集模块：获取场所内的室内图像和三维点云数据，对室内图像进行像素级分类获得墙壁类、家具类以及窗户类区域，对三维点云数据进行模型构建获得三维模型；

超像素延展模块：将室内图像进行网格划分获得多个网格，将任意一个网格记为一个超像素块，将网格的中心作为超像素块的种子点，以任意像素点为起点获取不同方向上预设数量的像素点的灰度值，将任意一个方向上多个像素点的灰度值形成的序列记为灰度值序列，将超像素块的任意一个边进行平移结合种子点的坐标位置获得相对点，根据种子点和相对点的灰度值序列以及种子点所在超像素块的任意一个边的平移次数，获得边在对应平移方向上的延展程度；

超像素合并模块：根据延展程度的大小将场所图像中的超像素块进行合并获得若干个新超像素块，根据新超像素块中任意像素点与新超像素块的边之间的距离获得像素点的目标程度，根据目标程度的大小获得新超像素块的种子点；结合新超像素块的面积、像素点与新超像素块的种子点之间的距离以及灰度差异获得优化后距离度量参数；结合优化后距离度量参数对场所图像进行分割获得若干个分割区域，获取分割区域内的平均灰度对分割区域进行平滑，并获取墙壁类、家具类以及窗户类区域中每个区域的LBP特征向量；

场景可视化模块：结合LBP特征向量对三维模型进行三维场景可视化展示。

本实施例通过对超像素分割算法的种子点数量以及位置进行自适应，避免了种子点数量和位置不恰当时，导致的图像平滑效果不理想的问题，进一步使得三维场景视觉效果不佳。

需要说明的是，本实施例中所用的模型仅用于表示负相关关系和约束模型输出的结果处于/>区间内，具体实施时，可替换成具有同样目的的其他模型，本实施例只是以/>模型为例进行叙述，不对其做具体限定，其中/>是指该模型的输入。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种三维场景可视化展示方法，其特征在于，该方法包括以下步骤：

获取场所内的室内图像和三维点云数据，对室内图像进行像素级分类获得墙壁类、家具类以及窗户类区域，对三维点云数据进行模型构建获得三维模型；

将室内图像进行网格划分获得多个网格，将任意一个网格记为一个超像素块，将网格的中心作为超像素块的种子点，以任意像素点为起点获取不同方向上预设数量的像素点的灰度值，将任意一个方向上多个像素点的灰度值形成的序列记为灰度值序列，将超像素块的任意一个边进行平移结合种子点的坐标位置获得相对点，根据种子点和相对点的灰度值序列以及种子点所在超像素块的任意一个边的平移次数，获得边在对应平移方向上的延展程度；

根据延展程度的大小将场所图像中的超像素块进行合并获得若干个新超像素块，根据新超像素块中任意像素点与新超像素块的边之间的距离获得像素点的目标程度，根据目标程度的大小获得新超像素块的种子点；结合新超像素块的面积、像素点与新超像素块的种子点之间的距离以及灰度差异获得优化后距离度量参数；结合优化后距离度量参数对场所图像进行分割获得若干个分割区域，获取分割区域内的平均灰度对分割区域进行平滑，并获取墙壁类、家具类以及窗户类区域中每个区域的LBP特征向量；

结合LBP特征向量对三维模型进行三维场景可视化展示；

所述将超像素块的任意一个边进行平移结合种子点的坐标位置获得相对点，根据种子点和相对点的灰度值序列以及种子点所在超像素块的任意一个边的平移次数，获得边在对应平移方向上的延展程度，包括的具体方法为：

首先，将任意种子点所在超像素块的任意一个边进行逐像素地迭代平移，迭代平移的次数不超过预设的数值；将种子点的坐标记为/>，当超像素块的左、右两个边分别向180°、0°方向上进行迭代平移过程中，坐标分别为/>和的像素点，记为相对点；同样的，当超像素块的上、下两个边分别向90°、270°方向上进行迭代平移过程中，坐标分别为/>和/>的像素点，也记为相对点；其中，/>表示超像素块的左、右两个边在进行水平方向上的迭代平移过程中所平移的次数，/>表示超像素块的上、下两个边在进行竖直方向上的迭代平移过程中所平移的次数；

然后，获取超像素块的任意一个边所对应的相对点，将相对点所在边的平移方向的逆时针垂直方向上，相对点的灰度值序列记为相对灰度值序列；

最后，对种子点的灰度值序列和相对点的相对灰度值序列进行迭代，获得若干个种子点的灰度值序列和相对点的相对灰度值序列，获取任意一次迭代时种子点的灰度值序列和相对点的相对灰度值序列之间的欧氏距离，记为对应迭代次数下的距离特征，获得若干个距离特征；根据种子点的灰度值序列、相对点的相对灰度值序列以及种子点所在超像素块的边的平移次数，获得超像素块的任意一个边在对应平移方向上的延展程度，具体计算方法为：

；

其中，表示第/>个距离特征下超像素块的边在对应平移方向上的延展程度；/>表示超像素块的边在第/>次迭代下第/>个距离特征对应的灰度值序列的长度；/>表示超像素块的边在第/>次迭代下的第/>个距离特征；/>表示种子点的灰度值序列的迭代次数；

所述根据新超像素块中任意像素点与新超像素块的边之间的距离获得像素点的目标程度，根据目标程度的大小获得新超像素块的种子点，包括的具体方法为：

首先，获取新超像素块内任意一个像素点与新超像素块的4个边之间分别对应的最小距离，并将4个最小距离中的最小值记为对应像素点的距离参数；获取新超像素块内像素点在距离参数所对应方向上所有像素点灰度值的方差，记为像素点的方差参数；根据新超像素块内像素点与新超像素块的各个边之间的距离，获得新超像素块区域内任意像素点的目标程度，具体计算方法为：

；

其中，表示新超像素块中第/>个像素点的目标程度；/>表示新超像素块中第/>个像素点的方差参数；/>表示像素点与新超像素块的4个边之间分别对应的最小距离的方差；/>表示新超像素块中第/>个像素点的距离参数；/>表示以自然常数为底数的指数函数；

然后，将任意新超像素块中目标程度最大的像素点作为对应新超像素块的种子点。

2.根据权利要求1所述一种三维场景可视化展示方法，其特征在于，所述获取场所内的室内图像和三维点云数据，对室内图像进行像素级分类获得墙壁类、家具类以及窗户类区域，对三维点云数据进行模型构建获得三维模型，包括的具体方法为：

首先，利用可见光摄像机对场所内部不同位置不同方向进行拍摄，将得到的图像记为场所室内图像，并利用3D扫描仪获取场所内部的三维点云数据；

然后，对场所室内图像进行灰度化处理，并对灰度化处理后的场所室内图像进行高斯滤波处理，将处理后的场所室内图像记为场所图像；利用K-means聚类算法对三维点云数据进行聚类，获得若干个聚类簇，利用表面重建算法将三维点云数据中每个聚类簇进行表面重建，获得每个聚类簇对应的三维模型；

最后，利用训练好的语义分割神经网络对场所图像中的区域进行像素级分类，将场所图像划为墙壁类、家具类以及窗户类区域。

3.根据权利要求1所述一种三维场景可视化展示方法，其特征在于，所述将室内图像进行网格划分获得多个网格，将任意一个网格记为一个超像素块，将网格的中心作为超像素块的种子点，以任意像素点为起点获取不同方向上预设数量的像素点的灰度值，将任意一个方向上多个像素点的灰度值形成的序列记为灰度值序列，包括的具体方法为：

首先，将场所图像划分为网格且每个网格的大小为，一个网格对应为一个超像素块，且一个超像素块包括4个边，其中/>为预设的超参数；

然后，在场所图像中将任意像素点作为起点，分别在0°、90°、180°以及270°方向上，获取对应方向上个像素点以及像素点的灰度值，将由任意一个方向上的/>个像素点的灰度值形成的一个序列记为灰度值序列，其中/>从数值/>开始迭代，迭代过程中的步长为/>，迭代的最大值不超过数值/>，其中/>、/>以及/>为预设的超参数。

4.根据权利要求1所述一种三维场景可视化展示方法，其特征在于，所述根据延展程度的大小将场所图像中的超像素块进行合并获得若干个新超像素块，包括的具体方法为：

在超像素块的任意一个边在平移方向上进行迭代平移过程中，当边的延展程度最大时停止迭代平移并获取边所在的位置，当任意一个超像素块的4个边都停止迭代时，将4个边所围绕的区域记为新超像素块；若所述新超像素块包含有其他超像素块或新超像素块的一半以上的面积，则将包含一半以上面积的超像素块或新超像素块合并到所述新超像素块中。

5.根据权利要求1所述一种三维场景可视化展示方法，其特征在于，所述结合新超像素块的面积、像素点与新超像素块的种子点之间的距离以及灰度差异获得优化后距离度量参数，包括的具体方法为：

优化后距离度量参数计算方法为：

；

其中，表示优化后距离度量参数；/>表示种子点所在新超像素块的面积；/>表示像素点与种子点对应坐标之间的欧氏距离；/>表示像素点和种子点之间的灰度值差值。

6.根据权利要求1所述一种三维场景可视化展示方法，其特征在于，所述结合优化后距离度量参数对场所图像进行分割获得若干个分割区域，获取分割区域内的平均灰度对分割区域进行平滑，并获取墙壁类、家具类以及窗户类区域中每个区域的LBP特征向量，包括的具体方法为：

首先，结合优化后距离度量参数并利用超像素分割算法，通过新超像素块的种子点对场所图像进行超像素分割，获得若干个分割区域，获取任意分割区域中所有像素点的平均灰度值记为分割区域的整体灰度值，将分割区域内像素点的灰度值替换为分割区域的整体灰度值，以对场所图像中的分割区域进行平滑处理；

然后，墙壁类、家具类以及窗户类区域中每个区域包含若干个分割区域，利用LBP算法获取墙壁类、家具类以及窗户类区域中每个区域对应的LBP特征向量。

7.根据权利要求1所述一种三维场景可视化展示方法，其特征在于，所述结合LBP特征向量对三维模型进行三维场景可视化展示，包括的具体方法为：

首先，通过PFH算法获取三维点云数据中每个聚类簇的点云描述子；

然后，利用神经网络获取三维点云数据中的聚类簇对应的人工标签，所述人工标签为墙壁类、家具类以及窗户类；获取二维图像中墙壁类、家具类以及窗户类区域的任意区域的LBP特征量与三维点云数据中每个聚类簇的点云描述子之间的欧氏距离，记为区域-点云相似度；将区域-点云相似度最小且标签相同时所对应的区域与聚类簇之间的关系记为匹配关系；

最后，由于每个三维模型在二维图像中对应一个区域，将存在匹配关系区域通过仿射变换的方法映射到对应的三维模型上，完成三维模型场景可视化。

8.一种三维场景可视化展示系统，采用如权利要求1-7中任意一项所述的一种三维场景可视化展示方法，其特征在于，该系统包括以下模块：

图像采集模块：获取场所内的室内图像和三维点云数据，对室内图像进行像素级分类获得墙壁类、家具类以及窗户类区域，对三维点云数据进行模型构建获得三维模型；

超像素延展模块：将室内图像进行网格划分获得多个网格，将任意一个网格记为一个超像素块，将网格的中心作为超像素块的种子点，以任意像素点为起点获取不同方向上预设数量的像素点的灰度值，将任意一个方向上多个像素点的灰度值形成的序列记为灰度值序列，将超像素块的任意一个边进行平移结合种子点的坐标位置获得相对点，根据种子点和相对点的灰度值序列以及种子点所在超像素块的任意一个边的平移次数，获得边在对应平移方向上的延展程度；

超像素合并模块：根据延展程度的大小将场所图像中的超像素块进行合并获得若干个新超像素块，根据新超像素块中任意像素点与新超像素块的边之间的距离获得像素点的目标程度，根据目标程度的大小获得新超像素块的种子点；结合新超像素块的面积、像素点与新超像素块的种子点之间的距离以及灰度差异获得优化后距离度量参数；结合优化后距离度量参数对场所图像进行分割获得若干个分割区域，获取分割区域内的平均灰度对分割区域进行平滑，并获取墙壁类、家具类以及窗户类区域中每个区域的LBP特征向量；

场景可视化模块：结合LBP特征向量对三维模型进行三维场景可视化展示。