CN114494487A - 基于全景图语义拼接的户型图生成方法、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种基于全景图语义拼接的户型图生成方法、设备及存储介质。在本申请实施例中，首先获取房屋对象包含的多个空间对象对应的多张全景图，接着对多张全景图中进行特定交界线的检测和门体对象检测，根据检测出的门体对象的特征信息识别包含同一门体对象的全景图，以及根据同一门体对象在两张全景图中的位置信息确定两两相机点之间的相对位置关系，最后，基于相机点之间的相对位置关系便可对检测出的多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。由此，实现自动基于全景图语义拼接的方式生成更加符合真实情况且更为准确的户型图，有效地降低了人工拼接成本，提高了户型图的生成效率。

Description

基于全景图语义拼接的户型图生成方法、设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于全景图语义拼接的户型图生成方法、设备及存储介质。

背景技术

户型图是指能够展示房屋结构的图形，通过户型图能够对房屋内各个空间的功能、位置、大小等房屋空间布局信息有更为直观地了解。目前，主要是依靠人工现场量房，并基于量房数据手动绘制户型图。然而，人工手动绘制的户型图不够准确，且效率较低。

发明内容

本申请的多个方面提供一种基于全景图语义拼接的户型图生成方法、设备及存储介质，用以提高户型图生成的准确度和效率。

本申请实施例提供一种基于全景图语义拼接的户型图生成方法，包括：获取房屋对象包含的多个空间对象对应的多张全景图，多张全景图是在多个不同相机点分别对多个空间对象进行全景拍摄得到的，且每张全景图中至少包含一个门体对象；对多张全景图分别进行特定交界线的检测，得到多个空间对象包含的特定交界线的位置信息；检测多张全景图中包含的门体对象及其特征信息，并根据多张全景图中包含的门体对象的特征信息，识别出包含同一门体对象的全景图；针对包含同一个门体对象的每两张全景图，根据同一门体对象在两张全景图中的位置信息，确定拍摄两张全景图的相机点之间的相对位置关系；根据相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。

本申请实施例还提供一种电子设备，包括：存储器和处理器；

存储器，用于存储计算机程序；处理器耦合至存储器，用于执行计算机程序以用于执行基于全景图语义拼接的户型图生成方法。

在本申请实施例中，首先获取房屋对象包含的多个空间对象对应的多张全景图，接着对多张全景图中进行特定交界线的检测和门体对象检测，根据检测出的门体对象的特征信息识别包含同一门体对象的全景图，以及根据同一门体对象在两张全景图中的位置信息确定两两相机点之间的相对位置关系，最后，基于相机点之间的相对位置关系便可对检测出的多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。由此，基于门体对象的视觉信息实现确定两两相机点之间的相对位置关系，并实现自动基于全景图语义拼接的方式生成更加符合真实情况且更为准确的户型图，有效地降低了人工拼接成本，提高了户型图的生成效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一示例性实施例提供的一种基于全景图语义拼接的户型图生成方法的流程示意图；

图2为示例性的户型图；

图3为示例性的视角范围；

图4为本申请一示例性实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一示例性实施例提供的一种基于全景图语义拼接的户型图生成方法的流程示意图。参见图1，该方法可以包括以下步骤：

101、获取房屋对象包含的多个空间对象对应的多张全景图。

102、对多张全景图分别进行特定交界线的检测，得到多个空间对象包含的特定交界线的位置信息。

103、检测多张全景图中包含的门体对象及其特征信息，并根据多张全景图中包含的门体对象的特征信息，识别出包含同一门体对象的全景图。

104、针对包含同一个门体对象的每两张全景图，根据同一门体对象在两张全景图中的位置信息，确定拍摄两张全景图的相机点之间的相对位置关系。

105、根据相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。

在本申请实施例中，房屋对象中包括至少一个空间对象，至少一个空间对象例如包括但不限于客厅、餐厅、厨房、卧室、阳台、卫生间、玄关，如图2所示；当然，房屋对象划分成多少个空间对象可以根据需求进行自定义设置。在实际应用中，不同房屋对象内部的空间对象规划可以有所不同，不同空间对象之间的连接方式也可以有所不同，例如部分空间对象(卧室和客厅)之间存在墙体且通过门进行连接，例如图2中的卧室和客厅之间存在墙体且通过门进行连接；而部分空间对象(客厅、餐厅)之间不存在墙体且通过开放空间连接，例如图2中的客厅和餐厅之间不存在墙体且通过开放空间进行连接。其中，对于通过墙体隔断同时通过门体对象连接的两个空间对象而言，可以通过墙体将其识别为两个空间对象，对于之间不存在墙体的两个空间对象而言，则还可以通过识别其中的矩形区域等任何可用方式识别其中包含的空间对象，当然在本申请实施例中，根据需求也可以不对不存在墙体而通过开放空间连接的空间进行进一步识别，对此本申请实施例不加以限定。例如，对于通过开放空间连接的客厅和餐厅而言，可以通过识别矩形区域等方式将其拆分为客厅和餐厅两个部分，或者也可以直接识别为一个整体，作为客餐厅，等等。

在本申请实施例中，多张全景图是在多个不同相机点分别对多个空间对象进行全景拍摄得到的。具体而言，任一空间对象的全景图可以是以该空间对象中的目标位置为相机点以任一拍摄方向以及大于实景图的拍摄视角，所获得的在相机点的在该拍摄方向上的2D图像。例如：以360°/720°全景相机在目标位置为相机点，在任一拍摄方向的拍摄视角，所获得的拍摄的目标位置在该拍摄方向上360°/720°的2D图像。任一空间对象的全景图也可以由多个空间对象的实景图通过拼接算法进行拼接获得，空间对象的每张实景图是以空间对象中的目标位置为相机点，以任一拍摄方向以及与标准视角相同或相近的有限的拍摄视角，所获得的在目标位置的在该拍摄方向上的2D图像。

在本申请实施例中，可以利用特定交界线检测模型对多张全景图分别进行特定交界线的检测，以得到多个空间对象包含的特定交界线的位置信息。特定交界线检测模型能够进行特定交界线检测的神经网络模型。其中，在训练特定交界线检测模型之前，准备大量的样本全景图，以及标注样本全景图中空间对象包含的特定交界线的位置信息，基于样本全景图及其标注结果进行对神经网络模型进行模型训练，得到特定交界线检测模型。其中，神经网络模型包括但并限于卷积神经网络(Convolutional Neural Networks，CNN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型、长短期记忆网络(Long Short-Term Memory，LSTM)模型。

在本申请实施例中，特定交界线可以是指空间对象中墙体与地面之间的交界线(也可以称之为墙角线)，也可以是指空间对象中墙体与天花板之间的交界线，但并不以此为限。

在本申请实施例中，每张全景图中至少包含一个门体对象，利用门体对象检测模型对多张全景图分别进行门体对象检测，以得到多张全景图各自包含的门体对象及门体对象的特征信息，基于多张全景图中包含的门体对象的特征信息，从多张全景图中识别出包含同一门体对象的全景图。其中，能够进行门体对象检测的门体对象检测模型是利用大量的包括门体对象的样本图像训练得到的神经网络模型。以图2为例，在拍摄客厅和主卧的全景图时，均能拍摄到主卧的门体对象，则客厅的全景图和主卧的全景图为包含同一门体对象的全景图。在拍摄客厅和次卧的全景图时，均能拍摄到次卧的门体对象，则客厅的全景图和次卧的全景图为包含同一门体对象的全景图。在拍摄客厅和餐厅的全景图时，均能拍摄到主卧或次卧的门体对象，则客厅的全景图和餐厅的全景图为包含同一门体对象的全景图。

在对房屋对象对应的多张全景图中识别出包含同一个门体对象的每两张全景图之后，根据同一门体对象在两张全景图中的位置信息，便可确定拍摄两张全景图的相机点之间的相对位置关系，该两两相机点之间的相对位置关系可以反映关联的两两空间对象包含的特定交界线之间的相对位置关系，于是根据两两相机点之间的相对位置关系可对关联的两两空间对象包含的特定交界线的位置信息进行拼接，进而得到房屋对象的平面户型图。

进一步可选的，为了使得平面户型图能够直观地体现房屋对象的门信息，根据相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图时，可以首先根据相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，生成房屋对象的初始平面户型图，初始平面户型图包括多个空间对象和多个空间对象之间的边界线；接着，根据同侧全景图中出现的同一门体对象的位置信息和异侧全景图中出现的同一门体对象的位置信息，在初始平面户型图中相应边界线上标记出各个门体对象，得到目标平面户型图。

值得注意的是，同侧全景图是包含同一门体对象且拍摄全景图的相机点位于同一门体对象同侧的多张全景图；异侧全景图是指包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的多张全景图。以图2为例进行说明，在拍摄餐厅的全景图时的相机点和客厅的全景图的相机点位于各个门体对象的同一侧，则餐厅的全景图和客厅的全景图为同侧全景图。在拍摄主卧的全景图时的相机点和客厅的全景图的相机点位于主卧的门体对象的两侧，则主卧的全景图和客厅的全景图为异侧全景图。

在本申请的一些实施例中，可以用反映两两相机坐标系之间的转换关系的变换矩阵来表征两两相机点之间的相对位置关系。其中，变换矩阵例如可以包括但不限于平移量、旋转角度等参数。

在本申请的一些实施例中，若每个空间对象对应一张全景图，拍摄不同全景图的相机点不同且每个相机点对应一个相机坐标系，则可以从拍摄多张全景图使用的相机坐标系中选择一个基准相机坐标系，结合相机点之间的相对位置关系，将多个空间对象包含的特定交界线的位置信息转换到基准相机坐标系下，根据在基准相机坐标系下多个空间对象包含的特定交界线的位置信息，将多个空间对象包含的特定交界线进行拼接，得到初始平面户型图。

进一步可选的，每个空间对象对应一张全景图，拍摄不同全景图的相机点不同且每个相机点对应一个相机坐标系，则根据相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，生成房屋对象的初始平面户型图的一种实施过程是：从拍摄多张全景图使用的相机坐标系中选择一个基准相机坐标系；根据基准相机坐标系和世界坐标系的变换矩阵，结合相机点之间的相对位置关系，将多个空间对象包含的特定交界线的位置信息转换到世界坐标系下；根据在世界坐标系下多个空间对象包含的特定交界线的位置信息，将多个空间对象包含的特定交界线进行拼接，得到初始平面户型图。

值得注意是，在世界坐标系下对多个空间对象包含的特定交界线进行拼接，可以得到更加能够反映真实情况的户型图。

本申请实施例提供的基于全景图语义拼接的户型图生成方法，首先获取房屋对象包含的多个空间对象对应的多张全景图，接着对多张全景图中进行特定交界线的检测和门体对象检测，根据检测出的门体对象的特征信息识别包含同一门体对象的全景图，以及根据同一门体对象在两张全景图中的位置信息确定两两相机点之间的相对位置关系，最后，基于相机点之间的相对位置关系便可对检测出的多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。由此，基于门体对象的视觉信息实现确定两两相机点之间的相对位置关系，并实现自动基于全景图语义拼接的方式生成更加符合真实情况更为准确的户型图，有效地降低了人工拼接成本，提高了户型图的生成效率。

在本申请的一些实施例中，根据多张全景图中包含的门体对象的特征信息，识别出包含同一门体对象的全景图的一种实施方式是：根据多张全景图包含的门体对象的特征信息，识别包含同一门体对象且拍摄全景图的相机点位于同一门体对象同侧的同侧全景图；根据多张全景图包含的门体对象的特征信息和拍摄每张全景图的相机的视角范围，识别包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图。

进一步可选的，根据多张全景图包含的门体对象的特征信息，识别包含同一门体对象且拍摄全景图的相机点位于同一门体对象同侧的同侧全景图的一种实施过程是：针对每两张全景图，计算两张全景图中包含的门体对象的特征信息的相似度，若该两张全景图中存在相似度大于第一相似度阈值的门体对象，则将两张全景图识别为包含同一门体对象且拍摄两张全景图的相机点在同一门体对象同侧的同侧全景图。

具体而言，第一相似度阈值根据实际情形进行设置，例如为0.98。若两张全景图中包含的门体对象中存在特征信息的相似度大于第一相似度阈值的门体对象，说明两张全景图为包含同一门体对象的同侧全景图。若两张全景图中包含的全部门体对象的特征信息的相似度均小于或等于第一相似度阈值，也就是说，两张全景图中不包含特征信息的相似度大于第一相似度阈值的门体对象，这说明两张全景图不是包含同一门体对象的同侧全景图。

值得说明的是，针对每两张全景图中第一全景图和第二全景图，若第一全景图中包括多个门体对象，可以依次遍历第一全景图中的多个门体对象，并计算当前遍历到的第一全景图中的门体对象的特征信息分别与第二全景图中各个门体对象的特征信息之间的相似度。若当前遍历到的第一全景图中的门体对象的特征信息与第二全景图中的一个门体对象的特征信息之间相似度大于第一相似度阈值，则可以停止遍历第一全景图中的多个门体对象，并确定第一全景图和第二全景图为包含同一门体对象的同侧全景图。若当前遍历到的第一全景图中的门体对象的特征信息与第二全景图中全部的门体对象的特征信息之间相似度小于或等于第一相似度阈值，则继续遍历第一全景图中的多个门体对象以及执行后续步骤。

或者，针对每两张全景图中第一全景图和第二全景图，也可以依次遍历第二全景图中的多个门体对象，并计算当前遍历到的第二全景图中的门体对象的特征信息分别与第一全景图中各个门体对象的特征信息之间的相似度。若当前遍历到的第二全景图中的门体对象的特征信息与第一全景图中的一个门体对象的特征信息之间相似度大于第一相似度阈值，则可以停止遍历第二全景图中的多个门体对象，并确定第一全景图和第二全景图为包含同一门体对象的同侧全景图。若当前遍历到的第二全景图中的门体对象的特征信息与第一全景图中全部的门体对象的特征信息之间相似度小于或等于第一相似度阈值，则继续遍历第二全景图中的多个门体对象以及执行后续步骤。

进一步可选的，为了提高每两张全景图中包含的门体对象的特征信息的相似度的计算准确度，可以预先训练一个门体对象匹配模型，利用该门体对象匹配模型来计算每两张全景图中包含的门体对象的特征信息的相似度。

进一步可选的，为了提高门体对象匹配模型的性能，可以首先获取训练数据集，训练数据集中包括多张样本门体对象图像；对多张样本门体对象图像分别进行全景拉伸、绕图像坐标系的纵轴旋转以及图像亮度调整中至少一种图像处理操作，得到图像处理后的多张样本门体对象图像，并将图像处理后的多张样本门体对象图像添加至训练数据集；利用添加后的训练数据集进行模型训练，得到门体对象匹配模型。

在本申请的一些实施例中，针对每两张全景图，计算两张全景图中包含的门体对象的特征信息的相似度的一种实施过程是：针对两张全景图中的第一全景图和第二全景图像，若第一全景图中包括至少一个第一门体对象，第二全景图中包括至少一个第二门体对象，则计算每个第一门体对象的特征信息与每个第二门体对象的特征信息之间的相似度；其中，在计算每个第一门体对象的特征信息与每个第二门体对象的特征信息之间的相似度时，将第一门体对象的图像和第二门体对象的图像输入至门体对象匹配模型中，以得到第一门体对象和第二门体对象之间的特征信息的相似度。

在本申请的一些实施例中，门体对象匹配模型包括特征提取层、通道注意力层和相似度计算层，将第一门体对象的图像和第二门体对象的图像输入至门体对象匹配模型中，以得到第一门体对象和第二门体对象之间的特征信息的相似度包括：利用特征提取层分别对第一门体对象的图像和第二门体对象的图像进行特征提取，以得到第一门体对象的特征信息和第二门体对象的特征信息；利用通道注意力层分别对第一门体对象的特征信息和第二门体对象的特征信息进行注意力机制处理，得到处理后的第一门体对象的特征信息和处理后的第二门体对象的特征信息；以及利用相似度计算层计算处理后的第一门体对象的特征信息和处理后的第二门体对象的特征信息之间特征距离，以及将特征距离作为第一门体对象和第二门体对象之间的特征信息的相似度。

值得注意的是，门体对象匹配模型中增设了能够注意力机制处理的通道注意力层，且门体对象匹配模型的训练数据经过了全景拉伸、绕图像坐标系的纵轴旋转以及图像亮度调整中至少一种图像处理操作的数据增强，使得门体对象匹配模型更加关注门体对象中重要的细节特征，抑制门体对象中不重要的细节特征，进而可以更加准确地计算门体对象之间的特征信息的相似度。

在本申请的一些实施例中，根据多张全景图包含的门体对象的特征信息和拍摄每张全景图的相机的视角范围，识别包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图的一种实施过程是：针对每两张全景图中的第一全景图和第二全景图，设置拍摄第一全景图的第一相机点的初始位置，根据第一全景图中包含的门体对象的位置信息和初始位置，确定在第一相机点拍摄第一全景图的第一相机在第一相机坐标系下的第一视角范围；在假定第一全景图和第二全景图包含同一门体对象的条件下，根据第一全景图中包含的门体对象的位置信息以及第二全景图中包含的门体对象的位置信息，将第一视角范围映射成第二相机坐标系下得到目标视角范围；第二相机坐标系是在第二相机点拍摄第二全景图的第二相机所在的相机坐标系；从第二全景图中截取位于目标视角范围内的目标图像，第二全景图中包含的门体对象至少部分出现在目标图像中；计算第一全景图中包含的门体对象的特征信息与目标图像的特征信息之间的相似度，若相似度大于第二相似度阈值，确定第一全景图和第二全景图属于包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图。

进一步可选的，根据第一全景图中包含的门体对象的位置信息以及第二全景图中包含的门体对象的位置信息，将第一视角范围映射成第二相机坐标系下得到目标视角范围的一种实现方式为：根据第一全景图中包含的门体对象的位置信息以及第二全景图中包含的门体对象的位置信息，确定第一相机坐标系和第二相机坐标系之间的变换矩阵；利用变换矩阵对第一视角范围进行变换，得到第一视角范围在第二相机坐标系下的目标视角范围。

为了便于理解，针对每两张全景图中的第一全景图和第二全景图，将拍摄第一全景图的相机称之为第一相机，将拍摄第一全景图的相机点称之为第一相机点，将拍摄第二全景图的相机称之为第二相机，将拍摄第二全景图的相机点称之为第二相机点。在特定交界线为墙角线的情况下，将门体对象靠近地面侧的下边沿上的两个端点分别称作为门点。或者，在特定交界线为墙体与天花板之间的交界线的情况下，将门体对象靠近天花板侧的上边沿上的两个端点分别称作为门点。

参见图3，假设第一相机点记为O1，第一相机点记为第一相机坐标系的原点，以及设置第一相机点的初始位置为(0，0，0)；将第一全景图包含的门体对象记为第一门体对象，第一门体对象的两个门点分别记为D1和D2，根据第一门体对象的门点D1和门点D2分别在第一全景图中的图像坐标并基于球面几何投影可以计算出门点D1和门点D2分别在第一相机坐标系下的坐标，假设门点D1在第一相机坐标系下的坐标为(x1，y1，z1)，门点D2在第一相机坐标系下的坐标为(x2，y2，z2)。根据第一相机点O1的初始位置(0，0，0)、门点D1的坐标(x1，y1，z1)可以确定射线O1D1的位置，根据第一相机点O1的初始位置(0，0，0)、门点D2的坐标(x2，y2，z2)可以确定射线O1D2的位置，进而根据射线O1D1的位置和射线O1D2的位置所界定出的区域范围即为第一相机在第一相机坐标系下的第一视角范围。

同样地，假设第二相机点记为O2，第二相机点记为第二相机坐标系的原点，以及设置第二相机点的初始位置为(0，0，0)；将第二全景图包含的门体对象记为第二门体对象，第二门体对象的两个门点分别记为D3和D4，根据第二门体对象的门点D3和门点D4分别在第二全景图中的图像坐标并基于球面几何投影可以计算出门点D3和门点D4分别在第二相机坐标系下的坐标，假设门点D3在第二相机坐标系下的坐标为(x3，y3，z3)，门点D4在第二相机坐标系下的坐标为(x4，y4，z4)。根据射线O2D3的位置和射线O2D4的位置所界定出的区域范围即为第二相机在第二相机坐标系下的视角范围。

在假定第一门体对象与第二门体对象为同一门体对象的情况下，第一门体对象上的门点在第一相机坐标系下的坐标以及第二门体对象上的对应门点在第二相机坐标系下的坐标理论上应该位置重合，但由于第一相机点与第二相机点的位置不重合，导致第一门体对象上的门点在第一相机坐标系下的坐标以及第二门体对象上的对应门点在第二相机坐标系下的坐标的位置不重合。基于此，根据第一门体对象上的门点在第一相机坐标系下的坐标以及第二门体对象上的对应门点在第二相机坐标系下的坐标可以计算出第一相机坐标系和第二相机坐标系之间的变换矩阵，利用该变换矩阵对第一门体对象上的门点的坐标进行变换，变换后的第一门体对象上的门点的坐标与第二门体对象上的对应门点的坐标的位置重合。

在计算出第一相机坐标系和第二相机坐标系之间的变换矩阵，利用变换矩阵对第一视角范围进行变换，得到第一视角范围在第二相机坐标系下的目标视角范围。具体而言，利用变换矩阵将射线O1D1在第一相机坐标系下的位置和射线O1D2在第一相机坐标系下的位置分别变换至射线O1D1在第二相机坐标系下的位置和射线O1D1在第二相机坐标系下的位置，射线O1D1在第二相机坐标系下的位置和射线O1D2在第二相机坐标系下的位置所界定出的区域范围即为第一视角范围在第二相机坐标系下的目标视角范围。

根据球面几何反投影原理，将射线O1D1在第二相机坐标系下的位置和射线O1D2在第二相机坐标系下的位置投影至第二全景图上，分别在第二全景图上形成与射线O1D1对应的曲线1和与射线O1D2对应的曲线2。对曲线1和曲线2界定的区域范围进行截图，得到目标视角范围内的目标图像。进一步可选的，在对曲线1和曲线2界定的区域范围进行截图时，确定包围曲线1和曲线2界定的区域范围的最小矩形框，将最小矩形框包围的图像作为目标视角范围内的目标图像。

对第一全景图中第一门体对象进行图像特征提取，得到第一门体对象的特征信息，并对目标图像进行图像特征提取，得到目标图像的特征信息；计算第一门体对象的特征信息和目标图像的特征信息之间的相似度，若第一门体对象的特征信息和目标图像的特征信息之间的相似度大于第二相似度阈值，则说明第一门体对象和第二门体对象同一门体对象，且第一全景图和第二全景图属于包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图；若第一门体对象的特征信息和目标图像的特征信息之间的相似度小于或等于第二相似度阈值，则说明第一门体对象和第二门体对象不是同一门体对象，则继续遍历第一全景图中的第一门体对象与第二全景图中的其他第二门体对象是否为同一门体对象，直至遍历完毕。值得说明的是，在第一全景图中包括多个门体对象和第二全景图中包括多个门体对象的情况下，需要依次遍历第一全景图中的门体对象是否与第二全景图中的门体对象是否相似，直至遍历到第一全景图中存在与第二全景图中的门体对象相似的门体对象，或者全部遍历完毕。

进一步可选的，若第一全景图中包括多个门体对象，在计算第一全景图中包含的门体对象的特征信息与目标图像的特征信息之间的相似度时，依次计算第一全景图中每个门体对象的特征信息与目标图像的特征信息之间的相似度。相应地，只有存在一个门体对象的特征信息与目标图像的特征信息之间的相似度大于第二相似度阈值，便可以确定第一全景图和第二全景图属于包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图。

进一步可选的，在计算第一全景图中每个门体对象的特征信息与目标图像的特征信息之间的相似度时，可以利用门体对象匹配模型进行计算。具体而言，门体对象匹配模型包括特征提取层、通道注意力层和相似度计算层，将第一全景图中每个门体对象的图像和目标图像输入至门体对象匹配模型中，利用特征提取层分别对该门体对象的图像和目标图像进行特征提取，以得到该门体对象的特征信息和目标图像的特征信息；利用通道注意力层分别对门体对象的特征信息和目标图像的特征信息进行注意力机制处理，得到处理后的门体对象的特征信息和处理后的目标图像的特征信息；以及利用相似度计算层计算处理后的门体对象的特征信息和处理后的目标图像的特征信息之间特征距离，以及将特征距离作为第一门体对象和目标图像之间的特征信息的相似度。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101至步骤103的执行主体可以为设备A；又比如，步骤101和102的执行主体可以为设备A，步骤103的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图4为本申请一示例性实施例提供的一种电子设备的结构示意图。如图4所示，该电子设备包括：存储器41和处理器42。

存储器41，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器41可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器42，与存储器41耦合，用于执行存储器41中的计算机程序，以用于：

获取房屋对象包含的多个空间对象对应的多张全景图，多张全景图是在多个不同相机点分别对多个空间对象进行全景拍摄得到的，且每张全景图中至少包含一个门体对象；对多张全景图分别进行特定交界线的检测，得到多个空间对象包含的特定交界线的位置信息；检测多张全景图中包含的门体对象及其特征信息，并根据多张全景图中包含的门体对象的特征信息，识别出包含同一门体对象的全景图；针对包含同一个门体对象的每两张全景图，根据同一门体对象在两张全景图中的位置信息，确定拍摄两张全景图的相机点之间的相对位置关系；根据相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。

进一步可选的，处理器42根据多张全景图中包含的门体对象的特征信息，识别出包含同一门体对象的全景图时，具体用于：

根据多张全景图包含的门体对象的特征信息，识别包含同一门体对象且拍摄全景图的相机点位于同一门体对象同侧的同侧全景图；

根据多张全景图包含的门体对象的特征信息和拍摄每张全景图的相机的视角范围，识别包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图。

进一步可选的，处理器42根据多张全景图包含的门体对象的特征信息，识别包含同一门体对象且拍摄全景图的相机点位于同一门体对象同侧的同侧全景图时，具体用于：针对每两张全景图，计算两张全景图中包含的门体对象的特征信息的相似度，若两张全景图中存在相似度大于第一相似度阈值的门体对象，则将两张全景图识别为包含同一门体对象且拍摄两张全景图的相机点在同一门体对象同侧的同侧全景图。

进一步可选的，处理器42针对每两张全景图，计算两张全景图中包含的门体对象的特征信息的相似度时，具体用于：针对两张全景图中的第一全景图和第二全景图像，若第一全景图中包括至少一个第一门体对象，第二全景图中包括至少一个第二门体对象，则计算每个第一门体对象的特征信息与每个第二门体对象的特征信息之间的相似度；其中，在计算每个第一门体对象的特征信息与每个第二门体对象的特征信息之间的相似度时，将第一门体对象的图像和第二门体对象的图像输入至门体对象匹配模型中，以得到第一门体对象和第二门体对象之间的特征信息的相似度。

进一步可选的，门体对象匹配模型包括特征提取层、通道注意力层和相似度计算层，处理器42将第一门体对象的图像和第二门体对象的图像输入至门体对象匹配模型中，以得到第一门体对象和第二门体对象之间的特征信息的相似度时，具体用于：

利用特征提取层分别对第一门体对象的图像和第二门体对象的图像进行特征提取，以得到第一门体对象的特征信息和第二门体对象的特征信息；利用通道注意力层分别对第一门体对象的特征信息和第二门体对象的特征信息进行注意力机制处理，得到处理后的第一门体对象的特征信息和处理后的第二门体对象的特征信息；以及利用相似度计算层计算处理后的第一门体对象的特征信息和处理后的第二门体对象的特征信息之间特征距离，以及将特征距离作为第一门体对象和第二门体对象之间的特征信息的相似度。

进一步可选的，处理器42训练门体对象匹配模型时，具体用于：

获取训练数据集，训练数据集中包括多张样本门体对象图像；对多张样本门体对象图像分别进行全景拉伸、绕图像坐标系的纵轴旋转以及图像亮度调整中至少一种图像处理操作，得到图像处理后的多张样本门体对象图像，并将图像处理后的多张样本门体对象图像添加至训练数据集；利用添加后的训练数据集进行模型训练，得到门体对象匹配模型。

进一步可选的，处理器42根据多张全景图包含的门体对象的特征信息和拍摄每张全景图的相机的视角范围，识别包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图时，具体用于：针对每两张全景图中的第一全景图和第二全景图，设置拍摄第一全景图的第一相机点的初始位置，根据第一全景图中包含的门体对象的位置信息和初始位置，确定在第一相机点拍摄第一全景图的第一相机在第一相机坐标系下的第一视角范围；在假定第一全景图和第二全景图包含同一门体对象的条件下，根据第一全景图中包含的门体对象的位置信息以及第二全景图中包含的门体对象的位置信息，将第一视角范围映射成第二相机坐标系下得到目标视角范围；第二相机坐标系是在第二相机点拍摄第二全景图的第二相机所在的相机坐标系；从第二全景图中截取位于目标视角范围内的目标图像，第二全景图中包含的门体对象至少部分出现在目标图像中；计算第一全景图中包含的门体对象的特征信息与目标图像的特征信息之间的相似度，若相似度大于第二相似度阈值，确定第一全景图和第二全景图属于包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图。

进一步可选的，处理器42根据第一全景图中包含的门体对象的位置信息以及第二全景图中包含的门体对象的位置信息，将第一视角范围映射成第二相机坐标系下得到目标视角范围时，具体用于：根据第一全景图中包含的门体对象的位置信息以及第二全景图中包含的门体对象的位置信息，确定第一相机坐标系和第二相机坐标系之间的变换矩阵；利用变换矩阵对第一视角范围进行变换，得到第一视角范围在第二相机坐标系下的目标视角范围。

进一步可选的，处理器42根据相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图时，具体用于：根据相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，生成房屋对象的初始平面户型图，初始平面户型图包括多个空间对象和多个空间对象之间的边界线；根据同侧全景图中出现的同一门体对象的位置信息和异侧全景图中出现的同一门体对象的位置信息，在初始平面户型图中相应边界线上标记出各个门体对象，得到目标平面户型图。

进一步可选的，每个空间对象对应一张全景图，拍摄不同全景图的相机点不同且每个相机点对应一个相机坐标系，则处理器42根据相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，生成房屋对象的初始平面户型图时，具体用于：从拍摄多张全景图使用的相机坐标系中选择一个基准相机坐标系；根据基准相机坐标系和世界坐标系的转换关系，结合相机点之间的相对位置关系，将多个空间对象包含的特定交界线的位置信息转换到世界坐标系下；根据在世界坐标系下多个空间对象包含的特定交界线的位置信息，将多个空间对象包含的特定交界线进行拼接，得到初始平面户型图。

进一步可选的，如图4所示，该电子设备还包括：通信组件43、显示器44、电源组件45、音频组件46等其它组件。图4中仅示意性给出部分组件，并不意味着电子设备只包括图4所示组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由电子设备执行的各步骤。

上述通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

上述显示器包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

上述电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

上述音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种基于全景图语义拼接的户型图生成方法，其特征在于，包括：

获取房屋对象包含的多个空间对象对应的多张全景图，所述多张全景图是在多个不同相机点分别对所述多个空间对象进行全景拍摄得到的，且每张全景图中至少包含一个门体对象；

对所述多张全景图分别进行特定交界线的检测，得到所述多个空间对象包含的特定交界线的位置信息；

检测所述多张全景图中包含的门体对象及其特征信息，并根据所述多张全景图中包含的门体对象的特征信息，识别出包含同一门体对象的全景图；

针对包含同一个门体对象的每两张全景图，根据所述同一门体对象在所述两张全景图中的位置信息，确定拍摄所述两张全景图的相机点之间的相对位置关系；

根据所述相机点之间的相对位置关系，对所述多个空间对象包含的特定交界线的位置信息进行拼接，得到所述房屋对象的平面户型图。

2.根据权利要求1所述的方法，其特征在于，根据所述多张全景图中包含的门体对象的特征信息，识别出包含同一门体对象的全景图，包括：

根据所述多张全景图包含的门体对象的特征信息，识别包含同一门体对象且拍摄全景图的相机点位于所述同一门体对象同侧的同侧全景图；

根据所述多张全景图包含的门体对象的特征信息和拍摄每张全景图的相机的视角范围，识别包含同一门体对象且拍摄全景图的相机点位于所述同一门体对象两侧的异侧全景图。

3.根据权利要求2所述的方法，其特征在于，根据所述多张全景图包含的门体对象的特征信息，识别包含同一门体对象且拍摄全景图的相机点位于所述同一门体对象同侧的同侧全景图，包括：

针对每两张全景图，计算所述两张全景图中包含的门体对象的特征信息的相似度，若所述两张全景图中存在所述相似度大于第一相似度阈值的门体对象，则将所述两张全景图识别为包含同一门体对象且拍摄所述两张全景图的相机点在所述同一门体对象同侧的同侧全景图。

4.根据权利要求3所述的方法，其特征在于，针对每两张全景图，计算所述两张全景图中包含的门体对象的特征信息的相似度，包括：

针对所述两张全景图中的第一全景图和第二全景图像，若所述第一全景图中包括至少一个第一门体对象，所述第二全景图中包括至少一个第二门体对象，则计算每个第一门体对象的特征信息与每个第二门体对象的特征信息之间的相似度；

其中，在计算每个第一门体对象的特征信息与每个第二门体对象的特征信息之间的相似度时，将所述第一门体对象的图像和所述第二门体对象的图像输入至门体对象匹配模型中，以得到所述第一门体对象和所述第二门体对象之间的特征信息的相似度。

5.根据权利要求4所述的方法，其特征在于，所述门体对象匹配模型包括特征提取层、通道注意力层和相似度计算层，将所述第一门体对象的图像和所述第二门体对象的图像输入至门体对象匹配模型中，以得到所述第一门体对象和所述第二门体对象之间的特征信息的相似度包括：

利用所述特征提取层分别对所述第一门体对象的图像和所述第二门体对象的图像进行特征提取，以得到所述第一门体对象的特征信息和所述第二门体对象的特征信息；

利用所述通道注意力层分别对所述第一门体对象的特征信息和所述第二门体对象的特征信息进行注意力机制处理，得到处理后的第一门体对象的特征信息和处理后的第二门体对象的特征信息；

以及利用所述相似度计算层计算处理后的第一门体对象的特征信息和处理后的第二门体对象的特征信息之间特征距离，以及将所述特征距离作为所述第一门体对象和所述第二门体对象之间的特征信息的相似度。

6.根据权利要求4所述的方法，其特征在于，所述门体对象匹配模型的训练方式是：

获取训练数据集，所述训练数据集中包括多张样本门体对象图像；

对所述多张样本门体对象图像分别进行全景拉伸、绕图像坐标系的纵轴旋转以及图像亮度调整中至少一种图像处理操作，得到图像处理后的多张样本门体对象图像，并将所述图像处理后的多张样本门体对象图像添加至所述训练数据集；

利用添加后的训练数据集进行模型训练，得到所述门体对象匹配模型。

7.根据权利要求2所述的方法，其特征在于，根据所述多张全景图包含的门体对象的特征信息和拍摄每张全景图的相机的视角范围，识别包含同一门体对象且拍摄全景图的相机点位于所述同一门体对象两侧的异侧全景图，包括：

针对每两张全景图中的第一全景图和第二全景图，设置拍摄所述第一全景图的第一相机点的初始位置，根据所述第一全景图中包含的门体对象的位置信息和所述初始位置，确定在所述第一相机点拍摄所述第一全景图的第一相机在第一相机坐标系下的第一视角范围；

在假定所述第一全景图和第二全景图包含同一门体对象的条件下，根据所述第一全景图中包含的门体对象的位置信息以及所述第二全景图中包含的门体对象的位置信息，将所述第一视角范围映射成第二相机坐标系下得到目标视角范围；所述第二相机坐标系是在第二相机点拍摄所述第二全景图的第二相机所在的相机坐标系；

从所述第二全景图中截取位于所述目标视角范围内的目标图像，所述第二全景图中包含的门体对象至少部分出现在所述目标图像中；

计算所述第一全景图中包含的门体对象的特征信息与所述目标图像的特征信息之间的相似度，若所述相似度大于第二相似度阈值，确定所述第一全景图和所述第二全景图属于包含同一门体对象且拍摄全景图的相机点位于所述同一门体对象两侧的异侧全景图。

8.根据权利要求7所述的方法，其特征在于，根据所述第一全景图中包含的门体对象的位置信息以及所述第二全景图中包含的门体对象的位置信息，将所述第一视角范围映射成第二相机坐标系下得到目标视角范围，包括：

根据所述第一全景图中包含的门体对象的位置信息以及所述第二全景图中包含的门体对象的位置信息，确定所述第一相机坐标系和所述第二相机坐标系之间的变换矩阵；

利用所述变换矩阵对所述第一视角范围进行变换，得到所述第一视角范围在所述第二相机坐标系下的目标视角范围。

9.根据权利要求2至7任一项所述的方法，其特征在于，根据所述相机点之间的相对位置关系，对所述多个空间对象包含的特定交界线的位置信息进行拼接，得到所述房屋对象的平面户型图，包括：

根据所述相机点之间的相对位置关系，对所述多个空间对象包含的特定交界线的位置信息进行拼接，生成所述房屋对象的初始平面户型图，所述初始平面户型图包括多个空间对象和多个空间对象之间的边界线；

根据同侧全景图中出现的同一门体对象的位置信息和异侧全景图中出现的同一门体对象的位置信息，在所述初始平面户型图中相应边界线上标记出各个门体对象，得到目标平面户型图。

10.根据权利要求9所述的方法，其特征在于，每个空间对象对应一张全景图，拍摄不同全景图的相机点不同且每个相机点对应一个相机坐标系，则根据所述相机点之间的相对位置关系，对所述多个空间对象包含的特定交界线的位置信息进行拼接，生成所述房屋对象的初始平面户型图，包括：

从拍摄所述多张全景图使用的相机坐标系中选择一个基准相机坐标系；

根据所述基准相机坐标系和世界坐标系的转换关系，结合所述相机点之间的相对位置关系，将所述多个空间对象包含的特定交界线的位置信息转换到所述世界坐标系下；

根据在所述世界坐标系下所述多个空间对象包含的特定交界线的位置信息，将所述多个空间对象包含的特定交界线进行拼接，得到所述初始平面户型图。

11.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器耦合至所述存储器，用于执行所述计算机程序以用于执行权利要求1-10任一项所述方法中的步骤。

12.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器实现权利要求1-10任一项所述方法中的步骤。

Images