CN114494486A - 户型图生成方法、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种户型图生成方法、设备及存储介质。在本申请实施例中，基于获取房屋对象包含的多个空间对象对应的多张全景图，对多张全景图中进行特定交界线的检测，得到多个空间对象包含的特定交界线的位置信息；以及基于多张全景图之间的特征相似度，确定相邻且连通度大于设定连通度阈值的空间对象所在的全景图组成的至少一个全景图对；利用预测模型依次预测拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系；根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。由此，提高了户型图生成的准确度和效率。

Description

户型图生成方法、设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种户型图生成方法、设备及存储介质。

背景技术

户型图是指能够展示房屋结构的图形，通过户型图能够对房屋内各个空间的功能、位置、大小等房屋空间布局信息有更为直观地了解。目前，主要是依靠人工现场量房，并基于量房数据手动绘制户型图。然而，人工手动绘制的户型图不够准确，且效率较低。

发明内容

本申请的多个方面提供一种户型图生成方法、设备及存储介质，用以提高了户型图生成的准确度和效率。

本申请实施例提供一种户型图生成方法，包括：获取房屋对象包含的多个空间对象对应的多张全景图，多张全景图是在多个不同相机点分别对多个空间对象进行全景拍摄得到的；对多张全景图分别进行特定交界线的检测，得到多个空间对象包含的特定交界线的位置信息；基于多张全景图之间的特征相似度，确定相邻且连通度大于设定连通度阈值的空间对象所在的全景图，形成至少一个全景图对；将至少一个全景图对分别输入预测模型进行位置关系预测，得到拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系；根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。

本申请实施例还提供一种电子设备，包括：存储器和处理器；处理器耦合至存储器，用于执行计算机程序以用于户型图生成方法中的步骤。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现户型图生成方法中的步骤。

在本申请实施例中，基于获取房屋对象包含的多个空间对象对应的多张全景图，对多张全景图中进行特定交界线的检测，得到多个空间对象包含的特定交界线的位置信息；以及基于多张全景图之间的特征相似度，确定相邻且连通度大于设定连通度阈值的空间对象所在的全景图组成的至少一个全景图对；利用预测模型依次预测拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系；根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。由此，实现了利用预测模型基于全景图的视觉特征更为准确地计算相机点之间的相对位置关系，进而自动生成更加符合真实情况且更为准确的户型图，有效地降低了人工拼接成本，提高了户型图的生成效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一示例性实施例提供的一种户型图生成方法的流程示意图；

图2为示例性的户型图；

图3为本申请一示例性实施例提供的另一种户型图生成方法的流程示意图；

图4为示例性的视角范围；

图5为本申请一示例性实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一示例性实施例提供的一种户型图生成方法的流程示意图。参见图1，该方法可以包括以下几个步骤：

101、获取房屋对象包含的多个空间对象对应的多张全景图，多张全景图是在多个不同相机点分别对多个空间对象进行全景拍摄得到的。

102、基于多张全景图之间的特征相似度，确定相邻且连通度大于设定连通度阈值的空间对象所在的全景图，形成至少一个全景图对。

103、将至少一个全景图对分别输入预测模型进行位置关系预测，得到拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系。

104、对多张全景图分别进行特定交界线的检测，得到多个空间对象包含的特定交界线的位置信息。

105、根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。

在本申请实施例中，房屋对象中包括至少一个空间对象，至少一个空间对象例如包括但不限于客厅、餐厅、厨房、卧室、阳台、卫生间、玄关，如图2所示；当然，房屋对象划分成多少个空间对象可以根据需求进行自定义设置。在实际应用中，不同房屋对象内部的空间对象规划可以有所不同，不同空间对象之间的连接方式也可以有所不同，例如部分空间对象(卧室和客厅)之间存在墙体且通过门进行连接，例如图2中的卧室和客厅之间存在墙体且通过门进行连接；而部分空间对象(客厅、餐厅)之间不存在墙体且通过开放空间连接，该开放空间可以使得空间对象之间自由通行，且开放空间中不存在任何分隔物，开放空间属于客厅或餐厅中的部分空间区域，而不是一个单独的空间对象。例如图2中的客厅和餐厅之间不存在墙体且通过开放空间进行连接。其中，对于通过墙体隔断同时通过门体对象连接的两个空间对象而言，可以通过墙体将其识别为两个空间对象，对于之间不存在墙体的两个空间对象而言，则还可以通过识别其中的矩形区域等任何可用方式识别其中包含的空间对象，当然在本申请实施例中，根据需求也可以不对不存在墙体而通过开放空间连接的空间进行进一步识别，对此本申请实施例不加以限定。例如，对于通过开放空间连接的客厅和餐厅而言，可以通过识别矩形区域等方式将其拆分为客厅和餐厅两个部分，或者也可以直接识别为一个整体，作为客餐厅，等等。

在本申请实施例中，多张全景图是在多个不同相机点分别对多个空间对象进行全景拍摄得到的。具体地，任一空间对象的全景图可以是以该空间对象中的目标位置为相机点以任一拍摄方向以及大于实景图的拍摄视角，所获得的在相机点的在该拍摄方向上的2D图像。例如：以360°/720°全景相机在目标位置为相机点，在任一拍摄方向的拍摄视角，所获得的拍摄的目标位置在该拍摄方向上360°/720°的2D图像。任一空间对象的全景图也可以由多个空间对象的实景图通过拼接算法进行拼接获得，空间对象的每张实景图是以空间对象中的目标位置为相机点，以任一拍摄方向以及与标准视角相同或相近的有限的拍摄视角，所获得的在目标位置的在该拍摄方向上的2D图像。

在本申请实施例中，可以利用特定交界线检测模型对多张全景图分别进行特定交界线的检测，以得到多个空间对象包含的特定交界线的位置信息。特定交界线检测模型是能够进行特定交界线检测的神经网络模型。其中，在训练特定交界线检测模型之前，准备大量的样本全景图，以及标注样本全景图中空间对象包含的特定交界线的位置信息，基于样本全景图及其标注结果进行对神经网络模型进行模型训练，得到特定交界线检测模型。其中，神经网络模型包括但并限于卷积神经网络(Convolutional Neural Networks，CNN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型、长短期记忆网络(Long Short-Term Memory，LSTM)模型。

在本申请实施例中，特定交界线可以是指空间对象中墙体与地面之间的交界线(也可以称之为墙角线)，也可以是指空间对象中墙体与天花板之间的交界线，但并不以此为限。

在本申请实施例中，可以采用连通度以及连通度阈值来定量分析空间对象之间是相对封闭的还是相对开放的。具体而言，对于相邻且连通度大于设定连通度阈值的空间对象，认为相邻的两个空间对象相对开放，例如，餐厅和客厅之间相对开放。对于相邻且连通度小于或等于设定连通度阈值的空间对象，则认为相邻的两个空间对象相对封闭，例如，客厅和卧室之间相对封闭。示例性地，若设定连通度阈值为0.5。若两个相邻的空间对象通过墙体隔断同时通过门体对象连接，则该两个相邻的空间对象的连通度为0，由于该两个相邻的空间对象的连通度小于0.5，认为该两个相邻的空间对象相互封闭。若两个相邻的空间对象之间不存在墙体但通过门体对象进行连接，该两个相邻的空间对象的连通度为0，由于该两个相邻的空间对象的连通度小于0.5，认为该两个相邻的空间对象相互封闭。若两个相邻的空间对象之间不存在墙体且通过开放空间进行连接，该两个相邻的空间对象的连通度为1，由于该两个相邻的空间对象的连通度大于0.5，认为该两个相邻的空间对象相互开放。若两个相邻的空间对象之间存在墙体但是仍然留有较大的开放空间，该两个相邻的空间对象的连通度为0.8，由于该两个相邻的空间对象的连通度大于0.5，认为该两个相邻的空间对象相互开放。若两个相邻的空间对象之间存在墙体但是留有较小的开放空间，该两个相邻的空间对象的连通度为0.3，由于该两个相邻的空间对象的连通度小于0.5，认为该两个相邻的空间对象相互封闭。

在本申请实施例中，若相邻的两个空间对象的连通度越高，则在其中一个空间对象拍摄到的全景图中出现另一个空间对象的可能性越高。连通度与特征相似度之间具体的对应关系可以根据需求进行自定义设置，对此本申请实施例不加以限定。基于此，可以通过全景图之间的特征相似度来寻找相对开放的空间对象所在的全景图。于是，在一可选实现方式中，基于多张全景图之间的特征相似度，确定相邻且连通度大于设定连通度阈值的空间对象所在的全景图，形成至少一个全景图对的一种实施过程是：针对多张全景图中任意两张全景图，根据两张全景图的全局特征信息，计算两张全景图之间的特征相似度；若两张全景图之间的特征相似度大于或等于第一相似度阈值，则确定两张全景图形成一个全景图对；其中，两张全景图之间的特征相似度表示两张全景图包含的空间对象的连通度，第一相似度阈值对应连通度阈值。其中，第一相似度阈值根据实际应用需求设置。

值得注意的是，针对任意两张全景图，对其中任一张全景图进行图像特征提取，得到任一张全景图的全局特征信息。若该两张全景图之间的特征相似度大于或等于第一相似度阈值，则两张全景图对应的两个空间对象之间相对开放的可能性较大，此时，将该两张全景图作为一个全景图对。

在本申请实施例中，在确定相邻且连通度大于设定连通度阈值的空间对象所关联的至少一个全景图对之后，可以依次将每个全景图对输入到预测模型进行位置关系预测，得到拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系。其中，预测模型基于全景图的视觉特征能够预测拍摄两张全景图的两个相机点之间的相对位置关系，关于预测模型的训练方式详见后文内容。

在本申请实施例中，拍摄两张全景图的相机点之间的相对位置关系可以反映关联的两两空间对象包含的特定交界线之间的相对位置关系，于是根据两两相机点之间的相对位置关系可对关联的两两空间对象包含的特定交界线的位置信息进行拼接，进而得到房屋对象的平面户型图。

在本申请的一些实施例中，可以用反映两两相机坐标系之间的转换关系的变换矩阵来表征两两相机点之间的相对位置关系。其中，变换矩阵例如可以包括但不限于平移量、旋转角度等参数。

在本申请的一些实施例中，若每个空间对象对应一张全景图，拍摄不同全景图的相机点不同且每个相机点对应一个相机坐标系，则可以从拍摄多张全景图使用的相机坐标系中选择一个基准相机坐标系，结合相机点之间的相对位置关系，将多个空间对象包含的特定交界线的位置信息转换到基准相机坐标系下，根据在基准相机坐标系下多个空间对象包含的特定交界线的位置信息，将多个空间对象包含的特定交界线进行拼接，得到房屋对象的平面户型图。

进一步可选的，每个空间对象对应一张全景图，拍摄不同全景图的相机点不同且每个相机点对应一个相机坐标系，则根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图的一种实施过程是：从拍摄多张全景图使用的相机坐标系中选择一个基准相机坐标系；根据基准相机坐标系和世界坐标系的变换矩阵，结合相机点之间的相对位置关系，将多个空间对象包含的特定交界线的位置信息转换到世界坐标系下；根据在世界坐标系下多个空间对象包含的特定交界线的位置信息，将多个空间对象包含的特定交界线进行拼接，得到房屋对象的平面户型图。

值得注意是，在世界坐标系下对多个空间对象包含的特定交界线进行拼接，可以得到更加能够反映真实情况的户型图。

在一可选实现方式中，房屋对象中相邻的空间对象的连通度均大于设定连通度阈值，此时，对多张全景图分别进行特定交界线的检测，得到多个空间对象包含的特定交界线的位置信息时，可以对每个全景图对中的两张全景图分别进行特定交界线的检测，得到相邻且连通度大于设定连通度阈值的空间对象包含的特定交界线的位置信息。相应地，根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图，包括：根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对相邻且连通度大于设定连通度阈值的空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。

另外，本申请实施例提供的方法可以依次按照步骤101、102、103、104、105的顺序执行，也可以依次按照步骤101、104、102、103、105的顺序执行，本申请实施例对此不做限制。

本申请实施例提供的户型图生成方法，基于获取房屋对象包含的多个空间对象对应的多张全景图，对多张全景图中进行特定交界线的检测，得到多个空间对象包含的特定交界线的位置信息；以及基于多张全景图之间的特征相似度，确定相邻且连通度大于设定连通度阈值的空间对象所在的全景图组成的至少一个全景图对；利用预测模型依次预测拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系；根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。由此，实现了利用预测模型基于全景图的视觉特征更为准确地计算相机点之间的相对位置关系，进而自动生成更加符合真实情况且更为准确的户型图，有效地降低了人工拼接成本，提高了户型图的生成效率。

在本申请的一些实施例中，为了提高位置关系预测准确度，预测模型至少包括特征提取层、融合层和空间变换网络层。特征提取层对整个全景图进行特征提取，得到全景图的全局特征信息。融合层对两张全景图的全局特征信息进行融合处理，得到融合特征。空间变换网络层处理融合特征便可得到拍摄两张全景图的两个相机点之间的相对位置关系。

于是，在一可选实现方式中，将至少一个全景图对分别输入预测模型进行位置关系预测，得到拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系的一种实施过程是：针对任一个全景图对，将全景图对中的两张全景图输入至预测模型中，利用预测模型中的特征提取层提取两张全景图各自的全局特征信息，将两张全景图的全局特征信息输入预测模型中的融合层进行融合处理，得到融合特征，利用预测模型中基于图像特征进行相机点相对位置关系学习的空间变换网络层处理融合特征，得到拍摄两张全景图的两个相机点之间的相对位置关系。

在预测模型的训练阶段，首先获取训练样本集，训练样本集包括多个样本，每个样本包括由相邻且连通度大于设定连通度阈值的空间对象所在的两张样本全景图以及该两张样本全景图对应的期望特定交界线信息；接着，利用训练样本集进行模型训练，直至模型损失函数满足设定结束条件时，得到训练出的预测模型。其中，预测模型的神经网络模型包括但并限于卷积神经网络(Convolutional Neural Networks，CNN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型、长短期记忆网络(Long Short-Term Memory，LSTM)模型。

在本实施例中，在利用每个样本对进行模型训练时，根据此次模型训练得到的该样本中两张样本全景图的全局特征信息，预测两张样本全景图中包含的特定交界线信息，并根据此次模型训练得到的拍摄该两张样本全景图的两个样本相机点之间的相对位置关系、该两张样本全景图中包含的特定交界线信息、以及该两张样本全景图对应的期望特定交界线信息计算此次模型训练的损失函数，并判断此次模型训练的损失函数是否满足设定的结束条件。其中，设定结束条件根据实际需求设置，例如损失函数小于预设数值时，结束模型训练。在损失函数不小于预设数值时，则更新预测模型的模型参数继续训练直至损失函数满足设定结束条件。

举例来说，两张样本全景图分别为样本全景图A和B。在计算每次模型训练的损失函数时，利用模型训练得到的两个样本相机点之间的相对位置关系对样本全景图A的特定交界线信息进行变换，得到变换后的样本全景图A的特定交界线信息；以及利用模型训练得到的两个样本相机点之间的相对位置关系对样本全景图B的特定交界线信息进行变换，得到变换后的样本全景图B的特定交界线信息。计算变换后的样本全景图A的特定交界线信息和样本全景图B的期望特定交界线信息之间的第一损失函数，计算变换后的样本全景图B的特定交界线信息和样本全景图A的期望特定交界线信息之间的第二损失函数，将第一损失函数和第二损失函数进行累加，判断累加的损失函数是否满足设定结束条件。其中，特定交界线信息可以包括特定交界线的像素值、在空间对象中的位置信息等任何与特定交界线相关的信息，对此本申请实施例不加以限定。其中，第一损失函数和第二损失函数是指根据特定交界线的像素值、在空间对象中的位置信息等信息的差值计算得到的损失函数。上述变换后的样本全景图A的特定交界线信息是指样本全景图A中的特定交界线信息被转换到拍摄样本全景图像B时对应的相机坐标系下的特定交界线信息；相应地，上述变换后的样本全景图B的特定交界线信息是指样本全景图B中的特定交界线信息被转换到拍摄样本全景图像A时对应的相机坐标系下的特定交界线信息。

实际应用中，存在房屋对象中任意两个相邻的空间对象都是相互开放的情况，针对这种情况，可以采用图1所示的方法生成该房屋对象的户型图。实际应用中，房屋对象中既有相邻且相互开放的空间对象，也有相邻且相对封闭的空间对象，针对这种情况，可以采用下图3所示的方法生成该房屋对象的平面户型图。

图3为本申请一示例性实施例提供的另一种户型图生成方法的流程示意图。参见图3，该方法可以包括以下几个步骤：

301、获取房屋对象包含的多个空间对象对应的多张全景图，多张全景图是在多个不同相机点分别对多个空间对象进行全景拍摄得到的。

302、对多张全景图分别进行特定交界线的检测，得到多个空间对象包含的特定交界线的位置信息。

303、基于多张全景图之间的特征相似度，确定相邻且连通度大于设定连通度阈值的空间对象所在的全景图，形成至少一个全景图对。

304、将至少一个全景图对分别输入预测模型进行位置关系预测，得到拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系。

305、根据多张全景图包含的门体对象的特征信息和拍摄每张全景图的相机的视角范围，识别包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图。

306、根据同一门体对象在异侧全景图中的位置信息，确定拍摄异侧全景图的相机点之间的相对位置关系。

307、根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，结合拍摄异侧全景图的相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。

关于步骤301至304等各步骤的具体实现方式可以参见前述实施例中的步骤101至105的具体实现方式，在此不再赘述。另外，可以先执行步骤303和304再执行步骤305和306，也可以先执行步骤305和306再执行步骤305和306，或者，步骤303和304与步骤305和306并行执行，对此，本申请实施例不做限制。

在本申请实施例中，可以利用门体对象检测模型对多张全景图分别进行门体对象检测，以得到多张全景图各自包含的门体对象及门体对象的特征信息，基于多张全景图中包含的门体对象的特征信息，从多张全景图中识别出包含同一门体对象的全景图。其中，能够进行门体对象检测的门体对象检测模型是利用大量的包括门体对象的样本图像训练得到的神经网络模型。以图2为例，在拍摄客厅和主卧的全景图时，均能拍摄到主卧的门体对象，则客厅的全景图和主卧的全景图为包含同一门体对象的全景图。在拍摄客厅和次卧的全景图时，均能拍摄到次卧的门体对象，则客厅的全景图和次卧的全景图为包含同一门体对象的全景图。在拍摄客厅和餐厅的全景图时，均能拍摄到主卧或次卧的门体对象，则客厅的全景图和餐厅的全景图为包含同一门体对象的全景图。

为了便于理解，将在包含同一门体对象且拍摄全景图的相机点位于同一门体对象同侧的多张全景图称之为同侧全景图。将包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的多张全景图称之为异侧全景图。以图2为例进行说明，在拍摄餐厅的全景图时的相机点和客厅的全景图的相机点位于各个门体对象的同一侧，则餐厅的全景图和客厅的全景图为同侧全景图。在拍摄主卧的全景图时的相机点和客厅的全景图的相机点位于主卧的门体对象的两侧，则主卧的全景图和客厅的全景图为异侧全景图。

实际应用中，相邻的两个空间对象相互开放情况下，在该两个空间对象拍摄到的全景图为同侧全景图。相邻的两个空间对象相互封闭情况下，在该两个空间对象拍摄到的全景图为异侧全景图。在本申请实施例中，针对相邻的两个空间对象相互开放的情况，采用预测模型识别两两相机点之间的相对位置关系。针对相邻的两个空间对象相互封闭的情况，则基于同一门体对象在异侧全景图中的位置信息确定相机点之间的相对位置关系。

在本申请的一些实施例中，根据多张全景图包含的门体对象的特征信息和拍摄每张全景图的相机的视角范围，识别包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图的一种实施过程是：针对每两张全景图中的第一全景图和第二全景图，设置拍摄第一全景图的第一相机点的初始位置，根据第一全景图中包含的门体对象的位置信息和初始位置，确定在第一相机点拍摄第一全景图的第一相机在第一相机坐标系下的第一视角范围；在假定第一全景图和第二全景图包含同一门体对象的条件下，根据第一全景图中包含的门体对象的位置信息以及第二全景图中包含的门体对象的位置信息，将第一视角范围映射成第二相机坐标系下得到目标视角范围；第二相机坐标系是在第二相机点拍摄第二全景图的第二相机所在的相机坐标系；从第二全景图中截取位于目标视角范围内的目标图像，第二全景图中包含的门体对象至少部分出现在目标图像中；计算第一全景图中包含的门体对象的特征信息与目标图像的特征信息之间的相似度，若相似度大于第二相似度阈值，确定第一全景图和第二全景图属于包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图。

进一步可选的，根据第一全景图中包含的门体对象的位置信息以及第二全景图中包含的门体对象的位置信息，将第一视角范围映射成第二相机坐标系下得到目标视角范围的一种实现方式为：根据第一全景图中包含的门体对象的位置信息以及第二全景图中包含的门体对象的位置信息，确定第一相机坐标系和第二相机坐标系之间的变换矩阵；利用变换矩阵对第一视角范围进行变换，得到第一视角范围在第二相机坐标系下的目标视角范围。

为了便于理解，针对每两张全景图中的第一全景图和第二全景图，将拍摄第一全景图的相机称之为第一相机，将拍摄第一全景图的相机点称之为第一相机点，将拍摄第二全景图的相机称之为第二相机，将拍摄第二全景图的相机点称之为第二相机点。在特定交界线为墙角线的情况下，将门体对象靠近地面侧的下边沿上的两个端点分别称作为门点。或者，在特定交界线为墙体与天花板之间的交界线的情况下，将门体对象靠近天花板侧的上边沿上的两个端点分别称作为门点。

参见图4，假设第一相机点记为O1，第一相机点记为第一相机坐标系的原点，以及设置第一相机点的初始位置为(0，0，0)；将第一全景图包含的门体对象记为第一门体对象，第一门体对象的两个门点分别记为D1和D2，根据第一门体对象的门点D1和门点D2分别在第一全景图中的图像坐标并基于球面几何投影可以计算出门点D1和门点D2分别在第一相机坐标系下的坐标，假设门点D1在第一相机坐标系下的坐标为(x1，y1，z1)，门点D2在第一相机坐标系下的坐标为(x2，y2，z2)。根据第一相机点O1的初始位置(0，0，0)、门点D1的坐标(x1，y1，z1)可以确定射线O1D1的位置，根据第一相机点O1的初始位置(0，0，0)、门点D2的坐标(x2，y2，z2)可以确定射线O1D2的位置，进而根据射线O1D1的位置和射线O1D2的位置所界定出的区域范围即为第一相机在第一相机坐标系下的第一视角范围。

同样地，假设第二相机点记为O2，第二相机点记为第二相机坐标系的原点，以及设置第二相机点的初始位置为(0，0，0)；将第二全景图包含的门体对象记为第二门体对象，第二门体对象的两个门点分别记为D3和D4，根据第二门体对象的门点D3和门点D4分别在第二全景图中的图像坐标并基于球面几何投影可以计算出门点D3和门点D4分别在第二相机坐标系下的坐标，假设门点D3在第二相机坐标系下的坐标为(x3，y3，z3)，门点D4在第二相机坐标系下的坐标为(x4，y4，z4)。根据射线O2D3的位置和射线O2D4的位置所界定出的区域范围即为第二相机在第二相机坐标系下的视角范围。

在假定第一门体对象与第二门体对象为同一门体对象的情况下，第一门体对象上的门点在第一相机坐标系下的坐标以及第二门体对象上的对应门点在第二相机坐标系下的坐标理论上应该位置重合，但由于第一相机点与第二相机点的位置不重合，导致第一门体对象上的门点在第一相机坐标系下的坐标以及第二门体对象上的对应门点在第二相机坐标系下的坐标的位置不重合。基于此，根据第一门体对象上的门点在第一相机坐标系下的坐标以及第二门体对象上的对应门点在第二相机坐标系下的坐标可以计算出第一相机坐标系和第二相机坐标系之间的变换矩阵，利用该变换矩阵对第一门体对象上的门点的坐标进行变换，变换后的第一门体对象上的门点的坐标与第二门体对象上的对应门点的坐标的位置重合。

在计算出第一相机坐标系和第二相机坐标系之间的变换矩阵，利用变换矩阵对第一视角范围进行变换，得到第一视角范围在第二相机坐标系下的目标视角范围。具体而言，利用变换矩阵将射线O1D1在第一相机坐标系下的位置和射线O1D2在第一相机坐标系下的位置分别变换至射线O1D1在第二相机坐标系下的位置和射线O1D1在第二相机坐标系下的位置，射线O1D1在第二相机坐标系下的位置和射线O1D2在第二相机坐标系下的位置所界定出的区域范围即为第一视角范围在第二相机坐标系下的目标视角范围。

根据球面几何反投影原理，将射线O1D1在第二相机坐标系下的位置和射线O1D2在第二相机坐标系下的位置投影至第二全景图上，分别在第二全景图上形成与射线O1D1对应的曲线1和与射线O1D2对应的曲线2。对曲线1和曲线2界定的区域范围进行截图，得到目标视角范围内的目标图像。进一步可选的，在对曲线1和曲线2界定的区域范围进行截图时，确定包围曲线1和曲线2界定的区域范围的最小矩形框，将最小矩形框包围的图像作为目标视角范围内的目标图像。

对第一全景图中第一门体对象进行图像特征提取，得到第一门体对象的特征信息，并对目标图像进行图像特征提取，得到目标图像的特征信息；计算第一门体对象的特征信息和目标图像的特征信息之间的相似度，若第一门体对象的特征信息和目标图像的特征信息之间的相似度大于第二相似度阈值，则说明第一门体对象和第二门体对象同一门体对象，且第一全景图和第二全景图属于包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图；若第一门体对象的特征信息和目标图像的特征信息之间的相似度小于或等于第二相似度阈值，则说明第一门体对象和第二门体对象不是同一门体对象，则继续遍历第一全景图中的第一门体对象与第二全景图中的其他第二门体对象是否为同一门体对象，直至遍历完毕。值得说明的是，在第一全景图中包括多个门体对象和第二全景图中包括多个门体对象的情况下，需要依次遍历第一全景图中的门体对象是否与第二全景图中的门体对象是否相似，直至遍历到第一全景图中存在与第二全景图中的门体对象相似的门体对象，或者全部遍历完毕。

进一步可选的，若第一全景图中包括多个门体对象，在计算第一全景图中包含的门体对象的特征信息与目标图像的特征信息之间的相似度时，依次计算第一全景图中每个门体对象的特征信息与目标图像的特征信息之间的相似度。相应地，只有存在一个门体对象的特征信息与目标图像的特征信息之间的相似度大于第二相似度阈值，便可以确定第一全景图和第二全景图属于包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图。

进一步可选的，在计算第一全景图中每个门体对象的特征信息与目标图像的特征信息之间的相似度时，可以利用门体对象匹配模型进行计算。具体而言，门体对象匹配模型包括特征提取层、通道注意力层和相似度计算层，将第一全景图中每个门体对象的图像和目标图像输入至门体对象匹配模型中，利用特征提取层分别对该门体对象的图像和目标图像进行特征提取，以得到该门体对象的特征信息和目标图像的特征信息；利用通道注意力层分别对门体对象的特征信息和目标图像的特征信息进行注意力机制处理，得到处理后的门体对象的特征信息和处理后的目标图像的特征信息；以及利用相似度计算层计算处理后的门体对象的特征信息和处理后的目标图像的特征信息之间特征距离，以及将特征距离作为第一门体对象和目标图像之间的特征信息的相似度。

进一步可选的，为了提高门体对象匹配模型的性能，在训练门体对象匹配模型是，可以首先获取训练数据集，训练数据集中包括多张样本门体对象图像；对多张样本门体对象图像分别进行全景拉伸、绕图像坐标系的纵轴旋转以及图像亮度调整中至少一种图像处理操作，得到图像处理后的多张样本门体对象图像，并将图像处理后的多张样本门体对象图像添加至训练数据集；利用添加后的训练数据集进行模型训练，得到门体对象匹配模型。

值得注意的是，门体对象匹配模型中增设了能够注意力机制处理的通道注意力层，且门体对象匹配模型的训练数据经过了全景拉伸、绕图像坐标系的纵轴旋转以及图像亮度调整中至少一种图像处理操作的数据增强，使得门体对象匹配模型更加关注门体对象中重要的细节特征，抑制门体对象中不重要的细节特征，进而可以更加准确地计算门体对象之间的特征信息的相似度。

在本申请实施例中，在基于预测模型得到相对开放空间对应的相机点之间的相对位置关系，以及拍摄异侧全景图的相机点之间的相对位置关系之后，便可以基于上述相机点之间的相对位置关系对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。

本申请实施例提供的户型图生成方法，针对房屋对象中既有相邻且相互开放的空间对象，也有相邻且相对封闭的空间对象的情况，可以利用预测模型基于全景图的视觉特征更为准确地计算相对开放空间对应的相机点之间的相对位置关系，以及基于门体对象的视觉信息实现确定相邻且相对封闭的空间对象对应的相机点之间的相对位置关系，进而实现自动生成更加符合真实情况且更为准确的户型图，有效地降低了人工拼接成本，提高了户型图的生成效率。

进一步可选的，为了使得平面户型图能够直观地体现房屋对象的门信息，还可以结合同侧全景图中出现的同一门体对象的位置信息和异侧全景图中出现的同一门体对象的位置信息在平面户型图上标记出各个门体对象。其中，异侧全景图的识别方式可以参见前述内容，在识别同侧全景图时，可以根据多张全景图包含的门体对象的特征信息，识别包含同一门体对象且拍摄全景图的相机点位于同一门体对象同侧的同侧全景图。具体而言，在识别同侧全景图时，针对每两张全景图，计算两张全景图中包含的门体对象的特征信息的相似度，若相似度大于第三相似度阈值，将两张全景图识别为包含同一门体对象且拍摄两张全景图的相机点在同一门体对象同侧的同侧全景图。其中，第三相似度阈值根据实际情形进行设置，例如为0.98。若两张全景图中包含的门体对象的特征信息的相似度大于第三相似度阈值，说明两张全景图为包含同一门体对象的同侧全景图。若两张全景图中包含的门体对象的特征信息的相似度小于或等于第三相似度阈值，说明两张全景图不是包含同一门体对象的同侧全景图。

值得说明的是，针对每两张全景图中第一全景图和第二全景图，若第一全景图中包括多个门体对象，可以依次遍历第一全景图中的多个门体对象，并计算当前遍历到的第一全景图中的门体对象的特征信息分别与第二全景图中各个门体对象的特征信息之间的相似度。若当前遍历到的第一全景图中的门体对象的特征信息与第二全景图中的一个门体对象的特征信息之间相似度大于第三相似度阈值，则可以停止遍历第一全景图中的多个门体对象，并确定第一全景图和第二全景图为包含同一门体对象的同侧全景图。若当前遍历到的第一全景图中的门体对象的特征信息与第二全景图中全部的门体对象的特征信息之间相似度小于或等于第三相似度阈值，则继续遍历第一全景图中的多个门体对象以及执行后续步骤。

于是，在一可选实现方式中，根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，结合拍摄异侧全景图的相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图的一种实现方式是：根据相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，生成房屋对象的初始平面户型图，初始户型图包括多个空间对象和多个空间对象之间的边界线；根据同侧全景图中出现的同一门体对象的位置信息和异侧全景图中出现的同一门体对象的位置信息，在初始户型图中相应边界线上标记出各个门体对象，得到目标平面户型图。

在本申请的一些实施例中，若每个空间对象对应一张全景图，拍摄不同全景图的相机点不同且每个相机点对应一个相机坐标系，则可以从拍摄多张全景图使用的相机坐标系中选择一个基准相机坐标系，结合相机点之间的相对位置关系，将多个空间对象包含的特定交界线的位置信息转换到基准相机坐标系下，根据在基准相机坐标系下多个空间对象包含的特定交界线的位置信息，将多个空间对象包含的特定交界线进行拼接，得到初始户型图。

进一步可选的，每个空间对象对应一张全景图，拍摄不同全景图的相机点不同且每个相机点对应一个相机坐标系，则根据相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，生成房屋对象的初始平面户型图的一种实施过程是：从拍摄多张全景图使用的相机坐标系中选择一个基准相机坐标系；根据基准相机坐标系和世界坐标系的变换矩阵，结合相机点之间的相对位置关系，将多个空间对象包含的特定交界线的位置信息转换到世界坐标系下；根据在世界坐标系下多个空间对象包含的特定交界线的位置信息，将多个空间对象包含的特定交界线进行拼接，得到初始户型图。值得注意是，在世界坐标系下对多个空间对象包含的特定交界线进行拼接，可以得到更加能够反映真实情况的户型图。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101至步骤403的执行主体可以为设备A；又比如，步骤101和102的执行主体可以为设备A，步骤103的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图5为本申请一示例性实施例提供的一种电子设备的结构示意图。如图5所示，该电子设备包括：存储器51和处理器52。

存储器51，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器51可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器52，与存储器51耦合，用于执行存储器51中的计算机程序，以用于：获取房屋对象包含的多个空间对象对应的多张全景图，多张全景图是在多个不同相机点分别对多个空间对象进行全景拍摄得到的；基于多张全景图之间的特征相似度，确定相邻且连通度大于设定连通度阈值的空间对象所在的全景图，形成至少一个全景图对；将至少一个全景图对分别输入预测模型进行位置关系预测，得到拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系；对多张全景图分别进行特定交界线的检测，得到多个空间对象包含的特定交界线的位置信息；根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。

进一步可选的，处理器52将至少一个全景图对分别输入预测模型进行位置关系预测，得到拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系时，具体用于：针对任一个全景图对，将全景图对中的两张全景图输入至预测模型中，利用预测模型中的特征提取层提取两张全景图各自的全局特征信息，将两张全景图的全局特征信息输入预测模型中的融合层进行融合处理，得到融合特征，利用预测模型中基于图像特征进行相机点相对位置关系学习的空间变换网络层处理融合特征，得到拍摄两张全景图的两个相机点之间的相对位置关系。

进一步可选的，处理器52，还用于：获取训练样本集，训练样本集包括多个样本，每个样本包括由相邻且连通度大于设定连通度阈值的空间对象所在的两张样本全景图以及该两张样本全景图对应的期望特定交界线信息；利用训练样本集进行模型训练，直至模型损失函数满足设定结束条件时，得到训练出的预测模型；其中，在利用每个样本对进行模型训练时，根据此次模型训练得到的该样本中两张样本全景图的全局特征信息，预测两张样本全景图中包含的特定交界线信息，并根据此次模型训练得到的拍摄该两张样本全景图的两个样本相机点之间的相对位置关系、该两张样本全景图中包含的特定交界线信息、以及该两张样本全景图对应的期望特定交界线信息计算此次模型训练的损失函数，并判断此次模型训练的损失函数是否满足设定的结束条件。

进一步可选的，处理器52基于多张全景图之间的特征相似度，确定相邻且连通度大于设定连通度阈值的空间对象所在的全景图，形成至少一个全景图对时，具体用于：针对多张全景图中任意两张全景图，根据两张全景图的全局特征信息，计算两张全景图之间的特征相似度；若两张全景图之间的特征相似度大于或等于第一相似度阈值，则确定两张全景图形成一个全景图对；其中，两张全景图之间的特征相似度表示两张全景图包含的空间对象的连通度，第一相似度阈值对应连通度阈值。

进一步可选的，处理器52还用于：根据多张全景图包含的门体对象的特征信息和拍摄每张全景图的相机的视角范围，识别包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图；根据同一门体对象在异侧全景图中的位置信息，确定拍摄异侧全景图的相机点之间的相对位置关系；相应地，处理器52根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图时，具体用于：根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，结合拍摄异侧全景图的相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。

进一步可选的，处理器52根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，结合拍摄异侧全景图的相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图时，具体用于：根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对出现在每个全景图对中的特定交界线的位置信息进行拼接，得到房屋对象的部分平面户型图；结合拍摄异侧全景图的相机点之间的相对位置关系，在部分平面户型图上添加多个空间对象包含的其余特定交界线的位置信息，得到房屋对象的完整平面户型图。

进一步可选的，处理器52根据多张全景图包含的门体对象的特征信息和拍摄每张全景图的相机的视角范围，识别包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图时，具体用于：针对每两张全景图中的第一全景图和第二全景图，设置拍摄第一全景图的第一相机点的初始位置，根据第一全景图中包含的门体对象的位置信息和初始位置，确定在第一相机点拍摄第一全景图的第一相机在第一相机坐标系下的第一视角范围；在假定第一全景图和第二全景图包含同一门体对象的条件下，根据第一全景图中包含的门体对象的位置信息以及第二全景图中包含的门体对象的位置信息，将第一视角范围映射成第二相机坐标系下得到目标视角范围；第二相机坐标系是在第二相机点拍摄第二全景图的第二相机所在的相机坐标系；从第二全景图中截取位于目标视角范围内的目标图像，第二全景图中包含的门体对象至少部分出现在目标图像中；计算第一全景图中包含的门体对象的特征信息与目标图像的特征信息之间的相似度，若相似度大于第二相似度阈值，确定第一全景图和第二全景图属于包含同一门体对象且拍摄全景图的相机点位于同一门体对象两侧的异侧全景图。

进一步可选的，处理器52根据第一全景图中包含的门体对象的位置信息以及第二全景图中包含的门体对象的位置信息，将第一视角范围映射成第二相机坐标系下得到目标视角范围时，具体用于：根据第一全景图中包含的门体对象的位置信息以及第二全景图中包含的门体对象的位置信息，确定第一相机坐标系和第二相机坐标系之间的变换矩阵；利用变换矩阵对第一视角范围进行变换，得到第一视角范围在第二相机坐标系下的目标视角范围。

进一步可选的，处理器52对多张全景图分别进行特定交界线的检测，得到多个空间对象包含的特定交界线的位置信息时，具体用于：对每个全景图对中的两张全景图分别进行特定交界线的检测，得到相邻且连通度大于设定连通度阈值的空间对象包含的特定交界线的位置信息；相应地，处理器52根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对多个空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图时，具体用于：根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对相邻且连通度大于设定连通度阈值的空间对象包含的特定交界线的位置信息进行拼接，得到房屋对象的平面户型图。进一步可选的，如图5所示，该电子设备还包括：通信组件53、显示器54、电源组件55、音频组件56等其它组件。图5中仅示意性给出部分组件，并不意味着电子设备只包括图5所示组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由电子设备执行的各步骤。

上述的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

上述的显示器包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

上述的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

上述的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种户型图生成方法，其特征在于，包括：

获取房屋对象包含的多个空间对象对应的多张全景图，所述多张全景图是在多个不同相机点分别对所述多个空间对象进行全景拍摄得到的；

基于所述多张全景图之间的特征相似度，确定相邻且连通度大于设定连通度阈值的空间对象所在的全景图，形成至少一个全景图对；

将所述至少一个全景图对分别输入预测模型进行位置关系预测，得到拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系；

对所述多张全景图分别进行特定交界线的检测，得到所述多个空间对象包含的特定交界线的位置信息；

根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对所述多个空间对象包含的特定交界线的位置信息进行拼接，得到所述房屋对象的平面户型图。

2.根据权利要求1所述的方法，其特征在于，将所述至少一个全景图对分别输入预测模型进行位置关系预测，得到拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，包括：

针对任一个全景图对，将所述全景图对中的两张全景图输入至预测模型中，利用所述预测模型中的特征提取层提取所述两张全景图各自的全局特征信息，将所述两张全景图的全局特征信息输入所述预测模型中的融合层进行融合处理，得到融合特征，利用所述预测模型中基于图像特征进行相机点相对位置关系学习的空间变换网络层处理所述融合特征，得到拍摄所述两张全景图的两个相机点之间的相对位置关系。

3.根据权利要求2所述的方法，其特征在于，还包括：

获取训练样本集，所述训练样本集包括多个样本，每个样本包括由相邻且连通度大于设定连通度阈值的空间对象所在的两张样本全景图以及该两张样本全景图对应的期望特定交界线信息；

利用所述训练样本集进行模型训练，直至模型损失函数满足设定结束条件时，得到训练出的预测模型；

其中，在利用每个样本对进行模型训练时，根据此次模型训练得到的该样本中两张样本全景图的全局特征信息，预测两张样本全景图中包含的特定交界线信息，并根据此次模型训练得到的拍摄该两张样本全景图的两个样本相机点之间的相对位置关系、该两张样本全景图中包含的特定交界线信息、以及该两张样本全景图对应的期望特定交界线信息计算此次模型训练的损失函数，并判断此次模型训练的损失函数是否满足设定的结束条件。

4.根据权利要求1所述的方法，其特征在于，基于所述多张全景图之间的特征相似度，确定相邻且连通度大于设定连通度阈值的空间对象所在的全景图，形成至少一个全景图对，包括：

针对所述多张全景图中任意两张全景图，根据所述两张全景图的全局特征信息，计算所述两张全景图之间的特征相似度；

若所述两张全景图之间的特征相似度大于或等于第一相似度阈值，则确定所述两张全景图形成一个全景图对；其中，所述两张全景图之间的特征相似度表示所述两张全景图包含的空间对象的连通度，所述第一相似度阈值对应所述连通度阈值。

5.根据权利要求1至4任一项所述的方法，其特征在于，还包括：

根据所述多张全景图包含的门体对象的特征信息和拍摄每张全景图的相机的视角范围，识别包含同一门体对象且拍摄全景图的相机点位于所述同一门体对象两侧的异侧全景图；

根据同一门体对象在异侧全景图中的位置信息，确定拍摄所述异侧全景图的相机点之间的相对位置关系；

相应地，根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对所述多个空间对象包含的特定交界线的位置信息进行拼接，得到所述房屋对象的平面户型图，包括：

根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，结合拍摄所述异侧全景图的相机点之间的相对位置关系，对所述多个空间对象包含的特定交界线的位置信息进行拼接，得到所述房屋对象的平面户型图。

6.根据权利要求5所述的方法，其特征在于，根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，结合拍摄所述异侧全景图的相机点之间的相对位置关系，对所述多个空间对象包含的特定交界线的位置信息进行拼接，得到所述房屋对象的平面户型图，包括：

根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对出现在每个全景图对中的特定交界线的位置信息进行拼接，得到所述房屋对象的部分平面户型图；

结合拍摄所述异侧全景图的相机点之间的相对位置关系，在所述部分平面户型图上添加所述多个空间对象包含的其余特定交界线的位置信息，得到所述房屋对象的完整平面户型图。

7.根据权利要求5所述的方法，其特征在于，根据所述多张全景图包含的门体对象的特征信息和拍摄每张全景图的相机的视角范围，识别包含同一门体对象且拍摄全景图的相机点位于所述同一门体对象两侧的异侧全景图，包括：

针对每两张全景图中的第一全景图和第二全景图，设置拍摄所述第一全景图的第一相机点的初始位置，根据所述第一全景图中包含的门体对象的位置信息和所述初始位置，确定在所述第一相机点拍摄所述第一全景图的第一相机在第一相机坐标系下的第一视角范围；

在假定所述第一全景图和第二全景图包含同一门体对象的条件下，根据所述第一全景图中包含的门体对象的位置信息以及所述第二全景图中包含的门体对象的位置信息，将所述第一视角范围映射成第二相机坐标系下得到目标视角范围；所述第二相机坐标系是在第二相机点拍摄所述第二全景图的第二相机所在的相机坐标系；

从所述第二全景图中截取位于所述目标视角范围内的目标图像，所述第二全景图中包含的门体对象至少部分出现在所述目标图像中；

计算所述第一全景图中包含的门体对象的特征信息与所述目标图像的特征信息之间的相似度，若所述相似度大于第二相似度阈值，确定所述第一全景图和所述第二全景图属于包含同一门体对象且拍摄全景图的相机点位于所述同一门体对象两侧的异侧全景图。

8.根据权利要求7所述的方法，其特征在于，根据所述第一全景图中包含的门体对象的位置信息以及所述第二全景图中包含的门体对象的位置信息，将所述第一视角范围映射成第二相机坐标系下得到目标视角范围，包括：

根据所述第一全景图中包含的门体对象的位置信息以及所述第二全景图中包含的门体对象的位置信息，确定所述第一相机坐标系和所述第二相机坐标系之间的变换矩阵；

利用所述变换矩阵对所述第一视角范围进行变换，得到所述第一视角范围在所述第二相机坐标系下的目标视角范围。

9.根据权利要求1-4任一项所述的方法，其特征在于，对所述多张全景图分别进行特定交界线的检测，得到所述多个空间对象包含的特定交界线的位置信息，包括：

对每个全景图对中的两张全景图分别进行特定交界线的检测，得到相邻且连通度大于设定连通度阈值的空间对象包含的特定交界线的位置信息；

相应地，根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对所述多个空间对象包含的特定交界线的位置信息进行拼接，得到所述房屋对象的平面户型图，包括：

根据拍摄每个全景图对中两张全景图的两个相机点之间的相对位置关系，对所述相邻且连通度大于设定连通度阈值的空间对象包含的特定交界线的位置信息进行拼接，得到所述房屋对象的平面户型图。

10.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器耦合至所述存储器，用于执行所述计算机程序以用于执行权利要求1-9任一项所述方法中的步骤。

11.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器实现权利要求1-9任一项所述方法中的步骤。

Images