CN114782646A

CN114782646A - 房屋模型的建模方法、装置、电子设备和可读存储介质

Info

Publication number: CN114782646A
Application number: CN202210423436.6A
Authority: CN
Inventors: 唐中樑
Original assignee: Beijing Youzhuju Network Technology Co Ltd
Current assignee: Beijing Youzhuju Network Technology Co Ltd
Priority date: 2022-04-21
Filing date: 2022-04-21
Publication date: 2022-07-22

Abstract

本申请公开了一种房屋模型的建模方法、装置、电子设备和可读存储介质，属于房屋模型建模技术领域。房屋模型的建模方法，包括：获取房屋的多张全景图像，多张全景图像之间包括共视区域；确定每张全景图像的深度信息和相机位姿信息；对相对应的深度信息和相机位姿信息进行一致性约束处理；根据多个一致性约束后的深度信息和相机位姿信息，构建房屋模型。

Description

房屋模型的建模方法、装置、电子设备和可读存储介质

技术领域

本申请属于房屋模型建模技术领域，具体涉及一种房屋模型的建模方法、房屋模型的建模装置、电子设备和可读存储介质。

背景技术

近些年来，随着深度相机精度的不断提高，基于深度相机的房屋建模方法越来越受到欢迎。现有技术中，均是通过相机拍摄房屋中部分控件的图像进行建模，建模质量受图像数量、图像拍摄手法、图像视场角等因素影响，导致建模质量较低。

发明内容

本申请实施例的目的是提供一种房屋模型的建模方法、装置、电子设备和可读存储介质，保证了建模得到的房屋模型具有良好的视觉一致性，进一步提高了对房屋建模的质量。

第一方面，本申请实施例提供了一种房屋模型的建模方法，包括：获取房屋的多张全景图像，多张全景图像之间包括共视区域；确定每张全景图像的深度信息和相机位姿信息；对相对应的深度信息和相机位姿信息进行一致性约束处理；根据多个一致性约束后的深度信息和相机位姿信息，构建房屋模型。

第二方面，本申请实施例提供了一种房屋模型的建模装置，包括：获取模块，用于获取房屋的多张全景图像，多张全景图像之间包括共视区域；确定模块，用于确定每张全景图像的深度信息和相机位姿信息；处理模块，用于对相对应的深度信息和相机位姿信息进行一致性约束处理；构建模块，还用于根据多个一致性约束后的深度信息和相机位姿信息，构建房屋模型。

第三方面，本申请实施例提供了一种电子设备，包括处理器，存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面的房屋模型的建模方法的步骤。

第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第一方面的房屋模型的建模方法的步骤。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的房屋模型的建模方法。

本申请中，通过相机采集房屋的多张全景图像，在多张全景图像中的每张全景图像均对应有具有共视区域的全景图像。获取多张全景图像的深度信息和相机位姿信息。

将对应的深度信息、相机位姿信息和全景图像作为一组建模数据，通过每组建模数据能够计算得到该组建模数据在世界坐标系中的三维点云，据此对房屋进行建模。

在获取深度信息和相机位姿信息过程中，将对应的深度信息和相机位姿信息相互作为彼此的约束条件，进行一致性约束。根据经过一致性约束的深度信息和相机位姿查找对应的三维点云进行建模时，能够保证建模得到的房屋模型具有良好的视觉一致性。

本申请通过利用房屋的全景图像中的深度信息和相机位姿信息，对房屋进行三维建模。并且在获取深度信息和相机位姿信息为满足一致性的深度信息和相机位姿信息，还保证了建模得到的房屋模型具有良好的视觉一致性，进一步提高了对房屋建模的质量。

附图说明

图1示出了本申请实施例提供的房屋模型的建模方法的流程示意图之一；

图2示出了本申请实施例提供的房屋模型的建模方法的流程示意图之二；

图3示出了本申请实施例提供的房屋模型的建模方法的流程示意图之三；

图4示出了本申请实施例提供的房屋模型的建模方法的流程示意图之四；

图5示出了本申请实施例提供的房屋模型的建模方法的流程示意图之五；

图6示出了本申请实施例提供的房屋模型的建模方法的流程示意图之六；

图7示出了本申请实施例提供的房屋模型的建模方法的流程示意图之七；

图8示出了本申请实施例提供的房屋模型的建模示意图；

图9示出了本申请实施例提供的房屋模型的建模装置的结构框图；

图10示出了本申请实施例提供的电子设备的结构框图；

图11示出了本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图1至图11，通过具体的实施例及其应用场景对本申请实施例提供的房屋模型的建模方法、房屋模型的建模装置、电子设备和可读存储介质进行详细地说明。

在本申请实施例提供了一种房屋模型的建模方法，图1示出了本申请实施例提供的房屋模型的建模方法的流程示意图之一，如图1所示，房屋模型的建模方法，包括：

步骤102，获取房屋的多张全景图像；

其中，多张全景图像之间包括共视区域。值得说明的是，共视区域为多张全景图中具有相同图像特征的区域。

步骤104，确定每张全景图像的深度信息和相机位姿信息；

其中，将全景图像转换为深度图像以得到全景图像的深度信息。

可选地，将全景图像对应的深度图像作为全景图像的深度信息。

步骤106，对相对应的深度信息和相机位姿信息进行一致性约束处理；

步骤108，根据多个一致性约束后的深度信息和相机位姿信息，构建房屋模型。

该实施例给出了根据采集到的房屋的多张全景图像对房屋进行三维建模的方案。

本申请实施例中，通过相机采集房屋的多张全景图像，在多张全景图像中的每张全景图像均对应有具有共视区域的全景图像。获取多张全景图像的深度信息和相机位姿信息。

在房屋建模的相关技术中，均是通过相机拍摄房屋中部分控件的图像进行建模，建模质量受图像数量、图像拍摄手法、图像视场角等因素影响，导致建模质量较低。

本申请实施例通过利用房屋的全景图像中的深度信息和相机位姿信息，对房屋进行三维建模。并且在获取深度信息和相机位姿信息为满足一致性的深度信息和相机位姿信息，还保证了建模得到的房屋模型具有良好的视觉一致性，进一步提高了对房屋建模的质量。

在本申请的一些实施例中，图2示出了本申请实施例提供的房屋模型的建模方法的流程示意图之二，如图2所示，对相对应的深度信息和相机位姿信息进行一致性约束处理，包括：

步骤202，根据至少两个深度信息确定至少两个第一点云；

步骤204，根据对应的至少两个相机位姿信息，将至少两个点云配置到第一坐标系内；

步骤206，根据至少两个点云的重叠区域，对至少两个深度信息和至少两个相机位姿信息进行一致性约束处理。

该实施例给了在获取全景图像的深度信息和相机位姿信息过程中进行一致性约束的方案。

本申请实施例中，一致性约束包括对深度信息和相机位姿信息进行处理的色彩一致性约束以及空间一致性约束。根据至少两个具有共视区域的全景图对应的深度信息，能够生成至少两个对应的第一点云。根据与至少两个第一点云对应的至少两个相机位姿信息，能够将至少两个点云配置到同一个第一坐标系内。根据至少两个第一点云的重叠区域，对第一点云进行约束，从而达到对深度信息和相机位姿信息的约束。

值得说明的是，第一点云为具有颜色的点云，故不仅约束了第一点云的控件一致性，还约束了第一点云的色彩一致性。

具体来说，一致性约束利用全景图像的共视区域的色彩空间一致性优化深度信息和相机位姿信息。

一致性约束包含色彩一致性约束和空间一致性约束。对于有共视区域的全景图像C1和C2，获取对应的深度信息D1和D2，以及对应的相机位姿信息T1和T2。首先根据全景相机投影模型，由全景图像C1和深度信息D1生成第一点云P1，由全景图像C2和深度信息D2生成第一点云P2。然后，通过相机位姿信息T1和T2将点云P1和P2转为同一空间坐标系下，对于两个点云P1和P2的重叠区域约束对应第一点云的位置和色彩差距。

本申请实施例中在获取到全景图像对应的深度信息和相机位姿信息之后，对两者进行一致性约束，从而得到进行一致性约束后的深度信息和相机位姿信息，通过一致性约束后的深度信息和相机位姿信息查找对应的三维点云，并据此进行房屋三维建模，能够保证建模得到的房屋模型具有良好的视觉一致性，进一步提高房屋模型的建模质量。

在本申请的一些实施例中，确定每张全景图像的深度信息，包括：将多张全景图像输入至第一模型，确定多个深度信息，多个深度信息与多张全景图像一一对应。

该实施例给出了通过神经网络确定全景图像对应的深度信息的方案。

本申请实施例中，第一模型为基于深度学习算法的深度估计模型。将带有颜色信息的全景图像作输入至第一模型中，第一模型能够输出全景图像对应的深度信息。

值得说明的是，第一模型能够利用多张全景图像之间的位姿信息T，约束具有共视区域全景图像对应的深度信息的一致性，进一步调整全景深度信息。其中，位姿信息T通过多张具有共视区域的全景图像的相机位姿信息确定。

本申请实施例基于深度学习的算法获取全景图的深度信息，提高了获取深度信息的准确性。

在本申请的一些实施例中，图3示出了本申请实施例提供的房屋模型的建模方法的流程示意图之三，如图3所示，确定每张全景图像的相机位姿信息，包括：

步骤302，根据共视区域，确定多张全景图像中每相邻两张全景图之间的相对位姿信息；

步骤304，根据相对位姿信息，确定每张全景图像的相机位姿信息。

该实施例给出了获取多张全景图像对应的相机位姿信息的方案。

本申请实施例中，将多张全景图像输入至第二模型中，第二模型能够根据相邻的两张全景图像之间的共视区域，获取相邻的两张全景图像之间的相对位姿信息。多张全景图像中的多个相对位姿信息，确定多张全景图像中每张全景图像的相机位姿信息。

值得说明的是，第二模型能够根据多张全景图像对应的多个深度信息，对多张全景图像的多个相机位姿信息进行一致性约束，从而进一步对多张全景图的相机位姿信息进行优化调整。

本申请实施例基于深度学习的算法获取全景图的相机位姿信息，提高了获取相机位姿信息的准确性。

在本申请的一些实施例中，图4示出了本申请实施例提供的房屋模型的建模方法的流程示意图之四，如图4所示，根据相对位姿信息，确定每张全景图像的相机位姿信息，包括：

步骤402，根据相对位姿信息，确定房屋的设定点位信息；

步骤404，根据设定点位信息和相对位姿信息，确定每张全景图像的相机位姿信息。

该实施例给出了根据多张全景图像之间的相对位姿信息，确定每张全景图像的相机位姿信息的方案。

本申请实施例中，根据相对位姿信息，能够确定多个全景图对应的房屋的设定点位信息，即房屋的在三维空间坐标系下的空间原点。基于空间原点和相对位姿信息，能够计算每张全景图像的相机位姿信息。

本申请实施例通过多张全景图像的相对位姿信息，从而确定房屋的空间原点，并据此计算每张全景图像的相机位姿信息，提高了每张全景图像的相机位姿信息的准确性，进一步提高了建模得到的房屋三维模型的准确性。

在本申请的一些实施例中，图5示出了本申请实施例提供的房屋模型的建模方法的流程示意图之五，如图5所示，根据多个一致性约束后的深度信息和相机位姿信息，构建房屋模型；

步骤502，根据多个一致性约束后的深度信息和相机位姿信息，确定多个第二点云；

其中，多个第二点云与多张全景图像一一对应；

步骤504，根据多个第二点云，构建房屋模型。

该实施例给出了根据一致性约束后的深度信息和相机位姿信息，对房屋进行三维建模的方案。

本申请实施例中，根据一致性约束后的深度信息和相机位姿信息，能够将深度信息中的像素点转化为第二点云，其中，第二点云为三维坐标系下的三维点云。通过将多张全景图像对应的多个深度信息中的每个像素点均转化为第二点云，通过第二点云能够对房屋模型进行构建。

具体来说，通过全景图的相机位姿信息能够确定当前全景的6dof(6个自由度)位姿。通过球面投影模型与当前全景6dof位姿能够将深度信息对应的全景深度图上的像素点转化为第二点云。第二点云中不仅包括该点云的位置信息，还包括该点云的颜色信息，根据第二点云能够准确构建房屋模型。

本申请实施例中，根据第二点云构建房屋模型，降低了建模过程中的建模噪声，避免了建模过程中产生畸变，进一步提高了建模得到的房屋模型的质量。

在本申请的一些实施例中，图6示出了本申请实施例提供的房屋模型的建模方法的流程示意图之六，如图6所示，根据多个第二点云，构建房屋模型，包括：

步骤602，根据预设体素尺寸，将每个第二点云离散化到体素空间中，以得到对应的体素的第一坐标；

其中，体素为体积元素，即三维空间中的最小单位。体素空间为包括多个体积元素的三维空间。

值得说明的是，第二点云包括位置信息、色彩信息和深度信息，根据预设的体素尺寸，即体素的体积参数，能够将第二点云配置到体素空间内。每个第二点云均对应一个体素，将多个第二点云均配置到体素空间内，能够得到该体素对应的第一坐标。

步骤604，根据多个第一坐标，确定多个体素的第一距离场值；

步骤606，根据多个第一距离场值，确定体素空间的第二距离场值；

步骤608，根据第二距离场值，查找到房屋模型的边界信息；

其中，边界信息包括房屋模型的顶点和边。

步骤610，根据边界信息，确定房屋模型。

该实施例给出了根据第二点云(三维点云)对房屋模型进行构建的方案。

本申请实施例中，通过将第二点云根据预设体素尺寸离散化到体素空间中，能够得到每个体素对应的第一坐标。其中，第一坐标、体素和第二点云一一对应。根据第一坐标能够计算到该体素的第一距离场值，第一距离差值为单个体素的阶段距离场值。通过每个体素的第一距离场值，能够计算得到整个体素空间的第二距离场值，第二距离场值为体素空间的截断距离场值。根据第二距离场值能够查找到可构成房屋模型的顶点与边，即边界信息，再根据边界信息对房屋模型进行建模。

具体来说，本申请基于三角网络模型进行建模。在确定体素空间的第二距离场值之后，通过Marching Cube(计算机图像算法)技术查找可构成三角网格的顶点与边,整理输出最终的三角网格模型，即房屋模型。其中，Marching cubes是一种计算机图形算法，用于把以网格形式表示的等值面进行三角网格化的过程。

在本申请实施例中，根据第二点云能够确定相对应的体素，并根据多个体素的第一距离场值确定整体的体素空间的第二距离场值，进而通过图像算法能够准确查询到可构成房屋模型的边界信息，并据此对房屋模型进行构建，保证了房屋模型构建的准确性。

在本申请的一些实施例中，图7示出了本申请实施例提供的房屋模型的建模方法的流程示意图之七，如图7所示，根据多个第一坐标，确定多个体素的第一距离场值，包括：

步骤702，将每个第一坐标投影至对应的全景图像中；

步骤704，确定与第一坐标对应的体素在全景图中的投影深度值和第二坐标；

其中，第一深度值为体素在全景图中的投影深度值，第二坐标为体素在全景图中的投影坐标；

步骤706，根据第二坐标，在深度信息中查找第二深度值；

步骤708，根据第一深度值和第二深度值，确定第一距离场值。

该实施例给出了根据体素的第一坐标确定该体素的第一距离场值的方案。

本申请实施例中，将每个体素的第一坐标投影至对应的全景图像中，能够得到该体素的投影深度值(第一深度值)和投影坐标(第二坐标)。其中，第二坐标为该体素在全景图像中的投影坐标点。根据第二坐标能够查找到与全景图像对应的深度图像(深度信息)中的第二深度值。通过将第一深度值与第二深度值进行比较深度值差异大小，能够确定该体素的截断距离场值，即第一距离场值。通过对多个体素执行相同操作，能够得到多个体素的第一距离场值，从而确定整体的体素空间的第二距离场值。

值得说明的是，在计算得到单个体素的第一距离场值之后，对该第一距离场值进行加权更新处理，从而提高该体素的第一距离场值的准确性。

本申请实施例中根据体素在体素空间中的三维坐标，确定该体素的第一距离场值的具体方案，保证了得到的体素空间与全景图之间的对应关系的精准度，从而进一步保证了建模得到的房屋模型的准确性。

在本申请的一些实施例中，根据多个一致性约束后的深度信息和相机位姿信息，构建房屋模型之后，还包括：获取房屋模型中的多个模型面片；查找多个面片在全景图中的纹理图像；通过纹理图像，对房屋模型进行贴图处理。

该实施例给出了在对房屋模型建模完成后，查找全景图中模型面片对应的纹理图像，并根据纹理图像对房屋模型进行贴图处理的方案。

本申请实施例中，在建模得到房屋模型之后，获取房屋模型中的多个模型面片。通过模型面片能够在对应的全景图像中查找到对应的纹理图像，并将查找到的纹理图像贴图到对应的模型面片上。

具体来说，全景图像为具有色彩信息的全景图像，为提高房屋模型的视觉效果，需要将房屋模型进行纹理贴图。根据模型面片的位置信息，能够准确查找到全景图中该模型面片的纹理贴图，通过全景图中的纹理贴图对房屋模型进行贴图处理。

本申请实施例通过在全景图像中查找对应的纹理图像，保证了贴图处理后的房屋模型中的纹理效果与采集到的全景图像中的纹理效果相符，保证了贴图后的房屋模型的视觉效果，从而提高了房屋模型的质量。

在本申请的一些实施例中，查找多个面片在全景图中的纹理图像，包括：根据每个模型面片在房屋模型中的位置，筛选多个全景图像中的目标全景图像，模型面片与目标全景图一一对应；将每个模型面片投影至对应目标全景图像中；获取每个模型面片在对应的目标全景图像中的定位信息；根据定位信息，确定每个模型面片对应的纹理图像。

该实施例给出了根据模型面片的位置信息，在全景图像中筛选对应的纹理图像的方案。

本申请实施例中，根据模型面片在房屋模型中的位置信息，能够对采集到的多张全景图像进行筛选，从而得到目标全景图。将多个模型面片均投影至目标全景图像中，以获取每个模型面片在目标全景图像中的定位信息。根据定位信息能够准确查找到该模型面片对应的纹理图像。

具体来说，将模型面片上每个顶点从三维坐标系映射到相机坐标系中。映射到相机坐标系中的目的是确定该模型面片对应的目标全景图像。计算模型面片投影到全景图像上的面积和角度信息，其中，面积和角度信息为定位信息，并将角度乘以投影面积作为模型面片在目标全景图像下的一种度量。

值得说明的是，由于每个模型面片可能被多个全景图像所共视，故需要进行一定剔除。这里利用遮挡关系对于一些置信度较低的全景图像进行剔除，以确定目标全景图像。尽管模型面片可能被多个全景图共视，为了保证贴图效果的一致性，每个模型面片只能选择一个最优的目标全景图像来提供相应的纹理信息。这里借助马尔科夫随机场来对房屋模型中所有模型面片进行贴图优化。即将纹理贴图选择问题，转化为马尔科夫随机场的贴标签优化问题。

本申请实施例中通过模型面片在房屋模型中的位置，确定该模型面片在目标全景图中的定位信息，并根据定位信息准确查找到目标全景图中的纹理图像，通过该纹理图像对房屋模型进行贴图处理，能够保证贴图效果的一致性。

在一种可能的实施方式中，图8示出了本申请实施例提供的房屋模型的建模示意图，如图8所示，将房屋的全景图像序列输入至深度估计模块和位姿估计模块，深度估计模块和位姿估计模块分别输出全景图深度和全景图空间位姿。将全景图深度和全景图控件位姿输入至基于全景图的点云融合和网格生成模块，以得到房屋模型，将房屋模型输入至基于全景图的贴图模块，对房屋模型进行贴图。

其中，深度估计模块为上述实施例中的第一模型，深度估计模块输出的全景图深度为全景图像对应的深度信息。位姿估计模块为上述实施例中的第二模型，位姿估计模块输出的全景图空间位姿为全景图像对应的相机位姿信息。

本申请实施例提供的房屋模型的建模方法，执行主体可以为房屋模型的建模装置。本申请实施例中以房屋模型的建模装置执行房屋模型的建模方法为例，说明本申请实施例提供的房屋模型的建模装置。

在本申请的一些实施例中提供了一种房屋模型的建模装置，图9示出了本申请实施例提供的房屋模型的建模装置的结构框图，如图9所示，房屋模型的建模装置900，房屋模型的建模装置900包括：

获取模块902，用于获取房屋的多张全景图像，多张全景图像之间包括共视区域；

确定模块904，用于确定每张全景图像的深度信息和相机位姿信息；

处理模块906，用于对相对应的深度信息和相机位姿信息进行一致性约束处理；

构建模块908，用于根据多个一致性约束后的深度信息和相机位姿信息，构建房屋模型。

在本申请的一些实施例中，确定模块904，还用于根据至少两个深度信息确定至少两个第一点云；

房屋模型的建模装置900包括：

第一配置模块，用于根据对应的至少两个相机位姿信息，将至少两个点云配置到第一坐标系内；

处理模块906，还用于根据至少两个点云的重叠区域，对至少两个深度信息和至少两个相机位姿信息进行一致性约束处理。

在本申请的一些实施例中，确定模块904，还用于将多张全景图像输入至第一模型，确定多个深度信息，多个深度信息与多张全景图像一一对应。

在本申请的一些实施例中，确定模块904，还用于根据共视区域，确定多张全景图像中每相邻两张全景图之间的相对位姿信息；

确定模块904，还用于根据相对位姿信息，确定每张全景图像的相机位姿信息。

在本申请的一些实施例中，确定模块904，还用于根据相对位姿信息，确定房屋的设定点位信息；

确定模块904，还用于根据设定点位信息和相对位姿信息，确定每张全景图像的相机位姿信息。

在本申请的一些实施例中，确定模块904，还用于根据多个一致性约束后的深度信息和相机位姿信息，确定多个第二点云，多个第二点云与多张全景图像一一对应；

构建模块908，还用于根据多个第二点云，构建房屋模型。

在本申请的一些实施例中，房屋模型的建模装置900包括：

第二配置模块，用于根据预设体素尺寸，将每个第二点云离散化到体素空间中，以得到对应的体素的第一坐标；

确定模块904，还用于根据多个第一坐标，确定多个体素的第一距离场值；

确定模块904，还用于根据多个第一距离场值，确定体素空间的第二距离场值；

查找模块，用于根据第二距离场值，查找到房屋模型的边界信息；

确定模块904，还用于根据边界信息，确定房屋模型。

在本申请的一些实施例中，房屋模型的建模装置900包括：

第三配置模块，用于将每个第一坐标投影至对应的全景图像中；

确定模块904，还用于确定与第一坐标对应的体素在全景图中的投影深度值和第二坐标；

确定模块904，还用于根据第二坐标，在深度信息中查找第二深度值；

确定模块904，还用于根据第一深度值和第二深度值，确定第一距离场值。

在本申请的一些实施例中，获取模块902，还用于获取房屋模型中的多个模型面片；

查找模块，还用于查找多个面片在全景图中的纹理图像；

处理模块906，还用于通过纹理图像，对房屋模型进行贴图处理。

在本申请的一些实施例中，房屋模型的建模装置900包括：

筛选模块，用于根据每个模型面片在房屋模型中的位置，筛选多个全景图像中的目标全景图像，模型面片与目标全景图一一对应；

第三配置模块，用于将每个模型面片投影至对应目标全景图像中；

获取模块902，还用于获取每个模型面片在对应的目标全景图像中的定位信息；

确定模块904，还用于根据定位信息，确定每个模型面片对应的纹理图像

本申请实施例中的房屋模型的建模装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的房屋模型的建模装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的房屋模型的建模装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，本申请实施例还提供一种电子设备，图10示出了根据本申请实施例的电子设备的结构框图，如图10所示，电子设备1000包括处理器1002和存储器1004，存储器1004上存储有可在处理器1002上运行的程序或指令，该程序或指令被处理器1002执行时实现上述方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图11为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109以及处理器1110等部件。

本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1110，用于获取房屋的多张全景图像，多张全景图像之间包括共视区域；

处理器1110，用于确定每张全景图像的深度信息和相机位姿信息；

处理器1110，用于对相对应的深度信息和相机位姿信息进行一致性约束处理；

处理器1110，用于根据多个一致性约束后的深度信息和相机位姿信息，构建房屋模型。

进一步地，处理器1110，用于根据至少两个深度信息确定至少两个第一点云；

处理器1110，用于根据对应的至少两个相机位姿信息，将至少两个点云配置到第一坐标系内；

处理器1110，用于根据至少两个点云的重叠区域，对至少两个深度信息和至少两个相机位姿信息进行一致性约束处理。

进一步地，处理器1110，用于将多张全景图像输入至第一模型，确定多个深度信息，多个深度信息与多张全景图像一一对应。

进一步地，处理器1110，用于根据共视区域，确定多张全景图像中每相邻两张全景图之间的相对位姿信息；

处理器1110，用于根据相对位姿信息，确定每张全景图像的相机位姿信息。

进一步地，处理器1110，用于根据相对位姿信息，确定房屋的设定点位信息；

处理器1110，用于根据设定点位信息和相对位姿信息，确定每张全景图像的相机位姿信息。

进一步地，处理器1110，用于根据多个一致性约束后的深度信息和相机位姿信息，确定多个第二点云，多个第二点云与多张全景图像一一对应；

处理器1110，用于根据多个第二点云，构建房屋模型。

进一步地，处理器1110，用于根据预设体素尺寸，将每个第二点云离散化到体素空间中，以得到对应的体素的第一坐标；

处理器1110，用于根据多个第一坐标，确定多个体素的第一距离场值；

处理器1110，用于根据多个第一距离场值，确定体素空间的第二距离场值；

处理器1110，用于根据第二距离场值，查找到房屋模型的边界信息；

处理器1110，用于根据边界信息，确定房屋模型。

进一步地，处理器1110，用于将每个第一坐标投影至对应的全景图像中；

处理器1110，用于确定与第一坐标对应的体素在全景图中的投影深度值和第二坐标；

处理器1110，用于根据第二坐标，在深度信息中查找第二深度值；

处理器1110，用于根据第一深度值和第二深度值，确定第一距离场值。

进一步地，处理器1110，用于获取房屋模型中的多个模型面片；

处理器1110，用于查找多个面片在全景图中的纹理图像；

处理器1110，用于通过纹理图像，对房屋模型进行贴图处理。

进一步地，处理器1110，用于根据每个模型面片在房屋模型中的位置，筛选多个全景图像中的目标全景图像，模型面片与目标全景图一一对应；

处理器1110，用于将每个模型面片投影至对应目标全景图像中；

处理器1110，用于获取每个模型面片在对应的目标全景图像中的定位信息；

处理器1110，用于根据定位信息，确定每个模型面片对应的纹理图像

本申请实施例中通过模型面片在房屋模型中的位置，确定该模型面片在目标全景图中的定位信息，并根据定位信息准确查找到目标全景图中的纹理图像，通过该纹理图像对房屋模型进行贴图处理，能够保证贴图效果的一致性应理解的是，本申请实施例中，输入单元1104可以包括图形处理器(Graphics Processing Unit，GPU)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072中的至少一种。触控面板11071，也称为触摸屏。触控面板11071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器1109可用于存储软件程序以及各种数据。存储器1109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1109可以包括易失性存储器或非易失性存储器，或者，存储器1109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1109包括但不限于这些和任意其它适合类型的存储器。

处理器1110可包括一个或多个处理单元；可选的，处理器1110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述房屋模型的建模方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述房屋模型的建模方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述房屋模型的建模方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims

1.一种房屋模型的建模方法，其特征在于，包括：

获取房屋的多张全景图像，所述多张全景图像之间包括共视区域；

确定每张所述全景图像的深度信息和相机位姿信息；

对相对应的所述深度信息和所述相机位姿信息进行一致性约束处理；

根据多个一致性约束后的所述深度信息和相机位姿信息，构建所述房屋模型。

2.根据权利要求1所述的房屋模型的建模方法，其特征在于，所述对相对应的所述深度信息和所述相机位姿信息进行一致性约束处理，包括：

根据至少两个所述深度信息确定至少两个第一点云；

根据对应的至少两个相机位姿信息，将所述至少两个点云配置到第一坐标系内；

根据所述至少两个点云的重叠区域，对至少两个所述深度信息和至少两个所述相机位姿信息进行一致性约束处理。

3.根据权利要求1所述的房屋模型的建模方法，其特征在于，所述确定每张所述全景图像的深度信息，包括：

将所述多张全景图像输入至第一模型，确定多个深度信息，所述多个深度信息与所述多张全景图像一一对应。

4.根据权利要求1所述的房屋模型的建模方法，其特征在于，所述确定每张所述全景图像的相机位姿信息，包括：

根据所述共视区域，确定所述多张全景图像中每相邻两张全景图之间的相对位姿信息；

根据所述相对位姿信息，确定每张所述全景图像的相机位姿信息。

5.根据权利要求4所述的房屋模型的建模方法，其特征在于，所述根据所述相对位姿信息，确定每张所述全景图像的相机位姿信息，包括：

根据所述相对位姿信息，确定所述房屋的设定点位信息；

根据所述设定点位信息和所述相对位姿信息，确定每张所述全景图像的相机位姿信息。

6.根据权利要求1至5中任一项所述的房屋模型的建模方法，其特征在于，所述根据多个一致性约束后的所述深度信息和相机位姿信息，构建所述房屋模型；

根据多个一致性约束后的所述深度信息和相机位姿信息，确定多个第二点云，所述多个第二点云与所述多张全景图像一一对应；

根据所述多个第二点云，构建所述房屋模型。

7.根据权利要求6所述的房屋模型的建模方法，其特征在于，所述根据所述多个第二点云，构建所述房屋模型，包括：

根据预设体素尺寸，将每个所述第二点云离散化到体素空间中，以得到对应的体素的第一坐标；

根据多个所述第一坐标，确定多个所述体素的第一距离场值；

根据多个所述第一距离场值，确定所述体素空间的第二距离场值；

根据所述第二距离场值，查找到所述房屋模型的边界信息，所述边界信息包括所述房屋模型的顶点和边；

根据所述边界信息，确定所述房屋模型。

8.根据权利要求7所述的房屋模型的建模方法，其特征在于，所述根据多个所述第一坐标，确定多个所述体素的第一距离场值，包括：

将每个所述第一坐标投影至对应的所述全景图像中；

确定与所述第一坐标对应的所述体素在所述全景图中的第一深度值和第二坐标，所述第一深度值为所述体素在所述全景图中的投影深度值，所述第二坐标为所述体素在所述全景图中的投影坐标；

根据所述第二坐标，在所述深度信息中查找第二深度值；

根据所述第一深度值和所述第二深度值，确定所述第一距离场值。

9.根据权利要求1至5中任一项所述的房屋模型的建模方法，其特征在于，所述根据多个一致性约束后的所述深度信息和相机位姿信息，构建所述房屋模型之后，还包括：

获取所述房屋模型中的多个模型面片；

查找所述多个面片在所述全景图中的纹理图像；

通过所述纹理图像，对所述房屋模型进行贴图处理。

10.根据权利要求9所述的房屋模型的建模方法，其特征在于，所述查找所述多个面片在所述全景图中的纹理图像，包括：

根据每个所述模型面片在所述房屋模型中的位置，筛选所述多个全景图像中的目标全景图像，所述模型面片与所述目标全景图像一一对应；

将每个所述模型面片投影至对应所述目标全景图像中；

获取每个所述模型面片在对应的所述目标全景图像中的定位信息；

根据所述定位信息，确定每个所述模型面片对应的纹理图像。

11.一种房屋模型的建模装置，其特征在于，应用于虚拟现实设备，包括：

获取模块，用于获取房屋的多张全景图像，所述多张全景图像之间包括共视区域；

确定模块，用于确定每张所述全景图像的深度信息和相机位姿信息；

处理模块，用于对相对应的所述深度信息和所述相机位姿信息进行一致性约束处理；

构建模块，还用于根据多个一致性约束后的所述深度信息和相机位姿信息，构建所述房屋模型。

12.一种电子设备，其特征在于，包括：

存储器，其上存储有程序或指令；

处理器，用于执行所述程序或指令时实现如权利要求1至10中任一项所述的房屋模型的建模方法的步骤。

13.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至10中任一项所述的房屋模型的建模方法的步骤。