CN113487723B

CN113487723B - 基于可量测全景三维模型的房屋在线展示方法及系统

Info

Publication number: CN113487723B
Application number: CN202110699231.6A
Authority: CN
Inventors: 赵鹏程; 陈江平; 胡庆武; 唐夏雨; 戴海鑫
Original assignee: Wuhan Weijing Yihua Technology Co ltd
Current assignee: Wuhan Weijing Yihua Technology Co ltd
Priority date: 2021-06-23
Filing date: 2021-06-23
Publication date: 2023-04-18
Anticipated expiration: 2041-06-23
Also published as: CN113487723A

Abstract

本发明公开了一种基于可量测全景三维模型的房屋在线展示方法及系统，包括接受客户端影像采集所得房屋各部分全景影像信息，并利用客户端将全景影像数据通过网络发送给服务器端；服务器端接收到房屋全景影像信息后，使用三维模型构建方式处理，生成可量测全景三维模型；房屋信息提供者自主输入房屋的其他信息，并上传至服务器数据库；服务器对接收到的房屋数据进行整理以及入库，方便客户端的查找；服务器根据客户端发送的请求，将房屋的可量测全景三维模型和其他相关信息发送至客户端进行展示。本发明对房屋的三维建模、将影像画面按照严格的几何关系融入到三维场景中，实现对房屋实况和尺寸参数的具体化展示，可以降低相关成本，提高效率。

Description

基于可量测全景三维模型的房屋在线展示方法及系统

技术领域

本发明属于全景三维可量测建模和房屋在线展示领域，提供基于可量测全景三维模型的房屋在线展示方法及系统。

背景技术

房屋实况信息的展示是销售房屋的必须步骤，为了保证房屋信息的真实性和有效性，通常需要购房或租房客户在房屋中介平台的引导下进行房屋的实地查看，以便获得房屋的真实情况并进行租购决策。随着我国现代化和城市化的发展，以往互联网平台对房屋简单的、粗略的，甚至虚假的信息展示已经不再能够满足市场的需要，使得房屋的租赁、买卖交易无法在线高效完成，阻碍了行业的发展，相应的增加了交易中的看房时间成本、交通成本，传统房屋展示技术手段不能如实反映建筑空间真实全貌。因此，一种能在线对房屋实况进行查看和展示的实用技术对行业的发展是有较高的市场意义的。

近年来，在线房屋信息三维全景展示系统已被许多大型房屋信息平台采用，显著提升了看屋的效率，降低了看屋成本。在此基础上，充分挖掘、拓展现有在线房屋信息三维全景展示系统的应用功能，将可量测全景三维在线看屋系统推广应用至中小型房屋中介及个体卖家，提高房屋三维信息的获取效率并降低房屋三维模型的获取成本，不但具有技术可行性，也将带来显著的市场效益，具有重要的推广价值。

发明内容

本发明满足现有技术不能解决的需求，提供了基于可量测全景三维模型的房屋在线展示方法及系统。

本发明提供的技术方案为一种基于可量测全景三维模型的房屋在线展示方法，包括以下步骤，

步骤一，接受客户端影像采集所得房屋各部分全景影像信息，并利用客户端将全景影像数据通过网络发送给服务器端；

步骤二，服务器端接收到房屋全景影像信息后，使用三维模型构建方式处理，生成可量测全景三维模型；

所述三维模型构建处理，首先利用全景图片生成三维模型，三维模型上的任何一点是有空间坐标的，显示时将全景图片与三维模型位置对应；每点击全景上的一个像素，就能对应到三维模型上的一个体素，也就对应一个坐标值，从而实现三维模型的可量测；

步骤三，房屋信息提供者自主输入房屋的其他信息，并上传至服务器数据库；

步骤四，服务器对接收到的房屋数据进行整理以及入库，方便客户端的查找；

步骤五，服务器根据客户端发送的请求，将房屋的可量测全景三维模型和其他相关信息发送至客户端进行展示。

而且，步骤一中，所述的全景影像信息获取，实现方式为，利用智能移动设备的全景摄像功能或全景摄像机对房屋进行360度全景影像数据采集。

而且，步骤三中，数据库使用mysql系统进行建立与管理，用于存储待展示的房屋房源信息，房源信息中包含房源的可量测全景三维模型以及用户自行输入的信息。

而且，步骤三中所述自主输入房屋的其他信息，包括房屋的价格、位置、周边环境和主管印象。

而且，步骤四中所述数据库整理，包括对房屋信息的关键信息提取并生成描述关键词。

而且，步骤五中，客户端发送的请求，包括关键词搜索和条件搜索。

另一方面，本发明还提供一种基于可量测全景三维模型的房屋在线展示系统，用于实现上述基于可量测全景三维模型的房屋在线展示方法。

而且，包括客户端、远端服务器和数据库，所述数据库中存储有海量的房屋房源信息，且房源信息包含所述房屋的三维模型；所述客户端与远端服务器通信连接，向远端服务器发送查询所述房屋的查询指令；所述远端服务器与数据库连接，根据接收到的查询指令查找与该查询指令相符的房屋，并将相符房屋的房源信息返回给客户端。

本发明为提供的一种利用全景影像数据进行实景可量测三维建模及实现在线看屋系统，设计合理、功能性强、使用方便，充分满足市场需求，具有如下积极效果：

1)本发明提供的一种可量测全景三维在线看屋系统及方法，能够基于获得的房屋三维影像对房屋进行实况可量测三维建模，从而可以选择不同角度、不同空间浏览房屋全貌，能够获得房屋准确的长度数据，让看房者或购房者能够获得房屋不少于实地看屋的详细真实信息，方便用户了解真实的房屋情况，增加了用户体验效果。

2)本发明的在线看屋特点减少了看房者或购房者要付出的时间成本和交通成本，提高了其了解房屋详细情况的积极性，提高了房屋的销售或出租概率。

3)本发明减少了房屋进行可量测全景三维模型构建的时间成本和人力成本、资源占用，不再需要专人使用专业设备定点采集房屋信息，转而使用消费级的手机相机等设备即可采集到满足要求的全景影像数据，拓宽了本系统的客户范围，具备更强的应用潜力。

附图说明

图1为本发明实施例的房屋全景数据采集及三维模型构建流程图。

图2为本发明实施例的在线看屋流程图。

具体实施方式

下面通过具体的实施例对本发明做进一步的详细描述。

参见图2，实施例一提供基于可量测全景三维模型的在线房屋展示方法，包括以下步骤：

步骤一，接受客户端通过影像采集所得的房屋各部分全景影像信息，并利用客户端将全景影像数据通过网络发送给服务器端。

所述的全景影像信息获取，建议的实现方式为，利用智能移动设备的全景摄像功能或全景摄像机对房屋进行360度全景影像数据采集。

优选的，所述智能移动设备或全景相机的分辨率不低于4K，采用全景镜头；采用手持的方式对房屋进行拍摄，求尽可能稳定，影像覆盖范围尽可能全面；全景视频采集帧率不低于25frame/second。

步骤二，服务器端接收到房屋全景影像信息后使用三维模型构建方式对其进行处理，生成可量测全景三维模型。

所述三维模型构建处理，首先利用全景图片生成了三维模型，三维模型上的任何一点是有空间坐标的，显示时将全景图片与三维模型位置对应起来。每点击全景上的一个像素，就能对应到三维模型上的一个体素，也就对应一个坐标值，从而实现三维模型的可量测。

通过基于全景影像与场景三维模型构建与融合，可以实现对房屋的三维建模、将影像画面按照严格的几何关系融入到三维场景中，实现对房屋实况和尺寸参数的具体自动化展示。

参见图1，实施例采用的优选三维模型构建生成方式包括以下步骤：

步骤1，输入房屋360度全景数据。

本步骤可以直接采用步骤一所得数据。具体实施时，可以利用由大众自身拍摄并上传的关于房屋全景数据的照片或者视频并上传。

步骤2，利用房屋360度全景数据生成房屋三维颜色点云。

2.1)首先，将360度全景视频流抽帧，建立出序列360度全景影像集。

具体实施时，全景视频抽帧间隔应该针对拍摄的稳定性设置，效果更佳。优选建议的实现方案如下：

①在视频较稳定时，设置5帧/秒的间隔抽取视频帧；②当拍摄过程有较大抖动时，设置3帧/秒的间隔抽取视频帧。

2.2)再将360度全景影像多视投影校正，得到序列多视影像。

具体方法为：

首先，采用等矩形投影球形全景模型，将原始输入的360度全景影像转换至三维全景球空间(关系式如式1和式2所示)；所述等矩形投影球形全景模型，是对全景影像三维球面模型和二维平面转换，建立三维球面、球面纹理和二维全景平面之间的转换关系；

式中，

为原始全景影像中像点坐标，

为对应点在三维全景球中的坐标，w为原始全景影像长度，h为原始全景影像宽度，θ_q为球坐标系中天顶角，

为球坐标系中方位角。

其次，通过一个边长与全景球直径相等的正方形包围全景球，将球面上的点映射到对应的立方体表面，得到6幅多视影像；

再次，将正方体旋转45°，将球面上的点再次映射到对应的立方体表面，得到另外6幅多视影像；

最后，从12幅多视影像中选取水平方向不少于6张、垂直方向不少于2张影像构成房屋序列多视影像。

2.3)然后进行房屋序列多视影像匹配和SFM重建，生成三维稀疏点云，包括以下操作：

首先对房屋序列多视影像采用SIFT特征算子提取特征点；

其次，利用支持线投票与和仿射不变约束的影像匹配方式对房屋多视影像进行匹配，得到房屋序列影像匹配点集；

再次，对房屋序列影像匹配点集通过SFM进行空中三角测量与稀疏点云生成，恢复每一帧全景影像的相机位姿，生成房屋三维稀疏点云。

2.4)根据三维稀疏点云，采用PMVS生成稠密三维点云，具体实现如下：

首先根据房屋三维稀疏点云，采用PMVS生成房屋稠密三维点云；

其次，基于房屋稠密三维点云，生成房屋不规则三角网Mesh；

最后，遍历房屋Mesh面片，计算法向量，搜索对应的多视影像中确定最合适的纹理块，映射到Mesh面片上，得到房屋具有真实感纹理的三维模型，包括房屋三维颜色点云及基于颜色点云构建的表面网格模型。

步骤3，房屋颜色点云规整化处理。

实施例的步骤3实现包括以下具体过程：

3.1)首先通过曲面拟合对点云进行平滑操作，实现对模型的削减或填补，减少模型变形。

3.2)其次，利用区域生长算法进行点云平面分割，寻找相似的点集并将其合并，分割得到不同的物体；

再利用迭代重权重最小二乘法进行平面点云拟合，并计算点云平面的法向量n；

3.3)墙面选择，垂直平面作为备选的墙面，再剔除垂直平面高度低于阈值的平面，之后得到满足条件的墙面。

实施例利用公式|n·v|<∈计算判断平面是否垂直。其中n为点云平面的法向量，v＝(0,0,1)T，∈为角度阈值的余弦值。当角度阈值为90°±1°，∈＝cos(90°±1°)。剔除垂直平面的高度h<1.5m的平面，之后得到满足条件的墙面。

步骤4，基于房屋点云生成房屋平面图合三维格网模型。

实施例的步骤4实现包括以下具体过程：

4.1)将点云垂直投影到水平面上，根据投影点密度进行直线拟合。

4.2)利用拟合的直线进行区域划分，用二维线段对二维平面空间的分割形成的多边形单元，利用空间划分算法，得到将空间划分的矢量多边形单元。将其拼接得到投影到2D平面的矢量线图层。

4.3)利用步骤4.2中生成的矢量房间平面图数据，使用高度直方图法，从点云中获取每个房间的地板和天花板高程信息，高程直方图的点云数目呈现为两个峰值，这两个高程值分别作为房间的地板和天花板的高程；利用Delaunay三角化方法将每个房间的天花板、墙面和地板多边形三角化，构建最终的房间三维模型。构建的房间三维模型以矢量Mesh网格形式输出。

优选地，基于房屋稠密三维点云，按照泊松重建算法，生成房屋不规则三角网Mesh。构建三角网后对Mesh面片进行纹理映射，映射时，采用图割理论进行面片纹理的一致性检查和颜色平滑度评价，并采用距离加权的方式进行颜色和亮度的过渡，消除相邻纹理块之间的接缝。

步骤5，房屋360全景、平面图和三维模型关联。

实施例的步骤5实现包括以下具体过程：

5.1)通过光束法解求摄影中心坐标，并将摄影中心投影到水平面上，在投影点位置设置标签。

5.2)以摄影中心点和对应标签位置为参照将房屋全景、平面图和三维模型统一到相同坐标系下。

以上流程可以实现低成本360度全景影像数据实景室内三维重建，能够用于通过建立实景室内三维模型进行房屋直观展示和基础数据获取。

步骤三，接受房屋信息提供者提供房屋的其他信息，如地理位置、价格、楼层等信息，将这些信息上传至服务器数据库。

房屋信息提供者可以为房屋中介、房主、物业等。数据库优选使用mysql系统进行建立与管理，用于存储待展示的房屋房源信息，房源信息中包含房源的可量测全景三维模型以及用户自述输入的信息。自主输入房屋的其他信息，包括房屋的价格、位置、周边环境、主管印象等。

步骤四，服务器对接收到的房屋数据进行整理以及入库，方便客户端的查找。

所述数据库整理，主要是包括对房屋信息的关键信息提取并生成描述关键词。

步骤五，服务器根据客户端发送的请求将房屋的可量测全景三维模型，并可以附带其他房屋讲解视频、房屋价格信息等，发送至客户端。

客户端发送的请求，包括关键词搜索和条件搜索。所述的关键词搜索，是指在搜索界面输入对房源信息描述的关键词，例如“武汉”、“一居室”等。所述的条件搜索，是指在搜索界面提供的条件选项中进行筛选条件调节，例如调整价格区间为“0—3000”。

本步骤的查询客户端，和步骤一的数据上传所用的客户端可以是不同用户使用的不同客户端。不同用户可以根据需求采用自己的智能移动设备实现相应操作：

通过影像采集获取房屋各部分的全景影像，并将其使用上传客户端通过网络传至服务器，在服务器使用三维模型构建方式对采集的全景影像数据进行处理，根据全景影像数据获得房屋的实景可量测三维模型，当接收到看屋请求指令时服务器将所需的房屋三维信息返回给请求客户端，从而实现可量测全景三维在线看屋。

所述可量测全景三维信息模型的展示方式，可以是通过用户的第一终端能够访问的网站，也可以是安装在第一终端上的目标应用程序(application，APP)，还可以是其他具有展示功能的设备。

实施例二提供一种基于可量测全景三维模型的房屋在线展示系统，用于实现上述可量测全景三维在线看屋系统展示方法。包括客户端、服务器端和数据库三个部分，多个客户端与服务器通信连接，例如多个客户端可以通过互联网与远程服务器连接，远程服务器可以访问与之连接的数据库。

具体实施时，如果数据库预先已经存储房屋三维模型，可以省略上传全景影像步骤及相应上传客户端。即：

所述数据库中存储有海量的房屋房源信息，且房源信息包含所述房屋的三维模型；所述客户端与远端服务器通信连接，向远端服务器发送查询所述房屋的查询指令；所述远端服务器与数据库连接，根据接收到的查询指令查找与该查询指令相符的房屋，并将相符房屋的房源信息返回给客户端。本发明实施例的数据库使用mysql系统进行建立与管理，用于存储待展示的房屋房源信息，房源信息中包含房源的可量测全景三维模型。房源展示方可以使用智能移动设备，如智能手机，拍摄房屋内部的全景影像，并将影像数据通过客户端上传到服务器，同时展示方可以选择自主输入房屋的信息描述。在服务器对数据进行处理并生成可量测全景三维模型后会将其保存至数据库。服务器会对上传至同一房屋的各种数据进行整合，这样便获得了该房屋的房源信息和三维模型。

本发明的网站框架可以采用流行的angular进行构建，基于移动设备的app可以采用ReactNative进行开发。后端则基于Node.JS开发平台。客户端基于可以接入互联网的智能移动设备和计算机平台，例如智能手机、平板电脑等；用户可以通过客户端访问服务器，服务器收到客户端发送的指令后，会根据接收到的指令查询数据库，并将查询结果返回给客户端。

前端地图使用在线的osm地图进行展示，房屋全景和三维模型则采用用threejs进行展示。可量测全景三维信息可以使用户在线观看房屋的结构、布局、室内装修设计、家具摆放以及具体长度尺寸等细节，用户还可以通过客户端的输入设备控制房屋展示图片的放大、缩小、旋转、漫游；所述的客户端输入设备包含可触控屏幕、键盘、鼠标等。

客户端包含基于数据库的搜索功能，用户通过搜索界面可以输入查询指令，例如武汉市、武汉大学、一居室这样的关键词，用户也可以通过条件筛选进行搜索，如价格区间等。输入查询指令后，客户端将查询指令发送给远端服务器，远端服务器根据查询指令进行查询并发送查询结果给客户端。

客户端收到查询结果可以以列表形式展示，每一房屋信息包含房源的价格、户型、位置、可量测全景三维模型等信息。用户可以在查询界面浏览感兴趣房屋，然后进一步了解房屋的三维模型信息，该三维模型真实展现了房屋的结构，用户可以通过对三维图像的放大、缩小、漫游、等观察房屋的细节。

本发明由于在房源信息中有可量测全景三维房源信息，所需素材均需要现场录制，因此可以从源头保证房源可靠性、真实性；本发明由于使用的是易获取的全景影像，因此可以拓宽客户群，方便中小型房屋中介和个体卖家房东的使用；服务器的三维模型构建模块接收发送来的全景影像数据并生成三维模型，并对信息进行保存和发布，房屋购买或租赁方通过客户端可以看到相应的房源信息，并在客户端完成在线看屋，大大降低了看屋的时间成本和交通成本，方便了房屋资源提供者的经营，提高了交易的效率。

目前，房产网站中通常仅展示出二手房源的基本信息，基本信息例如可以包括房源图片、周边配套及通勤以及核心卖点、户型、税费等房源详情，这些信息过于碎片化，客户无法获得对房屋直观、全面的视觉体验。这将导致客户无法直接根据房产网站展示的内容全面地了解感兴趣的二手房源，只能在实地看房时自行查看感兴趣的二手房源的质量信息，而自行查看时可能无法在一次看房过程中考虑全面，进而导致需要多次看房，延长了房产成交周期，增加了客户的看房成本以及经纪人的带看成本。本发明实施例中提供的一种可量测全景三维在线看屋系统，可以解决现有技术中存在的技术问题，通过智能化技术方案改善客户体验。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种基于可量测全景三维模型的房屋在线展示方法，其特征在于：基于客户端影像采集获得的房屋三维影像对房屋进行实况可量测三维建模，从而支持选择不同角度、不同空间浏览房屋全貌，获得房屋准确的长度数据，包括以下步骤，

三维模型构建处理实现方式包括以下步骤，

步骤1，输入房屋360度全景数据；

步骤2，利用房屋360度全景数据生成房屋三维颜色点云，实现方式如下，

2.1)将360度全景视频流抽帧，建立出序列360度全景影像集；

2.2)将360度全景影像多视投影校正，得到序列多视影像；

2.3)进行房屋序列多视影像匹配和SFM重建，生成三维稀疏点云；

2.4)根据三维稀疏点云，采用PMVS生成稠密三维点云；

步骤3，房屋颜色点云规整化处理，实现方式如下，

3.1)通过曲面拟合对点云进行平滑操作，实现对模型的削减或填补，减少模型变形；

3.2)利用区域生长算法进行点云平面分割，寻找相似的点集并合并，分割得到不同的物体；再进行平面点云拟合，并计算点云平面的法向量；

3.3)墙面选择，包括根据法向量判断垂直平面作为备选的墙面，再剔除垂直平面高度低于相应预设阈值的平面，得到满足条件的墙面；

步骤4，基于房屋点云生成房屋平面图合三维格网模型，实现方式如下，

4.1)将点云垂直投影到水平面上，根据投影点密度进行直线拟合；

4.2)利用拟合的直线进行区域划分，用二维线段对二维平面空间的分割形成的多边形单元，利用空间划分算法，得到将空间划分的矢量多边形单元，拼接得到投影到2D平面的矢量线图层；

4.3)利用步骤4.2中生成的矢量房间平面图数据，从点云中获取每个房间的地板和天花板高程信息；将每个房间的天花板、墙面和地板多边形三角化，构建最终的房间三维模型；

步骤5，房屋360全景、平面图和三维模型关联，实现方式如下，

5.1)通过光束法解求摄影中心坐标，并将摄影中心投影到水平面上，在投影点位置设置标签；

5.2)以摄影中心点和对应标签位置为参照将房屋全景、平面图和三维模型统一到相同坐标系下；

2.根据权利要求1所述的一种基于可量测全景三维模型的房屋在线展示方法，其特征在于：步骤一中，所述的全景影像信息获取，实现方式为，利用智能移动设备的全景摄像功能或全景摄像机对房屋进行360度全景影像数据采集。

3.根据权利要求1所述的一种基于可量测全景三维模型的房屋在线展示方法，其特征在于：步骤三中，数据库使用mysql系统进行建立与管理，用于存储待展示的房屋房源信息，房源信息中包含房源的可量测全景三维模型以及用户自行输入的信息。

4.根据权利要求1所述的一种基于可量测全景三维模型的房屋在线展示方法，其特征在于：步骤三中所述自主输入房屋的其他信息，包括房屋的价格、位置、周边环境和主管印象。

5.根据权利要求1所述的一种基于可量测全景三维模型的房屋在线展示方法，其特征在于：步骤四中所述数据库整理，包括对房屋信息的关键信息提取并生成描述关键词。

6.根据权利要求1或2或3或4或5所述的一种基于可量测全景三维模型的房屋在线展示方法，其特征在于：步骤五中，客户端发送的请求，包括关键词搜索和条件搜索。

7.一种基于可量测全景三维模型的房屋在线展示系统，其特征在于：用于实现如权利要求1至6的任一种基于可量测全景三维模型的房屋在线展示方法。

8.根据权利要求7所述的一种基于可量测全景三维模型的房屋在线展示系统，其特征在于：包括客户端、远端服务器和数据库，所述数据库中存储有海量的房屋房源信息，且房源信息包含所述房屋的三维模型；所述客户端与远端服务器通信连接，向远端服务器发送查询所述房屋的查询指令；所述远端服务器与数据库连接，根据接收到的查询指令查找与该查询指令相符的房屋，并将相符房屋的房源信息返回给客户端。