CN109598783A

CN109598783A - 一种房间3d建模方法及家具3d预览系统

Info

Publication number: CN109598783A
Application number: CN201811383195.7A
Authority: CN
Inventors: 秦大辉; 段云飞; 苏铭著; 程栋; 邵永波; 樊力彰
Original assignee: Southwest Petroleum University
Current assignee: Southwest Petroleum University
Priority date: 2018-11-20
Filing date: 2018-11-20
Publication date: 2019-04-09

Abstract

本发明提供本发明提供房间3D建模方法及家具3D预览系统，该供房间3D建模方法包括：拍摄室内照片、提取室内框架线、得到匹配直线集、相机参数解算和等步骤。该家具3D预览系统包括采用上述供房间3D建模方法构建的房间3D建模子系统、商品存储、搜索子系统、3D展示子系统。本发明的房间3D建模方法，不需要房屋户型图也不需要工作人员携带专业仪器上门，只需要用户利用普通的数码相机，按照一定的要求拍摄室内场景照片并上传，就可以准确重建房间三维模型，同时还能确定现有家具在房间内部的确切位置与姿态，最大限度还原室内家装的本来面貌。不仅节省了人力物力，还能做到保留现有房间家装，特别适合于户型有所改变或是希望对已有家装有所保留的二次装修。

Description

一种房间3D建模方法及家具3D预览系统

技术领域

本发明属于摄影测量领域，特别是将相机自标定技术与三维重建技术相结合实现房间3D建模方法及家具3D预览系统。

背景技术

传统的购买建材、家具等物品，需要用户前往家具市场一家一家的进行挑选，不仅费时费力，而且也无法直观的观察到家具摆放至家中后的实际效果。

随着电子商务的发展，网购家具也成了人们的一个选择，但是目前大多数网购平台，仅提供了商品的平面图片以及描述性信息，部分小件商品提供了视频描述。但是，这些仍然无法完美的解决家具与自身房屋以及已有家具的搭配问题，用户依然无法获知家具摆在家中到底会是怎样的效果。于是，也就出现了将二维房屋户型图转换为3D效果，并由用户自行添加3D家具模型的平台与软件。这种展示方式的出现，解决了用户无法直观感受房间装修效果的问题，用户不仅可以利用三维模型全方位的查看家装效果，还可以自由转换家具查看角度，从方方面面的了解家具构造。

这些家装网络服务平台与软件已经基本实现了将商品转换为3D模型，将二维户型图转换为房间三维模型，让用户自主的挑选、添加家具3D模型到房间三维模型中，并可以任意旋转模型调整观察角度。但是，现有平台与软件的房间三维重建大都是基于用户提供的房屋户型图完成的，而且重建后的房间三维模型仅仅只有房间框架而没有房间内部的装修，即使后期人工添加家具实体模型到房间三维模型内部，也无法确保其位置、姿态与现实中的相同。也就是说这些平台或软件仅适用于没有经过装修、户型没有改动的毛坯房。在二手房交易如此火爆的当下，有的老旧房屋已经难以找到户型图，或者是上一家住户已经对房屋户型做出了一定的改变，现有户型图已经无法准确体现房屋户型。

发明内容

本发明针对目前这些平台只能针对基于用户提供的房屋户型图实现房间三维重建，而不能针对经过装修、户型有改动房间进行三维重建，而提供一种房间3D建模方法，该方法可以利用房间照片对房间进行3D建模，同时提供一种利用这样做房间的3D模型的预览系统。

本发明的技术方案是：一种房间3D建模方法，包括以下步骤：

步骤1、拍摄室内照片的步骤；该步骤中拍摄的这一系列室内照片，保证包含完整室内场景，且任意两张照片之间存在70％以上的重叠度；

步骤2、提取室内框架线的步骤；该步骤中使用Hough变换直线提取算法提取出照片场景中清晰可见的室内框架线；

步骤3、得到匹配直线集的步骤；对框架线基于点线构成的仿射不变性与极线约束进行特征直线匹配，得到匹配直线集；

步骤4、相机参数解算的步骤；该步骤基于本质矩阵完成相机参数的解算，利用光束平差法对所有参数进行优化处理；

步骤5、基于面-面相交唯一确定空间一条直线，利用已完成匹配的直线与不同影像的光心构成的平面得到对应空间直线，从而重建出大部分室内线框模型，在线框模型的基础上，人工选取轮廓线，并人为的对其进行完善修补，从而构建室内外轮廓模型。

本发明根据目前基于用户提供的房屋户型图完成房间3D模型建模的不足，利用现场拍摄的房间内的照片进行房间3D模型建模。

进一步的，上述的房间3D模型建模方法中：

所述的步骤2中，获得匹配直线候选集是基于仿射变换模型对室内框架线在两幅照片间进行两两配准；使用SIFT算子完成特征点提取与匹配，计算特征直线左右两边垂直距离最短但不为零的特征点，以这两点为端点构成一条虚拟线段与特征直线相交，利用特征直线与虚拟直线构成交线所具有的仿射不变性找到在另一幅影像中与之匹配的直线，作为匹配直线候选集，对提取出的线段进行筛选，选出至少两张照片中都存在且清晰明显的框架线。

进一步的，上述的房间3D模型建模方法中：

所述的步骤3中：基于极线约束原来以及特征直线与虚拟直线间的夹角来确定最终直线匹配结果；计算一幅影像中每条直线的端点在其他影像中对应的极线，相应极线与匹配直线候选集中的直线的交点就是对应的直线段端点，从而确定参考直线与候选匹配直线的重叠部分；在确定了匹配候选直线段的重叠部分的基础上，根据特征直线与虚拟直线的端点坐标，可以求出各自的斜率K₁、K₂，即可求出这两条相交直线之间的夹角，判断不同影像中对应交线夹角的相似度，找到相似关系最高的候选直线作为匹配直线。

进一步的，上述的房间3D模型建模方法中：

所述的步骤4中，基于本质矩阵完成相机参数的解算包括：

步骤401、在图像的EXIF信息中提取的焦距、图像宽度，并采用以下公式将焦距也转换成以相素为单位；

f_p＝W_P×f_m/w_m

其中：f_p代表以像素为单位的焦距，W_P代表以像素为单位的图像宽度，f_m代表以mm为单位的焦距，w_m代表以mm为单位的图像宽度；

步骤402、采用的是针孔相机模型，给定的W×H的图像，根据EXIF提供的图像信息得到相应的相机内参数矩阵K为：

由上式得到图像的近似内参数，并对图像的匹配特征点坐标进行规范化处理，得到本质矩阵：

E＝K^TFK

式中F为8点算法得到基础矩阵、K为相机内参数矩阵、E为本质矩阵；

步骤403、获得相机旋转矩阵R和平移矩阵t；

本质矩阵与相机内参数的关系如下公式：

E＝R[R^Tt]_x：

步骤404、得到两幅图像的投影矩阵P＝(I，0)，P＝(R，t)。

在得到相机内外参数K，R，t以及匹配点坐标后，可以根据三角化原理，即匹配点的反投影线与两个相机的基线构成一个三角形，这个三角形的顶点是两个相机的光心和两条反投影线的交点，这个交点就是我们需要确定的空间点；计算出每个匹配点对应的空间点三维坐标，从而建立图像两两之间的初始结构。

进一步的，上述的房间3D模型建模方法中：还包括：优化相机内外参数以及所有物点的世界坐标的步骤；

其中,为第i幅图的投影矩阵的估计,为第j个物点的世界坐标的估计值,；为第j个物点在第i幅图上的像点坐标。d(x，y)为两个向量间的欧式距离。

本发明还提供一种家具3D预览系统，包括房间3D建模子系统，商品存储、搜索子系统，3D展示子系统；

所述的房间3D建模子系统采用权利要求1至5所述的房间3D模型建模方法构建；

用户从商品存储、搜索子系统中自行挑选、添加家具实体模型至房间3D模型中，3D展示子系统是基于WebGL技术使用户可以直接在浏览器上查看装修效果。

进一步的，上述的家具3D预览系统中：所述的商品存储、搜索子系统还包括存储直接从互联网上获取各类家具实体模型数据信息的模型库，所述的模型库中包括对各类家具实体模型数据信息进行分类管理的模块和期对模型库进行更新以确保其准确性与完整性的模块。

与现有技术相比，本发明的有益效果是：

(1)本发明提供的房间三维建模功能模块，不需要房屋户型图也不需要工作人员携带专业仪器上门，只需要用户利用普通的数码相机，按照一定的要求拍摄室内场景照片并上传，就可以准确重建房间三维模型，同时还能确定现有家具在房间内部的确切位置与姿态，最大限度还原室内家装的本来面貌。不仅节省了人力物力，还能做到保留现有房间家装，特别适合于户型有所改变或是希望对已有家装有所保留的二次装修。同时，本文采用的基于直线的三维重建方法也更适用于这种特征点较少的室内场景，重建后的模型也不是复杂的点云模型，而是轮廓特征更明显的线组模型。

(2)本发明提供的家具实体模型库，省去了在建立实体三维模型时，从简单的三维线条模型到具有纹理真实感的三维实体模型这个过程中的大量渲染工作，直接从网络上获取相应家具实体模型以及相关描述信息，在还原房间内部三维模型时，直接从该库中挑选相应实体模型放入即可，省去了重复建模的麻烦，减少了工作量。

(3)本发明提供的商品存储、搜索子系统与3D展示子系统，用户可以自由旋转商品三维模型，全方位的直观的了解商品结构，通过材质渲染与描述性字段来了解商品材质。挑选到心仪的商品后可以很简单的添加到已经建立好的还原的房间三维模型中，自由的选择放置的位置与姿态，自由的调整视角对房间整体效果进行查看。用户的参与感、互动性更强，在查看方式上也更加直观、立体。

下面结合附图和具体实施方式对本发明进行进一步的说明。

附图说明

附图1为本发明房间3D模型建模方法流程图。

附图2为本发明的家具3D预览系统组织图。

具体实施方式

本实施例提供一种针对已装修过的房屋进行二次装修房间3D预览系统，如图2所示，包括室内三维建模子系统，商品存储、搜索子系统，3D展示子系统；其中，室内三维建模子系统包含有房间三维建模功能模块和家具实体模型库，所述房间三维建模功能模块，就是利用未标定的影像进行室内三维重建。该系统通过以下步骤实现：

首先是进行房间3D模型建模，如图1所示

⑴、用户使用普通数码相机进行拍摄，拍摄的这一系列图像要包含完整室内场景，且两两图像之间存在70％以上的重叠度。

使用Hough变换直线提取算法提取出场景中清晰可见的室内框架线，例如墙与墙、墙与地面的交界线，以及家具轮廓线，经过人工对提取出的线段进行筛选，保留较为清晰明显的房间与家具框架线，由于此类需要再次装修的房屋一般其室内环境都不复杂，因此需要保留的特征直线也都较为明显且数量不多，人工筛选操作工作量也不大。

(2)基于仿射变换模型对直线在两幅影像间进行两两配准。使用SIFT算子完成特征点提取与匹配，计算特征直线左右两边垂直距离最短但不为零的特征点，以这两点为端点构成一条虚拟线段与特征直线相交，利用特征直线与虚拟直线构成交线所具有的仿射不变性找到在另一幅影像中与之匹配的直线，作为匹配直线候选集。

(3)基于极线约束原来以及特征直线与虚拟直线间的夹角来确定最终直线匹配结果。计算一幅影像中每条直线的端点在其他影像中对应的极线，相应极线与候选集中的直线的交点就应该是对应的直线段端点，从而确定参考直线与候选匹配直线的重叠部分，防止出现过提取或直线断裂的情况，保证相匹配的两直线的端点也是相互匹配的。在确定了匹配候选直线段的重叠部分的基础上，根据特征直线与虚拟直线的端点坐标，可以求出各自的斜率K₁、K₂，即可求出这两条相交直线之间的夹角，判断不同影像中对应交线夹角的相似度，找到相似关系最高的候选直线作为匹配直线。

(4)在完成了直线匹配的基础上，基于本质矩阵完成相机参数的解算。

在图像的图像的EXIF(EXIF信息，是可交换图像文件的缩写，是专门为数码相机的照片设定的，可以记录数码照片的属性信息和拍摄数据。EXIF可以附加于JPEG、TIFF、RIFF等文件之中，为其增加有关数码相机拍摄信息的内容和索引图或图像处理软件的版本信息。)信息中提取的焦距、图像宽度己经接近真实值，EXIF信息中焦距的单位是mm，而用于计算的焦距的单位是像素,它们之间的转换关系如下:

f_p＝W_P×f_m/w_m

其中：f_p代表以像素为单位的焦距，W_P代表以像素为单位的图像宽度，f_m代表以mm为单位的焦距，w_m代表以mm为单位的图像宽度。

采用的是针孔相机模型，给定的W×H的图像，根据EXIF提供的图像信息得到相应的相机内参数矩阵K为：

由上式得到图像的近似内参数，并对图像的匹配特征点坐标进行规范化处理，利用8点算法得到基础矩阵F的初值，已知相机内参数矩阵K由公式可以得到本质矩阵E：

E＝K^TFK

已知本质矩阵与相机内参数的关系如下公式：

E＝R[R^Tt]_x

因此可分解本质矩阵从而得到相机的旋转矩阵R和平移矩阵t，于是得到两幅图像的投影矩阵P＝(I，0)，P＝(R，t)。

在得到相机内外参数K，R，t以及匹配点坐标后，可以根据三角化原理，即匹配点的反投影线与两个相机的基线构成一个三角形，这个三角形的顶点是两个相机的光心和两条反投影线的交点，这个交点就是我们需要确定的空间点。计算出每个匹配点对应的空间点三维坐标，从而建立图像两两之间的初始结构。其中，(u，v)是像素坐标系下的坐标；每个像素沿x轴的实际物理尺寸大小是dx，沿y轴的实际物理尺寸大小是dy，单位值毫米，则能得到两个坐标系间的关系式；(X_w，Y_w，Z_w)是在世界坐标系下的坐标；X表示其世界坐标系下坐标的矩阵。

为了进一步提高精度，采用光束平差法来优化相机内外参数以及所有物点的世界坐标。其优化目标是最小化像点与重投影的像点之间的几何距离，如下公式：

其中,为第i幅图的投影矩阵的估计,为第j个物点的世界坐标的估计值,；为第j个物点在第i幅图上的像点坐标。d(x，y)为两个向量间的欧式距离。通过前面步骤求得相机内参数和外参数后,我们可以重构得到物点的坐标而表示将估计得到的物点再向第i幅图投影,这个重新投影的结果与直接图像处理提取出的像点的坐标肯定不是完全相同的,通过最小化这个重投影误差,即可得到高精度的摄像机内参数和外参数,同时还可以得到高精度的物点坐标。

待估计的参数向量表示如下式子，其中我们假设共拍了n幅图像，每幅图像都可见的特征点为m个，

上述公式中包含了相机所有内外参数。Ω是待估计的参数向量表达式，其中前五个参数是摄像机内参数：f_u是相机u方向焦距，f_v是相机v方向焦距，s是扭曲因子，(u₀，v₀)是主点坐标；后面的6(n-1)个参数为不同视图的相机外参数：θ_xi是第i幅图像的旋转矩阵绕x轴旋转的角度，θ_yi是第i幅图像的旋转矩阵绕y轴旋转的角度，θ_zi是第i幅图像的旋转矩阵绕z轴旋转的角度；最后3m个参数为m个物点的3D世界坐标，为第j个物点的世界坐标的转置，这里物点的世界坐标指的是物点的非齐次三维坐标。

对于每个特征点在每幅图上都可以列一个投影方程，共可列n*m个方程，矩阵形式表示如下：

其中x_ij是第j个物点在第i幅图像上的像面坐标，P_i是第i幅图的投影矩阵，W_i是第i个物点的世界坐标。像点x_ij对优化参数做一阶泰勒展开后得到：

其中,x_ij为应用图像处理的方法直接从像机拍摄的图片中提取出来的特征点的像点坐标,为由计算得到的摄像机内外参和物点的世界坐标重投影计算出特征点的像点坐标,以字母J来表示式中的偏微分矩阵,以符号ε来表示直接提取的像点坐标和反投得到的像点坐标间的残差,则优化参数的增量ΔΩ可以按下面公式计算得到：

ΔΩ＝(J^TJ)^-1J^Tε

求得优化参数的增量后，优化参数的初值按照下式更新：

Ω＝Ω+ΔΩ

当直接由图像中提取得到的像点坐标与反投得到的像点坐标的残差小于一个预先设定的阈值时,迭代过程终止,此时我们将得到摄像机内外参数的一个比较精确的估计,同时还能得到所有物点3D坐标的一个比较精确的估计。

这样，就完成了相机的标定工作。

(5)、在各序列图像已完成特征提取与匹配的基础上，基于面-面相交确定空间一条直线，完成三维直线特征重建，从而重建出大部分室内线框模型，在线框模型的基础上，人工选取轮廓线，并人为的对其进行完善修补，从而构建室内外轮廓模型，即房间的框架；

根据解析几何的原理，在空间中由一条直线和一个点可以确定唯一平面。每张影像光心与影像上的直线构成一个平面，从两个不同位置拍摄得到的两张影像，也就有两个这样的平面，这两个平面必有一个交线也就是我们想要求的空间直线L。若得知图像间直线特征的匹配关系，当这两幅图像已标定，就可通过面面相交确定空间直线的方法在一定参考坐标系下得到空间直线的方程。

这里得到的空间直线方程，表示与特征直线共线的一条无限长的直线，要进一步确认特征直线在该直线上的两端的端点。对于一组匹配的图像直线特征，由相机光心与图像中直线两端点引发的射线与空间直线分别有两组交点，理论上讲这两组交点应该是重合的，但是由于误差的影响，这两组交点不一定重合，本文根据角点在图像上的反投影点与原直线端点的残差大小赋予不同的权重，用来确定最终的端点，从而确定特征直线。以此建立室内外轮廓模型。

(6)、直接从互联网上获取各类家具实体模型数据信息，网上的模型不仅各种尺寸、材质信息丰富，而且渲染工作也做的很好，将这些信息完整的存储到模型库中，对其按照种类、功能进行分类管理，建立家具实体模型库，同时，定期对模型库进行更新以确保其准确性与完整性。在完善室内场景三维模型时，只需对用户拍摄的序列影像进行人工观察，从家具实体模型库中找出与房间中的家具最接近的三维模型，放入到室内外轮廓模型中即可。

(7)、为了最大程度的还原室内场景，我们还需要确定家具在房间内摆放的位置与姿态。为此，对需要定位的实体模型加入控制点，一般来说一个实体模型需要3个以上的控制点吗，在⑵中完成了相机的标定，就可以由点的二维坐标求出其对应的三维坐标，从而定位家具实体模型在室内外轮廓模型中的位置姿态，然后直接从家具实体模型库中找到相应的实体模型进行放置，对于无法从家具实体模型库中找到的家具，则保留其线框模型。以上五步都属于室内三维建模子系统。

(8)、所述商品存储、搜索子系统，由供货商提供商品设计图及相关描述信息，工作人员据此进行家具建模与渲染，再反馈给商家以确认建模效果，确认无误后上传至商品存储、搜索子系统供用户挑选。该子系统再对这些家具模型信息进行存储与分类管理，不仅具有必要的例如尺寸、材质等描述性信息，还可以任意旋转，三百六十度全方位查看商品，用户挑选满意后，可自主添加至建立好的房间三维模型中，查看摆在家中的效果。

(9)、所述3D展示子系统，主要是基于WebGL技术，WebGL可以为HTML5Canvas提供硬件3D加速渲染，这样Web开发人员就可以借助系统显卡来在浏览器里更流畅地展示3D场景和模型了。这也使得用户可以直接在浏览器上完成上传照片、查看房间三维模型、选择心仪家装、查看二次装修三维效果这一系列操作，而不需要另外下载客户端或是下载浏览器插件。

Claims

1.一种房间3D建模方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的房间3D模型建模方法，其特征在于：

3.根据权利要求2所述的房间3D模型建模方法，其特征在于：

4.根据权利要求3所述的房间3D模型建模方法，其特征在于：

所述的步骤4中，基于本质矩阵完成相机参数的解算包括：

f_p＝W_P×f_m/w_m

E＝K^TFK

步骤403、获得相机旋转矩阵R和平移矩阵t；

本质矩阵与相机内参数的关系如下公式：

E＝R[R^Tt]_x：

步骤404、得到两幅图像的投影矩阵P＝(I，0)，P＝(R，t)。

5.根据权利要求4所述的房间3D模型建模方法，其特征在于：还包括：优化相机内外参数以及所有物点的世界坐标的步骤；

6.一种家具3D预览系统，包括房间3D建模子系统，商品存储、搜索子系统，3D展示子系统；其特征在于：

7.根据权利要求6所述的家具3D预览系统，其特征在于：所述的商品存储、搜索子系统还包括存储直接从互联网上获取各类家具实体模型数据信息的模型库，所述的模型库中包括对各类家具实体模型数据信息进行分类管理的模块和期对模型库进行更新以确保其准确性与完整性的模块。