CN107330980A - 一种基于无标志物的虚拟家具布置系统 - Google Patents

Abstract

本发明请求保护一种基于无标志物的虚拟家具布置系统，其特征在于它包括特征检测与跟踪模块、三维重建与注册定位模块、人机交互模块、服务器存储模块、功能拓展模块五部分。其中特征检测与跟踪模块负责对室内环境图像进行特征点检测与跟踪，获得图像的特征信息；三维重建与注册定位模块将获得的特征信息进行处理，建立新坐标系和注册平面，将虚拟家具显示到注册平面上；用户通过人机交互模块调整虚拟家具的位置和大小以适应真实场景；服务器存储模块用来保存家具模型和装扮信息；功能拓展模块提供家具布置系统的个性化定制功能。

Description

一种基于无标志物的虚拟家具布置系统

谢振超

技术领域

本发明属于增强现实技术领域，具体涉及一种基于无标志物的虚拟家具布置系统。

背景技术

传统的装修设计图只能反映家具在房间内的平面位置，难以呈现真实的家居环境。装修家居需要借助新技术来实现人与环境的实时交互。增强现实系统可以有效地将虚拟物体跟真实场景结合起来，帮助用户到体验到各种虚拟的场景。将增强现实技术与虚拟家居布置结合起来，可以有效的解决传统家居装修过程中家具位置不明确的问题。在装修过程中，用户无需实际测量房间和家具的尺寸，通过观察增强出来的虚拟家具，就可以判断家具与房间环境是否匹配，家具样式与装修风格是否一致。

文献《基于移动设备的增强现实家具布置研究》采用了FAST特征检测和基于半朴素贝叶斯思想的图像分类算法，引入了PTAM算法进行三维重建，极大提高了和识别率和稳定性。其不足之处在于本质上还需要依赖标志物来进行三维注册。文献《基于无标志物的智能手机虚拟家居增强现实系统研究》设计了一种基于无标志物的虚拟家居系统，可以对未知场景实时定位，并将虚拟物体渲染到真实场景中。其不足之处在于定位精度不高，只能注册单一显著平面，在实际家居布置中不能进行准确的虚实融合。

本发明针对现有基于无标志物的增强现实技术，结合家具布置这一实际应用场景。利用自然特征进行追踪定位，可以适用于各种室内场景。由跟踪获得的特征匹配图像进行特征点的三维重建，以三维重建的结果为基础，根据单应约束筛选空间平面作为注册平面。这样得到的跟踪注册结果可以有效的与真实场景进行融合，提高虚拟家具布置的效率和体验感。

发明内容

本发明采用基于自然特征的注册方法解决增强现实技术中依赖标志物的问题，提出一种基于无标志物的虚拟家具布置系统，具体技术方案主要包含以下几个部分：

特征检测与跟踪模块，首先对捕获的每一帧图像通过特征检测获得图像角点特征的二维坐标，并取得角点集合，再使用跟踪技术对其进行特征跟踪，为空间点的三维重建提供两帧图像之间的对应关系，将检测到的角点特征信息作为下一模块的输入数据，并通过跟踪保持相邻帧的匹配关系，从而实现连续的注册。

三维重建与注册定位模块，该模块主要用于特征点三维坐标的获取、参考坐标系的建立以及注册信息的计算。利用注册信息对虚拟物体进行渲染、投影变换，得到虚拟物体正确的投影图像，然后将其叠加于捕获图像进行融合显示，从而得到增强效果。

人机交互模块，该部分提供了图形化接口用来实现控制虚拟家具的位置和状态，查看家具信息等操作。

服务器存储模块，该部分用于保存虚拟家具模型和家具装扮方案，将本地的渲染和存储功能分配给服务器完成，减少本地运算量，提高系统运行效率。

功能拓展模块，该部分是对家具布置系统的功能拓展，本发明要包括虚拟家具的个性化定制和家具在线商城等功能，使系统更具易用性。

本发明的特点是解决了传统增强现实系统依赖标志物的问题，利用自然特征进行追踪定位，适用性广，可以满足多种应用场景。同时对三维注册中的一些不足进行了改进，实现虚拟家具与真实场景的融合。

附图说明

图1为本发明中基于无标志物的虚拟家具布置系统整体过程示意图

图2为本发明中角点检测的度量值计算示意图

具体实施方式

本发明用于提供一种基于无标志物的虚拟家具布置系统，为了使本发明的目的、技术方案及效果更佳清楚、明确，下面现结合附图，对本发明的具体实施方式进行详细描述，但应当理解此处所描述的具体实施方式仅仅用于解释本发明，并不用于限定本发明。

本实例公开了一种基于无标志物的虚拟家具布置系统，具体实现步骤如下：

1.特征检测。为了得到一个好的跟踪结果，检测的特征要对图像的旋转、尺度缩放、视角变化、光照变化保持不变性。本发明选用算法主要将图像的角点检测出来，同时对图像的噪声不敏感，能很好的满足系统对实时性和稳定性的要求。下述公式是角点满足的度量条件，其中W为窗口中各像素点与(x,y)的偏离坐标集合，I(x,y)表示图像上(x,y)处的灰度值，V_u,v(x,y)表示在点(x,y)处在(u,v)方向上的灰度变化量。

2.光流跟踪。本发明使用分层LK光流跟踪算法对角点特征进行跟踪。该算法认为场景中物体的某一点在相邻帧上的投影像素的灰度值保持不变，下述公式反映其数学描述，其中I(x,y,t)为图像上某一像素点m＝(x,y)^T在时刻t的灰度值，V_m＝(v_x,v_y)^T为时间间隔dt内点m的运动速度。

I(x+v_xdt,y+v_ydt,t+dt)＝I(x,y,t)

3.三维重建。主要利用立体视觉原理，使用描述极几何的基本矩阵求解场景的三维信息。根据空间平面在两帧图像下投影的单应关系，筛选出平面作为新坐标系的Z平面，采用RANSAC算法获取共面集合，选择关键点坐标带入距离测量函数进行迭代计算，建立新坐标系。采用传统标定方法计算摄像机外参，通过矩阵变化即可将虚拟家具投影到注册平面上，实现增强现实效果。根据实际应用场景，建立多个注册平面满足不同家具的摆放要求。

4.人机交互。虚拟家具投影到注册平面，可以对模型进行移动、旋转、缩放等操作，完成家具布置。

5.服务器存储。所有的虚拟家具模型都将保存在服务器，需要摆放某种家具时，从服务器下载对应的3D模型。同时可以将家具装扮方案保存至服务器，方面后续的查看或者修改。

6.功能拓展。在基础的家具布置功能以外，提供个性化定制和在线商城等拓展功能，便于用户使用。

Claims (4)

1.一种基于无标志物的虚拟家具布置系统，其特征在于它包括特征检测与跟踪模块、三维重建与注册定位模块、人机交互模块、服务器存储模块、功能拓展模块五部分。其中特征检测与跟踪模块负责对室内环境图像进行特征点检测与跟踪，获得图像的特征信息；三维重建与注册定位模块将获得的特征信息进行处理，建立新坐标系和注册平面，将虚拟家具显示到注册平面上；用户通过人机交互模块调整虚拟家具的位置和大小以适应真实场景；服务器存储模块用来保存家具模型和装扮信息；功能拓展模块提供家具布置系统的个性化定制功能。

2.根据权利要求1所述一种基于无标志物的虚拟家具布置系统，其特征在于所述的特征检测与跟踪模块，具体包括：对初始图像进行角点检测，并进行亚像素级定位，获得角点集合Feature，并将其作为初始跟踪点集；以点集Feature为跟踪对象，使用分层LK光流跟踪获得下一帧特征点集Feature′,剔除错误跟踪，对每一特征点建立N×N的搜索窗口，选择具有最大响应值的点进行亚像素级校正，更新替换掉之前的特征点。

3.根据权利要求1所述一种基于无标志物的虚拟家具布置系统，其特征在于所述的三维重建与注册定位模块，具体包括：在三维重建部分，从匹配点集中选择八个匹配点对，计算候选矩阵并设置距离阈值t_F；对测量距离进行迭代，设置迭代次数上限为K_F，可得到若干基本矩阵及对应的一致集；以最大一致集为基础，重新估计基本矩阵；将基本矩阵分解得到每帧图像对应的摄像机投影矩阵，计算三维坐标点。

4.根据权利要求1所述一种基于无标志物的虚拟家具布置系统，其特征在于可以通过人机交互界面进行虚拟家具的布置，存储家具模型和布置方案，以及个性化定制功能。