CN104794752A - 基于移动终端和全息展示的虚拟场景协同建模方法及系统 - Google Patents

Abstract

本发明公开了基于移动终端和全息展示的虚拟场景协同建模方法及系统，搭建全息立体投影设备并与服务器连接；将移动终端与服务器连接在同一个无线局域网内；获得三维虚拟场景的二维平面设计图、规划草图或之前保存的二维平面图，导入系统中；高优先级用户根据导入的场景平面设计图在二维场景绘制单元中绘制或调整虚拟场景墙壁，实时在虚拟环境中生成三维场景；通过多个移动终端的模型添加单元协同添加虚拟场景中的模型；通过自然交互单元，对全息显示的三维虚拟场景进行确认；保存三维场景二维设计图并导出三维场景。提高了布置场景的准确性；并为用户提供基于移动终端与服务器之间通信的协同建模，改善了虚拟场景设计的协作性，提高了生产效率。

Description

基于移动终端和全息展示的虚拟场景协同建模方法及系统

技术领域

本发明涉及三维虚拟场景建模技术领域，尤其涉及一种基于移动终端和全息展示的虚拟场景协同建模方法及系统。

背景技术

虚拟现实(Virtual Reality，简称VR)是一项涉及人机交互、计算机图形学和人工智能等学科的综合技术。它的目的是用计算机来生成一个逼真的三维感觉世界，给用户如同真实世界的体验。虚拟现实技术目前无论在游戏、动画、广告宣传还是在建筑设计、军事仿真等领域都发挥着巨大的作用，而虚拟场景的搭建是构建虚拟现实系统过程中至关重要的一步。

当前对虚拟场景进行搭建的方式主要有三种:第一种是采用三维建模软件进行直接搭建，并人工逐个对模型进行位置摆放，形成三维场景整体环境，最终利用虚拟现实的技术进行环境展现，缺点是门槛高、具体操作复杂、协同性差；第二种是基于三维激光扫描等技术，获取彩色视频图像数据，通过计算机处理获得场景的快速三维建模，缺点是对硬件要求高、测量成本高、需要大量人工修改；第三种是参数化建模，输入参数、尺寸确定特征依存关系来搭建场景，缺点是用户必须掌握特定计算机语言和具备一定编程能力。

随着虚拟现实技术的发展，对虚拟场景建模的交互和效率方面提出了更高的要求。例如将已建模好的大量文物模型在虚拟博物馆内按照年代或材质等多种分类方式进行布置，需要对数量可观的模型进行多种单独变换操作；在消防培训演示中对逃生建筑内部结构的构建时，需要快速在虚拟场景中建造墙壁、摆放障碍物。这就要求通过多人协作提高建模效率以及采用新的建模交互方式降低操作复杂性。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于移动终端和全息展示的虚拟场景协同建模方法及系统，移动终端普及范围广、移动性强、成本低、趋向大屏化发展、触摸交互性大幅提升，移动终端为三维虚拟场景的建模带来了全新的交互模式，使虚拟场景的建模能克服时间、空间上的困难，它的融入使此类三维虚拟场景系统的应用更加普及、方便。

为了实现上述目的，本发明采用如下技术方案：

基于移动终端和全息展示的虚拟场景协同建模方法，包括以下步骤：

步骤一：搭建全息立体投影设备，将全息立体投影设备与服务器连接，调整投影与全息膜位置；

步骤二：将所有参与场景搭建的用户的移动终端与提供三维场景建模及显示的服务器连接在同一个无线局域网内；

步骤三：获得三维虚拟场景的二维平面设计图、规划草图或之前保存的二维平面图，导入系统中，为场景建模提供绘制模板；

步骤四：高优先级用户根据导入的场景平面设计图在二维场景绘制单元中绘制或调整虚拟场景墙壁，实时在虚拟环境中生成三维场景；

步骤五：通过多个移动终端的模型添加单元协同添加虚拟场景中的模型，并进行调整；

步骤六；通过自然交互单元，对全息显示的三维虚拟场景进行漫游观察确认；

步骤七：保存三维场景二维设计图并导出三维场景。

所述步骤二的具体方法包括：

(2-1).服务器一直处于监听状态，负载三维场景建模单元的计算机在无线局域网中形成一个组播域；

(2-2).移动终端在请求建立与服务器的连接时在该组播域中发送本终端的验证信息和移动终端的IP地址；

(2-3).服务器收到验证信息和移动终端的IP地址后进行验证，通过后发送给移动终端确认信息以及服务器的IP地址，每个移动终端跟服务器的连接正式建立；

(2-4).服务器建立一个存储已连接的移动终端IP地址的列表，为列表中的每个移动终端按照先前约定的搭建虚拟场景的权限分配优先级属性。

所述步骤三的具体方法为：

(3-1)若有三维场景的二维平面设计图，将其导入系统作为草图；

(3-2)若有之前通过本系统编辑保存过的设计图，打开设计图继续进行编辑；

(3-3)若无三维场景的二维平面设计图，也无已编辑的保存好的设计图，直接在系统中新建场景。

所述步骤四的具体方法为：

(4-1)采用单线描图方式绘制场景二维平面图的墙壁，并利用橡皮筋技术和吸附技术提高绘制准确度；

(4-2)完成墙壁草图绘制后，选定二维平面图的墙壁顶点进行拖动调整，改变三维场景中的墙壁位置；

(4-3)绘制不规则的曲面墙壁时，通过调整二维场景中对应墙壁的直线进行调整。

所述步骤五的具体方法为：

(5-1)每个用户利用移动终端的二维场景绘制单元打开已绘制好所有墙壁的二维场景平面图，选中模型库中或二维平面图中已有的模型对象进行操作；

(5-2)移动终端将操作对象的索引发送到服务器，服务器收到数据后，将该用户对该模型对象的操作同步至服务器上的三维场景建模单元。

所述步骤(4-1)中绘制场景二维平面图的墙壁的具体方法为：

(41-1)按照墙壁顺序依次触摸绘制二维平面图的墙壁顶点，所述墙壁顶点为三维场景中两面墙之间的墙角；

(41-2)获取二维平面中每个触摸点的二维坐标，存入墙壁顶点列表；

(41-3)在每个触摸点和上一个触摸点之间自动绘制二维墙壁，并在三维场景中实时显示对应的三维单面墙壁；当触摸点与首次触摸点重合，二维墙壁组成一个多边形时，该墙壁顶点输入完毕。

所述步骤(4-2)中调整二维平面图的墙壁顶点的具体方法为：

(42-1)完成场景中所有墙壁的直线墙绘制后，切换进入调整墙壁模式，在此模式下不能对墙壁进行绘制操作；

(42-2)长按需要调整位置的二维墙壁顶点，该顶点进入编辑状态，拖动到需调整的位置后停止触摸即完成墙壁顶点调整操作，同时三维场景中的墙壁也会根据改动的顶点自动做出实时修改；

所述步骤(4-3)中绘制不规则的曲面墙壁的具体方法为：

(43-1)切换进入调整墙壁模式；

(43-2)长按需要修改为曲面墙的墙壁对应在二维平面图中的边，待该边进入编辑状态时，拖动该边直到曲线边达到预期效果时松开；同时三维场景中的墙壁也会根据改动后的二维曲线边自动生成对应的曲面墙壁。

所述步骤(5-1)中选中模型库中或二维平面图中已有的模型对象进行操作的具体过程如下：

(51-1)切换至模型操作模式，打开模型库，选中要放置在三维虚拟场景中的模型的二维表示图，拖动图片至模型放置位置；

(51-2)长按二维平面图中的模型表示图，待该图片表示的模型进入编辑状态时，使用对应触摸手势对该模型进行平移、缩放、旋转等操作，此时原选中图片的手指可松开。

所述步骤五还包括：

在服务器同步任一移动终端对模型对象的操作至三维场景建模单元前，先进行如下操作：

(52-1)服务器判断当前是否有两个或两个以上的移动终端同时发送同一个模型对象索引；

(52-2)如果冲突，则按照移动终端的优先级属性指派对该模型对象的操作权限，最高级用户能获得对该模型对象的操作权，移动终端对该模型对象进行的操作能同步至三维场景中，而较低级用户对该模型对象进行的操作视为无效。

一种采用基于移动终端和全息展示的虚拟场景协同建模方法的系统，包括：

二维场景绘制单元，利用虚拟场景二维平面草图勾勒虚拟场景环境或直接在绘制面板绘制二维虚拟场景；

三维场景建模单元，该单元与二维场景绘制单元的二维场景形成映射，通过数字建模的方式搭建虚拟环境，并在虚拟环境中绘制三维场景；

协同建模控制单元，对设计者的设计权限进行优先级分配，解决多用户同步操作的冲突问题；

全息显示单元，利用光学全息膜搭建全息立体投影设备，对三维场景建模单元生成的三维虚拟场景进行全息投影显示；

自然交互单元，设计者通过移动终端的陀螺仪或触控屏幕在全息显示的虚拟场景中漫游，观察虚拟场景建模效果；

三维场景导出单元，用于对三维场景建模单元中搭建的场景进行指定格式的导出，便于使用三维虚拟场景进行下一步的虚拟现实交互设计；

所述二维场景绘制单元包括：

墙壁绘制单元：用于对虚拟场景中的墙壁进行绘制及调整；

模型添加单元：用于对虚拟场景中的模型进行添加和变换调整。

本发明的有益效果：

1为设计者提供基于多点触控的交互界面，交互性强。

2该发明采用协作模式搭建三维虚拟场景，基于智能触屏终端协同建模，改善了虚拟场景建模的协作性，提高了布景速度，提高了生产效率。

3该发明采用全息实时显示搭建的虚拟三维场景，无遮挡，为设计者提供多角度观看虚拟场景，提高了布置场景的准确性，同时便于面对面交流，提高协同工作效率。

4该发明采用基于移动终端触摸屏进行三维虚拟场景布置操作简单，成本低。

5该发明基于移动终端协作搭建三维虚拟场景，移动性强，不受时间地点限制。

6该发明所搭建的三维虚拟场景可以导出为指定格式的模型文件，便于使用三维虚拟场景进行下一步的虚拟现实交互设计。

附图说明

图1为本发明最终效果示意图；

图2为本发明流程框架的示意图；

图3为移动终端与服务器之间数据交换示意图；

图4为本发明移动终端的二维场景绘制单元示意图；

图5(a)为LED屏幕在顶部投影的全息显示设备搭建图；

图5(b)为投影仪在顶部投影的全息显示设备搭建图；

图5(c)为投影仪在底部投影的全息显示设备搭建图；

图5(d)为LED屏幕在底部投影的全息显示设备搭建图；

图6为本发明单元框架图。

其中，101.移动终端上的二维场景绘制单元、102.全息显示单元、5.1LED屏幕、5.2全息膜、5.3桌面、5.4投影仪、5.5高透玻璃、5.6挡板。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

一种采用基于移动终端和全息展示的虚拟场景协同建模方法的系统，如图6所示，包括：

二维场景绘制单元，利用虚拟场景二维平面草图勾勒虚拟场景环境或直接在绘制面板绘制二维虚拟场景；所述二维场景绘制单元包括：墙壁绘制单元：用于对虚拟场景中的墙壁进行绘制及调整；模型添加单元：用于对虚拟场景中的模型进行添加和变换调整；

三维场景建模单元，该单元与二维场景绘制单元的二维场景形成映射，通过数字建模的方式搭建虚拟环境，并在虚拟环境中绘制三维场景；

协同建模控制单元，对设计者的设计权限进行优先级分配，解决多用户同步操作的冲突问题；

全息显示单元，利用光学全息膜搭建全息立体投影设备，对三维场景建模单元生成的三维虚拟场景进行全息投影显示；

自然交互单元，设计者通过移动终端的陀螺仪或触控屏幕在全息显示的虚拟场景中漫游，观察虚拟场景建模效果；

三维场景导出单元，用于对三维场景建模单元中搭建的场景进行指定格式的导出，便于使用三维虚拟场景进行下一步的虚拟现实交互设计。

图1为本发明的实施实例的效果图。单元101为用户移动终端上的二维场景绘制单元，用户通过图2中步骤四204和步骤五205对场景进行绘制编辑，搭建好的场景在全息显示单元102中三维展示。

图2为本发明的实施例的流程框架的示意图，201-208对应的为步骤一-步骤七。对于搭建并连接全息立体投影设备的步骤一201，可采用如图5所示的四种方式进行搭建：图5(a)为搭建LED屏幕在顶部投影的全息显示设备，图5(b)为搭建投影仪在顶部投影的全息显示设备，图5(c)为搭建投影仪在底部投影的全息显示设备，图5(d)为搭建LED屏幕在底部投影的全息显示设备。

在步骤二202中，所有用户的智能客户端应与服务器端处于同一个无线局域网中，采用的网络环境可以是由无线宽带路由器形成的无线局域网，也可以是其他无线设备形成的AP热点。服务器一直处于监听状态，并在无线局域网中形成一个组播域。移动终端在请求建立与服务器的连接时在该组播域中发送本终端的验证信息和自身的IP地址。服务器收到信息后进行验证，通过后发送给移动终端确认信息以及自身的IP地址。之后服务器建立并维护一个存储已连接的移动终端IP地址的列表，为列表中的每个移动终端按用户们事先约定的搭建虚拟场景的权限分配优先级属性，如图3移动终端与服务器之间数据交换示意图。

在步骤三203中，若有提前获取的虚拟场景的二维平面图，用户可将其导入移动终端，为之后的三维场景搭建过程提供一个绘制模板；若有之前保存好的虚拟场景草图，也可以直接打开进行编辑；若无三维场景的二维平面设计图，也无已编辑的保存好的设计图，可以直接在系统中新建场景；

经过步骤二202完成移动终端与服务器连接后，在步骤四204中，最高优先级用户通过自己移动终端上的二维场景绘制单元(如图4)按照事先导入的二维平面图绘制直面墙壁，之后通过切换至墙壁编辑状态来对墙壁顶点以及曲面墙壁进行调整。在绘制墙壁及编辑墙壁的过程中，该用户对墙体的所有修改会同步到服务器端，所以其他的每个用户均可实时在自己的移动终端上看到墙壁绘制过程，同时服务器也会将二维场景绘制的墙壁数据发送至三维场景建模单元，使三维虚拟场景可以展现在全息显示单元102。

在步骤五205中，每个用户将自己手中的移动终端的二维场景绘制单元切换至模型操作模式，打开模型库，单指选中要放置在三维虚拟场景中的模型的二维表示图，拖动图片至模型放置位置后松开手指，完成模型添加。长按二维平面图中的模型表示图，待该图片表示的模型进入编辑状态时，使用对应触摸手势对该模型进行平移、缩放、旋转等操作，此时原选中图片的手指可松开。此时移动终端向服务器端发送操作的模型对象的索引及操作数据(如图2所示)，由服务器端判断当前是否有两个或两个以上的客户端同时发送同一个模型对象索引。如果冲突，则按照客户端的优先级属性指派对该模型对象的操作权限，最高级用户可获得对该模型对象的操作权，客户端对该模型对象进行的操作可同步至三维场景中。而较低级用户之前对该模型对象进行的操作则视为无效，需等待更高级用户完成操作。

在步骤四204和步骤五205执行的过程中，用户即可实时通过全息显示设备观察搭建的三维虚拟场景。之后，每个用户可再通过步骤六206，利用自然交互单元的终端陀螺仪或触控屏幕在三维场景中进行漫游观察。如需修改场景，则重复执行步骤四204或步骤五205，直到确认场景搭建与预期相符，完成三维场景搭建。

最后，在步骤七207中，用户可将移动终端上的二维场景平面图保存以便下次继续编辑，也可将三维虚拟场景按照指定文件格式进行导出。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于移动终端和全息展示的虚拟场景协同建模方法，其特征是，包括以下步骤：

步骤一：搭建全息立体投影设备，将全息立体投影设备与服务器连接；

步骤二：将所有参与场景搭建的用户的移动终端与提供三维场景建模及显示的服务器连接在同一个无线局域网内；

步骤三：获得三维虚拟场景的二维平面设计图、规划草图或之前保存的二维平面图，导入系统中，为场景建模提供绘制模板；

步骤四：高优先级用户根据导入的场景平面设计图在二维场景绘制单元中绘制或调整虚拟场景墙壁，实时在虚拟环境中生成三维场景；

步骤五：通过多个移动终端的模型添加单元协同添加虚拟场景中的模型，并进行调整；

步骤六；通过自然交互单元，对全息显示的三维虚拟场景进行漫游观察确认；

步骤七：保存三维场景二维设计图并导出三维场景。

2.如权利要求1所述基于移动终端和全息展示的虚拟场景协同建模方法，其特征是，所述步骤二的具体方法包括：

(2-1).服务器一直处于监听状态，负载三维场景建模单元的计算机在无线局域网中形成一个组播域；

(2-2).移动终端在请求建立与服务器的连接时在该组播域中发送本终端的验证信息和移动终端的IP地址；

(2-3).服务器收到验证信息和移动终端的IP地址后进行验证，通过后发送给移动终端确认信息以及服务器的IP地址，每个移动终端跟服务器的连接正式建立；

(2-4).服务器建立一个存储已连接的移动终端IP地址的列表，为列表中的每个移动终端按照先前约定的搭建虚拟场景的权限分配优先级属性。

3.如权利要求1所述基于移动终端和全息展示的虚拟场景协同建模方法，其特征是，所述步骤三的具体方法为：

(3-1)若有三维场景的二维平面设计图，将其导入系统作为草图；

(3-2)若有之前通过本系统编辑保存过的设计图，打开设计图继续进行编辑；

(3-3)若无三维场景的二维平面设计图，也无已编辑的保存好的设计图，直接在系统中新建场景。

4.如权利要求1所述基于移动终端和全息展示的虚拟场景协同建模方法，其特征是，所述步骤四的具体方法为：

(4-1)采用单线描图方式绘制场景二维平面图的墙壁，并利用橡皮筋技术和吸附技术提高绘制准确度；

(4-2)完成墙壁草图绘制后，选定二维平面图的墙壁顶点进行拖动调整，改变三维场景中的墙壁位置；

(4-3)绘制不规则的曲面墙壁时，通过调整二维场景中对应墙壁的直线进行调整。

5.如权利要求1所述基于移动终端和全息展示的虚拟场景协同建模方法，其特征是，所述步骤五的具体方法为：

(5-1)每个用户利用移动终端的二维场景绘制单元打开已绘制好所有墙壁的二维场景平面图，选中模型库中或二维平面图中已有的模型对象进行操作；

(5-2)移动终端将操作对象的索引发送到服务器，服务器收到数据后，将该用户对该模型对象的操作同步至服务器上的三维场景建模单元。

6.如权利要求4所述基于移动终端和全息展示的虚拟场景协同建模方法，其特征是，所述步骤(4-1)中绘制场景二维平面图的墙壁的具体方法为：

(41-1)按照墙壁顺序依次触摸绘制二维平面图的墙壁顶点，所述墙壁顶点为三维场景中两面墙之间的墙角；

(41-2)获取二维平面中每个触摸点的二维坐标，存入墙壁顶点列表；

(41-3)在每个触摸点和上一个触摸点之间自动绘制二维墙壁，并在三维场景中实时显示对应的三维单面墙壁；当触摸点与首次触摸点重合，二维墙壁组成一个多边形时，该墙壁顶点输入完毕。

7.如权利要求4所述基于移动终端和全息展示的虚拟场景协同建模方法，其特征是，所述步骤(4-2)中调整二维平面图的墙壁顶点的具体方法为：

(42-1)完成场景中所有墙壁的直线墙绘制后，切换进入调整墙壁模式，在此模式下不能对墙壁进行绘制操作；

(42-2)长按需要调整位置的二维墙壁顶点，该顶点进入编辑状态，拖动到需调整的位置后停止触摸即完成墙壁顶点调整操作，同时三维场景中的墙壁也会根据改动的顶点自动做出实时修改；

所述步骤(4-3)中绘制不规则的曲面墙壁的具体方法为：

(43-1)切换进入调整墙壁模式；

(43-2)长按需要修改为曲面墙的墙壁对应在二维平面图中的边，待该边进入编辑状态时，拖动该边直到曲线边达到预期效果时松开；同时三维场景中的墙壁也会根据改动后的二维曲线边自动生成对应的曲面墙壁。

8.如权利要求5所述基于移动终端和全息展示的虚拟场景协同建模方法，其特征是，所述步骤(5-1)中选中模型库中或二维平面图中已有的模型对象进行操作的具体过程如下：

(51-1)切换至模型操作模式，打开模型库，选中要放置在三维虚拟场景中的模型的二维表示图，拖动图片至模型放置位置；

(51-2)长按二维平面图中的模型表示图，待该图片表示的模型进入编辑状态时，使用对应触摸手势对该模型进行平移、缩放、旋转等操作，此时原选中图片的手指可松开。

9.如权利要求5所述基于移动终端和全息展示的虚拟场景协同建模方法，其特征是，所述步骤五还包括：

在服务器同步任一移动终端对模型对象的操作至三维场景建模单元前，先进行如下操作：

(52-1)服务器判断当前是否有两个或两个以上的移动终端同时发送同一个模型对象索引；

(52-2)如果冲突，则按照移动终端的优先级属性指派对该模型对象的操作权限，最高级用户能获得对该模型对象的操作权，移动终端对该模型对象进行的操作能同步至三维场景中，而较低级用户对该模型对象进行的操作视为无效。

10.一种采用如权利要求1所述基于移动终端和全息展示的虚拟场景协同建模方法的系统，其特征是，包括：

二维场景绘制单元，利用虚拟场景二维平面草图勾勒虚拟场景环境或直接在绘制面板绘制二维虚拟场景；

三维场景建模单元，该单元与二维场景绘制单元的二维场景形成映射，通过数字建模的方式搭建虚拟环境，并在虚拟环境中绘制三维场景；

协同建模控制单元，对设计者的设计权限进行优先级分配，解决多用户同步操作的冲突问题；

全息显示单元，利用光学全息膜搭建全息立体投影设备，对三维场景建模单元生成的三维虚拟场景进行全息投影显示；

自然交互单元，设计者通过移动终端的陀螺仪或触控屏幕在全息显示的虚拟场景中漫游，观察虚拟场景建模效果；

三维场景导出单元，用于对三维场景建模单元中搭建的场景进行指定格式的导出；

所述二维场景绘制单元包括：

墙壁绘制单元：用于对虚拟场景中的墙壁进行绘制及调整；

模型添加单元：用于对虚拟场景中的模型进行添加和变换调整。