CN108805648A - 虚拟现实系统及其控制方法 - Google Patents

Abstract

本发明涉及一种基于增强现实的虚拟显示系统的控制方法，包括：向用户账户提供三维模型文件的预览数据和报价信息；接收来自用户账户的购买指令；接收和购买指令关联的资产转移信息；将加密的三维模型文件及对应解密信息发送到用户账户。上述虚拟现实系统及其控制方法，通过建立用户账户和三维数据模型文件的交易体系，通过为三维数据模型文件加密和灵活分配操作权限，促进虚拟现实系统的商业化并为潜在的丰富多样的商业模式提供基础支持。

Description

虚拟现实系统及其控制方法

技术领域

本发明涉及虚拟现实、增强现实技术领域。

背景技术

增强现实技术(AR)和虚拟现实技术(VR)在娱乐、医疗、家居设计、零售等各领域已经得到应用。例如，已经有基于VR技术和AR技术的游戏出现，部分家装卖场设立了虚拟现实技术体验区，消费者在佩戴VR眼镜/头盔后，能够看到虚拟的三维空间，并在虚拟三维空间中体验卖场的商品。然而，上述方案往往成本高且使用场景有限，例如在家居设计领域消费者所体验试用的虚拟空间、工具、商品和消费者的实际家居环境，实际设计和改装需求截然不同，不能直接呈现消费者自身的家居设计和改造效果。

发明内容

基于此，本发明提供了一种虚拟现实系统，其包括：

环境采集系统，用于探测并收集环境信息，所述环境信息为无标定图像信息；

建模系统，基于环境信息生成虚拟三维模型；

渲染系统，基于虚拟三维模型及其显示条件，生成出虚拟三维模型的渲染图像；

显示模块，向用户显示所述渲染图像；

输入系统，接收用户指令。

进一步的，所述环境采集系统为无标定式图像采集设备。

进一步的，所述环境采集系统为智能移动设备。

进一步的，所述建模系统位于云端，所述虚拟现实系统将环境信息压缩后，远程传递到建模系统。

进一步的，所述渲染系统位于云端，所述虚拟现实系统将渲染图像压缩后，远程传递到显示模块。

进一步的，渲染系统包括光照渲染模块，所述光照渲染模块根据现实条件的变化，相应修改光照渲染参数而更新所述渲染图像。

进一步的，所述输入系统包括手势识别模块，所述手势识别模块通过识别用户的手势而接收用户指令。

进一步的，所述手势识别模块通过提取手势的深度信息而识别用户手势。

进一步的，所述建模系统连接到模型数据库，并从所述模型数据库中调取附加的虚拟三维模型。

进一步的，所述模型数据库包括家居品虚拟三维模型。

进一步的，所述模型数据库为商业数据库。

进一步的，还包括购物模块，所述购物模块向用户发出购买商品或者服务的购买要约。

进一步的，所述商品的购买要约中包括商品的虚拟三维模型，所述虚拟三维模型由商家提供。

进一步的，所述购物模块包括支付托管模块，所述支付托管模块用于在购物交易完成之前，作为用户和商家之外的第三方托管交易资金。

本发明还提供了一种虚拟环境的生成方法，其包括以下步骤：

探测并收集环境信息，所述环境信息为无标定式图像；

基于环境信息生成虚拟三维模型；

基于虚拟三维模型及其显示条件，生成出虚拟三维模型的渲染图像；

向用户显示所述模型图像；

接收用户指令。

进一步的，所述无标定式图像信息通过手持式智能设备获取。

进一步的，还包括以下步骤：

将环境信息压缩后，远程传递到云端，以在云端进行所述生成虚拟三维模型的步骤。

进一步的，所述生成渲染图像的步骤在云端进行，且还包括以下步骤，将渲染图像压缩后，远程传递回用户位置以进行所述显示模型图像的步骤。

进一步的，还包括以下步骤，根据显示条件的变化，相应修改光照渲染参数而更新所述渲染图像。

进一步的，所述接收用户指令的步骤通过识别用户的手势而执行。

进一步的，通过提取手势的深度信息而识别用户的手势。

进一步的，还包括以下步骤，从模型库中调取附加的虚拟三维模型。

进一步的，所述模型库为包括家居品虚拟三维模型的家居数据库。

进一步的，所述模型库为商业虚拟三维模型数据库。

进一步的，还包括以下步骤，将多个来源的虚拟三维模型在同一场景中合并渲染而生成渲染图像。

本发明还提供了一种虚拟现实系统的交互方法，其包括以下步骤：

通过虚拟现实系统连接到信息提供方以接收商品或服务信息；

通过虚拟现实系统向用户显示所述商品或者服务的购买要约；

通过虚拟现实系统接收用户指令以确认购物交易发生。

进一步的，所述商品的购买要约中包括商品的虚拟三维模型，所述虚拟三维模型由商家提供。

进一步的，还包括以下步骤：

在购物交易完成之前，提供一支付托管模块作为用户和商家之外的第三方托管交易资金。

上述虚拟现实系统，通过使用环境采集系统收集现实场景的无标定图像信息来推算三维信息，并基于该三维信息建模，降低了虚拟现实系统的建模成本并提高了用户建模的便利性。

本发明还提供了一种虚拟现实系统的控制方法，包括：向用户账户提供三维模型文件的预览数据和报价信息；接收来自用户账户的购买指令；接收和购买指令关联的资产转移信息；将加密的三维模型文件及对应解密信息发送到用户账户。

进一步的，所述控制方法还包括以下步骤：提供模型信息数据库，所述模型信息数据库包含多个三维模型文件的索引信息；向用户账户提供三维模型文件检索接口，所述检索接口用于接收用户的检索指令，将检索指令中的信息和索引信息比对以获得检索结果，并发送到用户账户。

进一步的，所述索引信息包括：三维数据文件的文件名、分类信息、创建日期中的至少一个。

进一步的，所述控制方法还包括以下步骤：向用户账户提供三维数据文件的导出接口，供用户将账户中的三维数据模型文件导出到用户选定的地址。

进一步的，所述控制方法还包括以下步骤：向用户账户提供三维数据文件的导入接口，供用户将选定地址的三维数据模型文件导入到用户账户。

进一步的，还包括格式转换模块，用于将三维数据文件从原始格式转换为用户选定的格式。

进一步的，加密的三维模型文件包含用户权限配置信息，所述用户权限配置信息用于设定用户可执行的操作，所述操作包括：浏览或在设定时间内浏览；修改在设定时间内修改；格式转换；文件导出中，在指定的地址或设备中浏览或修改的至少一种。

进一步的，所述控制方法还包括以下步骤接收用户的文件选择指令，并基于指令逐个或批量向用户账户传送多个三维模型文件的预览数据；接收用户的文件处理指令，并基于指令设置多个三维模型文件的形态以及组合方式，并发送到用户账户。

进一步的，所述三维数据文件包括可活动生物三维数据文件，所述控制方法还包括以下步骤：提供可活动生物的模态文件；将模态文件和可活动生物三维数据文件叠加，生成该可活动生物三维数据文件的模态文件。

本发明还提供了一种虚拟现实系统，包括处理器和存储器，所述存储器存储有执行前述控制方法的程序文件，所述处理器基于外界指令触发，调用所述程序文件以执行前述控制方法。

上述虚拟现实系统及其控制方法，通过建立用户账户和三维数据模型文件的交易体系，通过为三维数据模型文件加密和灵活分配操作权限，促进虚拟现实系统的商业化并为潜在的丰富多样的商业模式提供基础支持。

附图说明

图1为一实施例的虚拟现实系统的模块图；

具体实施方式

以下实施例中所称的虚拟现实系统(简称VR系统)，包括沉浸式、增强式的虚拟现实系统，及两者之间的过渡形态，也包括基于电脑的桌面式虚拟现实系统等。

如图1所示，虚拟现实系统包括环境采集系统1、建模系统3、渲染系统5、人机交互系统9以及存储器11。人机交互系统9包括输入系统13和输出系统15，输出系统15包括显示模块7。

环境采集系统1采集环境中的信息，传递给建模系统3，供其进行建模运算。建模系统3基于接收到的环境信息或其他信息，建立虚拟模型，尤其是虚拟三维模型。渲染系统5根据虚拟模型，以及特定场景中的渲染参数，生成图像数据。显示模块7根据图像数据向用户显示可视化的图像/视频。人机交互系统9接收用户的指令并作出相应的反馈。存储器11储存虚拟现实系统的运行程序、数据文件如虚拟模型等。增强现实系统还包括其他维持系统运作所需的基础模块如能源、通信模块等；增强现实系统还可能包括其他可选的扩展模块等。

虚拟现实系统可以为分布式的，系统的各部分不必需位于同一位置。

增强式虚拟现实系统也称增强现实系统(简称AR系统)，是虚拟现实系统的一个重要分支，可应用于商业、社交、生活和工作辅助等场景。以下以一个增强现实系统为例对前述虚拟现实系统的各个部分及它们的相互关系进行说明。

环境采集系统1包含图像采集装置，通过采集图像信息对环境或环境中的特定对象进行数据采集。为了降低成本和提高建模方便性，实现随时随地采集环境信息，本实施例中环境采集系统1为移动式设备，例如用户所拥有的智能移动终端，如手机、平板电脑，智能手表，智能眼镜等。在可选的实施例中，图像采集装置可以为独立的设备，也可以为能与智能移动终端连接的附件，例如通过数据线和装配结构安装在智能移动终端上的摄像头。智能移动终端可通过安装特定的应用程序实现快捷和准确的环境信息采集和预处理。

一种方案中，图像采集装置能够直接采集深度信息，例如多目相机，RGBD相机等，该种采集装置能够直接获取环境中标的对象的深度信息和图像信息，供建模系统建立虚拟三维模型。

具体的，多目深度相机至少包括两个摄像头，其利用了目标点在两个摄像头所拍摄的两幅视图上成像的坐标差异，和目标点到成像平面的距离之间的反比关系，来获取目标点的距离信息。在收集环境三维信息和建立模型时，首先通过多目深度相机扫描环境，然后，建模系统3将照片分解成图片、以及对应的深度信息并记录下来。再后，通过内置的三维重建算法，建模系统将图片拼接为全景图，再将记录的深度信息还原到图片上，最终就得到了所扫描的物体的三维模型。

具体的，RGBD相机包括图像采集摄像头，用以采集颜色信息，以及深度采集摄像头，用以采集深度信息；然后通过融合颜色和深度信息，实现标的对象的三维数据获取。需要指出，RGBD相机的单次采集角度范围有限，若需采集大范围场景或者全局场景，需要通过变换机位角度多次拍摄。由于多次拍摄的时间不同，其适合静态场景的三维信息收集。

另一种方案中，图像采集装置能够采集图像信息但不能直接采集深度信息，需要通过配套的算法间接计算出标的物体的深度信息。例如，图像采集装置为普通单目相机，其基于多幅图像计算标的对象的深度信息。以下介绍两种基于普通单目相机获取深度信息的方式。

一种方式中，单目相机在拍摄图像时，内参数如焦距，外参数如机位角度都是已知的，那么控制部可以根据不同图像的差异，以及拍摄的内参数和外参数计算出环境物体的深度信息。该种方法实质上和多目相机的深度计算方式相同，只是多目相机的图片为同时拍摄，而本方法的图片在不同时刻拍摄。因而，与上一实施例类似的，本实施例较适合静态场景的三维信息收集。

另一种方式中，单目相机在拍摄图像时，外参数未知。这种情况下，建模系统通过特征点匹配法推算深度信息，该种方法也称为无标定三维建模技术，单目相机收集的环境信息为无标定图像信息。具体的，建模系统分析各帧图像的特征点，将相同的特征点提取出来，然后分析它们在不同帧的图像上的位置差异，进而推算出各个特征点的拍摄角度差异(即机位角度)，再基于角度差异，计算出特征点的深度信息。

在对房间建模时，典型的，建模人员站在房间的中心区域旋转一圈拍摄即可。并且，环境采集系统1可以设置好相机的拍摄程序，自动设置拍摄的速度、张数、焦距等参数，无需人工干预或者设计拍摄过程。

在另一种实施例中，环境采集系统1包括结构光扫描仪。结构光是已知空间方向的投射光线，可以是各种激光、投影仪或者其他光源投射的点、直线、栅格线。结构光扫描仪可以包括激光发射器和摄像头，例如，激光发射器以一定角度投射点状激光，反射点在摄像头的X轴向上的位置及对应反射点与测量装置的直线距离。如果所投射的为线状激光，经过结构光扫描仪360°扫描后，可以得到三维点云。在一种实施方案中，结构光扫描仪包括相机以获取被扫描物体的明暗、色彩等信息。结构光扫描仪获得了环境三维信息之后，建模系统3将图片、以及对应的深度信息记录下来。再后，通过内置的三维重建算法，建模系统将图片拼接为全景图，再将记录的深度信息还原到图片上，最终就得到了所扫描的物体的三维模型。

在另一种可选的实施例中，环境采集系统1为三维数据采集阵列系统，典型的包括LED光源阵列、RGB相机阵列和深度相机阵列。其中LED光源阵列向环境投射光线，RGB相机阵列收集环境的颜色信息，深度相机阵列收集环境的深度信息，最终采集系统的控制部将采集的信息融合处理得到环境的三维模型。在该实施例中，LED光源，以及两个相机阵列中的各个相机可组合形成球形，以采集其周围各个维度上的数据。通过该三维数据采集阵列系统，能够采集大角度范围的环境信息，且采集的精度高，三维模型的点云密度高和/或面片个数多，且模型的表面纹理真实度高。该阵列系统适用于工业以及研究领域。

在另一种可选的实施例中，环境采集系统1为测距仪，例如激光测距仪。测距仪360°旋转并扫描周围的物体，获得环境的三维信息并发送到控制部1，控制部1中的建模系统根据接收的信息，建立虚拟三维模型，例如虚拟场景模型、虚拟对象模型、虚拟工具模型等。

建模系统3基于环境采集系统1采集的数据，建立标的对象的虚拟模型。标的对象可以为环境整体、环境中的特定对象等。建模系统可以位于本地，直接和环境采集系统1相连，甚至集成在一起。例如，建模系统直接集成于智能移动设备中，智能移动设备调用并运行特定的建模算法，处理环境数据而生成虚拟三维模型。建模系统也可位于云端，该种方式中，环境采集系统1将采集到的环境数据上传到云端的建模系统，由建模系统处理、生成虚拟三维模型。通常，环境数据上传前会执行数据压缩步骤，以节省流量并加快上传速度。基于环境数据建立虚拟三维模型需要较大的运算能力，部分本地系统无法完成该任务，或者耗时较长，而云端的运算能力大于本地系统，故将建模系统设置在云端可以提高建模的成功率和速度。

在本实施例中，建模系统构建虚拟三维模型的空间三维信息和图像信息，还建立虚拟三维模型的属性信息，例如若虚拟三维模型为商品，则在属性信息中记录其品类，甚至型号、价格、厂商等。建立属性信息的方式可以为接收操作者的信息录入，也可以为建模系统智能识别标的物品的属性并记录。

在一种实施例中，增强现实系统在接收了环境采集系统1传递的信息后，自动识别环境中物体的类型并建立模型。识别动作在云端或者本地进行。例如，在对客厅进行扫描后，增强现实系统识别出客厅中的各个对象，如沙发、电视，桌子，椅子等。对象识别算法可以为特定物体识别算法和普适识别算法。特定物体识别算法针对某一种类的物体而设计，例如专门针对子、椅子或者电动工具设计，其优点在于识别效率高，如速度快，准确率高。普适识别算法能够识别各类物体，但是识别效率相对低，如速度较慢，准确率较低，对于较为罕见和特殊的物体，可能无法识别。

识别动作可以针对已经建立完成的单个模型进行，例如，系统可在单独针对花瓶建模后，再执行识别动作。识别动作也可以针对整体环境模型进行，在从整体环境模型中识别出了单体对象后，将其从环境模型中分离出来，建立单独的模型。

在一种实施例中，增强现实系统根据识别出的模型的信息，自动补完模型。例如，对于一个靠着墙或者拐角摆放的沙发，系统仅能扫描到其局部的信息并建立局部模型，然而，在识别到该对象为沙发之后，根据已获得的信息，系统自动补完该局部模型。补全的方式可以为：识别该沙发的特征或者型号，在模型数据库中进行匹配查找，若模型库中已有该款沙发的完整模型信息，则调用该信息以补完现有的局部模型。在该种实施例中，建模步骤和识别步骤构成一个回路，在对对象建模后，识别该模型的特征信息，然后根据识别的信息再次建模，完善原模型。

渲染系统5根据虚拟三维模型，以及渲染参数，生成图像数据输出给显示模块。渲染参数包括虚拟三维模型在空间中的位置，角度；用户的位置、角度；光源信息等。同一个虚拟三维模型在不同的渲染参数下，会形成不同的图像数据。

类似于建模系统，渲染系统5也可以位于本地或者云端。由于渲染步骤也需要较大的运算力，渲染系统5位于算力更加强大的云端可以使渲染成为可能，或者提高渲染的速度。同样类似于建模系统，渲染系统5与其他远程连接的部件之间的数据交互，优选的在数据进行压缩之后执行，例如渲染系统5生成的图像数据，在经过压缩之后，再传回到显示模块。

在一种实施例中，渲染系统5包括光照渲染模块，光照渲染模块根据现实世界的光照情况，调整光照渲染参数，进而改变输出的图像数据。该方案使得虚拟三维模型的显示图像根据现实世界的光照情况而相应的调整，从而更加真实。

渲染系统5所接收的虚拟三维模型文件可以来自于建模系统3、增强现实系统的存储器11，或者来自于模型数据库。该模型数据库可以为公共数据库、私有数据库；公益性免费数据库或者收费的商用数据库。这些数据库留有对外的接口，供具有权限的系统调用。在一种实施方式中，数据库中的模型文件采用防盗版技术，类似于音乐文件的DRM技术，或者app store中的账户体系，使得模型文件仅可供被授权的系统或设备使用，无法被非法传播，或者非法传播之后的文件无法正常使用。在一种实施方式中，模型文件仅可以被读取和使用，无法复制到其他位置。

人机交互系统9用于用户和虚拟现实系统之间的指令交互。人机交互系统9包括输出系统15和输入系统13。

输出系统15包括显示模块，输出系统15还可包括声音系统，触觉反馈系统等。显示模块7向用户显示渲染后的图像/视频，显示模块7也显示其他需要的信息，例如一些提示性的状态参数信息、动作确认提示信息等。

在增强现实系统中，显示模块7可为透明或者半透明的显示屏。用户可以透过显示屏看到现实环境，从而将虚拟模型，以及其他需要的信息叠加显示在现实环境中。例如，显示模块7可以为带有透明显示镜片的头盔或者眼镜。显示模块7中内置有位置和姿态传感器，能够感应到自身位置姿态的变化以及和使用者的相对位置关系，从而保证显示的内容随用户视角而变化，始终处于正确位置。显示模块7还可以为显示器、投影仪、智能移动设备的显示屏等，显示模块7也可包括多种显示源，例如眼镜、投影仪以及智能移动设备的显示屏。

在一种实施例中，输入系统13包括触摸板，用户通过触控操作进行输入。在其他实施例中，输入系统可以为自然交互界面设备，例如手势感应设备，感应用户的自然手势进行相应的控制，例如用户的拖拽、推移等动作。在更进一步的实施例中，输入设备和显示模块7相互融合，例如，用户通过自然手势控制显示设备所显示在虚拟空间中的虚拟对象和虚拟工具，执行用户的各种指令。例如，用户可以直接拖移虚拟空间中的虚拟茶几，其就会相应移动到所拖动的位置，用户也可以用虚拟的电钻将虚拟相框挂在某个墙面。

在一种实施例中，增强现实系统采用基于深度信息的手势识别算法。环境检测模块检测手势后，提取其深度信息而进行识别，剔除颜色以及环境信息。该算法的优势在于，由于只需要包括深度信息的手势灰度数据，即使识别动作在云端进行，也不会有泄露用户隐私的风险；同时，由于无需颜色信息，该输入系统13能够在低光照场景下使用。

在其他的实施例中，输入系统13可以包括语音识别设备、键盘等。输入系统13也可以包括上述多种输入设备中的多种或者全部，从而使得用户可以在不同的场景下使用自己方便的方式和系统进行交互。

在一种实施例中，虚拟现实系统包括购物模块，购物模块可以向用户发出购买商品或者服务的购买要约，该购买要约中包括商品的虚拟三维模型，虚拟三维模型由商家提供。购物模块中包括支付托管模块，其用于在购物交易完成之前，作为用户和商家之外的第三方托管交易资金。购物模块涉及具体购物场景和形式将在后面的实施例中详述。

以下为一个家居设计和加工的具体场景实施例。

本实施例中，环境采集系统1能够扫描环境的三维信息，并发送给建模系统3。建模系统3包括场景模拟器、对象模拟器和工具模拟器。环境采集系统1扫描环境中的现实场景，将现实场景的三维信息发送给场景模拟器，场景模拟器基于接收到的信息生成虚拟场景模型。环境采集系统1也可扫描环境中的现实对象，将现实对象的三维信息发送给对象模拟器，对象模拟器基于接收到的信息生成虚拟对象模型。环境采集系统1也可扫描环境中的现实工具，将现实工具的信息发送给工具模拟器，工具模拟器基于接收到的信息生成虚拟工具模型。在此，场景构成对象所处的背景环境，对象为场景中的待加工、改变的标的物体，工具为加工、改变标的物体的器具。在一个例子中，场景为用户家中的客厅，对象为需要挂到墙壁上的相框，而工具为电钻。然而，对象模拟器和工具模拟器也可以基于其他信源，如服务器的发送的信息生成虚拟对象模型和虚拟工具模型。

场景模拟器用于接收场景信息以建立或更新虚拟场景模型。如前所述，在一种实施例中，场景信息来自于环境采集系统1所收集的场景三维信息和图像信息，例如客厅、书房等房间的信息。在其他实施例中，场景信息也可来自于云端的服务器，或者用户的输入等。虚拟场景模型包括场景的三维空间信息和表面图像信息；在一些实施例中，还包括场景中的物体的材质信息等。

对象模拟器用于接收对象信息以建立虚拟对象模型。在一种实施例中，对象信息来自于环境采集系统1所收集的对象的三维信息和图像信息。但在其他的实施例中，对象信息也可以来自于云端的服务器或者用户的输入等。

本系统中，待加工或改装的对象可以并不真实存在于用户家中，而是由用户在一个对象数据库中选取相应的模型文件后，由渲染模块渲染、显示模块7显示在虚拟场景或者现实场景中。例如，用户想在自己的客厅中试验增添一个茶几的效果，则可以先在本地或者云端的对象库中选择一个茶几的模型文件，通过渲染之后，显示于虚拟场景或者现实场景中，以供用户观察茶几的尺寸是否合适，风格是否和现有的布置搭配等。用户再通过输入系统13调整虚拟茶几模型的参数，如空间位置、颜色等，显示模块7根据用户的输入调整显示内容，反映用户的操作。优选的，显示模块7会根据用户的输入，实时调整显示内容。

在更复杂的实施例中，渲染模块叠加显示多个来源的模型文件，对象模拟器根据环境采集系统1的信息建立虚拟对象模型，增强现实系统也从对象库中选取模型。仍以客厅为例，本系统由环境采集系统1扫描场景信息，供场景模拟器建立客厅的虚拟场景模型；扫描沙发、落地灯等对象信息，供对象模拟器建立虚拟沙发模型、虚拟落地灯模型，然后用户再从对象库中选择一个茶几的模型文件，渲染模块接收上述的多个模型文件，并根据他们的渲染参数渲染并叠加显示在一个图像中。最后显示模块7向用户显示茶几的摆放效果，并且通过输入系统，供用户调整各个虚拟对象模型的参数并将调整后的效果再次通过显示模块7显示。在本实施例中，用户既能观察现实场景中并不存在的对象、如茶几在场景中的摆放效果，还能调整现实场景中存在的对象、如沙发、落地灯等的摆放效果，从而可以观察和试验添置了家居用品之后，现有的家居用品需要如何挪动，挪动后空间是否足够，效果是否满意等。

对象模拟器建立的对象模型除了包括空间属性、颜色属性等外形相关的属性参数，还包括形态属性。形态属性和对象的可改装性质相关。例如，形态属性包括对象的可分解属性，例如是否可以拆成不同的块；或对象的可加工属性，任意位置或者特定位置是否可以切割或者打磨；或对象的安装属性，如是否可以和其他对象或者场景以某种方式安装或拼接，如粘合、焊接、镶嵌、螺纹连接等。

工具模拟器用于建立虚拟工具模型。前述的虚拟场景模型和虚拟对象模型均具有和现实相当物对应的三维尺寸信息。在一个实施例中，虚拟工具模型与之不同，可以不具有三维尺寸信息，但具有类型信息和加工/改装能力信息，例如。类型信息为该虚拟工具模型为电钻，或往复锯，砂光机等；加工/改装能力信息为电钻的功率、工作时间、加工孔径等；或往复锯的功率、可切割工件类型等。当然，在其他实施例中，虚拟工具模型也可具有三维尺寸信息。

在一种实施例中，工具模拟器根据从服务器或本地存储器的数据库中获得的工具数据建立虚拟工具模型；在另一种实施例中，工具模拟器根据现实工具建立虚拟工具模型，例如，现实工具上具有可读取标志物如二维码、磁标或者RFID标签等，其中记录了工具信息，家居设计系统相应的具有扫码器，磁感应器或者RFID阅读器等来读取工具信息。工具模拟器根据读取的工具信息建立虚拟工具模型。进一步可选的，前述可读取的工具信息仅包括简单的工具类型信息，工具模拟器根据工具类型信息，从数据库中读取详细工具信息，如前述的加工/改装能力信息等。增强现实系统也可以直接根据工具的外形建立初始模型，再根据识别算法识别工具类型，然后从模型库中寻找匹配的工具模型，更新初始模型。

在一种实施例中，家居设计系统模拟现实工具对现实对象的加工效果。在模拟之前，家居设计系统首先完成建模和渲染工作，完成后，显示模块7在用户视野中，叠加于真实场景显示虚拟工具和虚拟对象，用户通过前述的操作模块操作虚拟工具，随着用户的操作，显示模块7实时显示加工过程，并在加工完成后显示加工结果。在一种具体场景中，用户可以操作一个虚拟曲线锯，在虚拟木板上切割出一个圆形板。在一种具体场景中，虚拟对象叠加显示于真实对象上，在用户操作虚拟工具时，加工过程将实时叠加显示于真实对象之上。在上述的操作过程中，虚拟对象模型的属性被改变，例如，虚拟木板的形状属性由方形变为圆形。

在一种实施例中，家居设计系统包括前述的购物模块，为用户提供商品/服务的购买要约。如前所述的，家居设计系统内置本地数据库或与云端数据库通信，获取商品/服务供应信息。商品/服务供应信息包括但不限于，虚拟对象模型所对应的现实物品的购买或出租信息，如沙发、相框等的购买链接或购买地址、售价或租金等；虚拟工具模型所对应的现实工具的购买或出租信息、如电钻、往复锯，螺丝批等工具的购买链接或购买地址、售价或租金等。例如，在用户进入家居设计系统，进行家居设计时，若用户选择在家中添置摆设物品，并从数据库中选取了虚拟对象模型时，家居设计系统同时从数据库中获取虚拟对象模型对应的物品的购买链接，并通过显示模型显示给用户，用户可以通过输入系统改变虚拟对象模型的位置、切换其他款型的虚拟对象模型等，如果效果满意，则可以通过商品/服务供应信息来进行购买，例如在家居设计系统中直接下单和付款，由商家送货上门。用户也可以在通过家居设计系统进行家居设计时，购买或者租借所选中的虚拟工具模型对应的现实工具，具体过程类似上面的物品购买过程，不再赘述。

除了购买实物，购物模块也可执行虚拟商品的交易，例如虚拟模型文件。虚拟模型数据库的运营商能够基于虚拟现实系统，向终端消费者或者商家提供虚拟模型文件的购买要约。如前所述的，模型数据库中的虚拟模型文件具有防盗版措施，不可在未授权情况下使用和传播；故未购买前，潜在购买者仅可对虚拟模型文件进行受限的浏览，在购买后方可在授权范围内自由使用。

购物模块可以根据用户所使用具体显示装置的类型，选择性的输出对应的渲染图像，若用户使用的是二维显示设备，例如普通显示器或者手机显示屏时，购物模块指令渲染模块渲染和输出增强的二维图像给显示设备，该图像用户可以自由操作选择观察视角，而非仅有常规的6面视图。若用户使用的是三维显示设备，如三维投影，三维电视或者三维手机显示屏时，购物模块指令渲染模块渲染和输出三维立体图像给显示设备。

用户也可以在通过家居设计系统进行家居设计时，购买或获得家居设计/改装服务。例如，用户在通过家居设计系统，选择了需要购买的商品，并确定了摆设、改装方案之后，家居设计系统直接将整体设计方案打包生成一个购买链接，用户确认购买后，商家提供商品送货上门和摆设、改装服务。具体的，比如用户在家居设计系统中，通过增强现实技术确认了在客厅中安放一套特定款型的沙发、在墙面上设定的位置悬挂若干幅画，并铺设地毯。那么，该整体设计方案将被上传到商家，商家按照整体设计方案将沙发、画、地毯送到客户家中，并安装设计方案，将地毯铺好、沙发摆放到位、画安装到墙上。

在一种实施例中，家居设计系统为用户提供设计/改装操作指导建议。某些改装工作涉及到的工序比较多，并且需要用到多种工具，那么在这种典型情形下，家居设计系统能够为用户一步一步的分解操作指导。例如，用户需要自己动手制作一个书柜，在设计方案确定、原材料准备完成之后，家居设计系统通过显示模块7指导用户进行工作，显示模块7如前所述，可以为投影仪或带有透明或半透明显示仪的眼镜或头盔，显示模块7将操作指导直接叠加显示在现实场景、对象和工具上。具体的，书柜制作需要板材切割、板材抛光、表面喷漆、安装孔制作、拼接固定等步骤；需要使用到夹具、切割锯、砂光机、刷子或喷漆设备、电钻等工具。相应的，家居设计系统分解为多个操作步骤，并在显示模块7上显示目前正在进行的步骤，需要使用的材料、工具，以及需要用户如何操作。例如，第一步为，将板材夹持在夹具上，那么显示模块7则在板材和夹具的位置上做出标记，并通过动画或者文字告诉用户将板材夹在夹具上；第二步为，使用切割锯切割出定长的板材，那么显示模块7在用户完成第一步后，取消第一步中的提示，改为在切割锯上做出标记，并在夹具上的板材的待切割位置显示一条虚拟切割写，并通过动画或者文字告诉用户使用切割锯，沿切割线切割板材。后续的分解步骤，家居设计系统的指导方式类似，不再赘述。

在用户和增强现实系统的交互中，通常会涉及到三维模型的变化处理，例如添加、移除或者修改三维模型。添加三维模型的典型场景如前所述，包括在客厅中添加虚拟的沙发模型、茶几模型等，供用户查看客厅布局效果。添加的三维模型可以来自于公共数据库或者商业数据库，公共数据库例如政府或者非盈利性组织建立的基础服务性质的三维模型数据库；商业数据库例如生产、销售平台所建立的商品的三维模型数据库等。

修改三维模型的典型场景如改变三维模型的位置、颜色、大小等。移除三维模型的典型场景如将已有三维模型如沙发模型、茶几模型等从环境中去除掉。

需要指出，修改和移除三维模型可分为两种。一种是对实体对象的三维模型的处理，另一种是虚拟三维模型的处理。对于虚拟三维模型的修改和移除仅仅是对叠加在现实环境之上的虚拟显示物体进行处理，不需要改变现实环境本身。对于实体对象的三维模型的处理需要对现实环境本身的显示进行修改，需要解决更多的技术难题。例如，用户希望通过增强现实系统，将环境中的实体沙发移除，或者改变位置。那么，在移除了实体沙发、或者调整了它的位置之后，增强现实系统需要能够显示原本被沙发所遮挡的区域的图像。以下介绍几种实现方案。

一种实现方案为，将现实场景中的各个实体分为不同的对象，分别建模。如对房间、沙发、桌子、电视分别建立三维模型。

该种方案的建模过程可以为对各个实体分别单独扫描和建模。例如，首先对空房间进行扫描和建模，然后在逐步对添置到房间中的物体一一扫描和建模，如在沙发进入房间时对沙发扫描和建模，再在电视进入房间时对电视扫描和建模等。这样，在后续在增强现实系统中调整实体对象后，对于原本被实体对象遮挡的背景区域，可以直接调用背景实体的三维模型进行显示。单独扫描和建模较适合新房、或者实体对象数量较小的场景。

该种方案的建模过程还可以是对环境整体扫描，识别出不同的单体并进行建模。例如首先360度扫描整个房间，然后使用识别算法一一识别房间中的物体，例如沙发、茶几等，然后对每个物体以及房间本身建模。识别的算法如前文所述，不再重复。建模的方式可以为：识别实体对象的类型和并提取特征，再从模型库中查找匹配的模型。例如，识别出实体对象的类型为桌子之后，提取该桌子的特征如型号、或者大小、颜色、形状中的一种或多种，在模型库中查找和桌子的特征匹配的桌子模型。该种方法的建模结果精确，和实物的对应程度高。建模的方式也可以为根据算法推演，例如，在环境扫描时，只能扫描到沙发的一部分，靠着墙、地面的部分无法直接扫描建模。那么，根据沙发的可扫描部分识别出其类型之后，增强现实系统根据已知的信息，以及该类型物体通常会具有的结构特性，如包含的构件及其排列方式、对称性等，推算其未扫描部分并建模。和前一建模过程类似，在实体对象对应的单体模型在增强现实系统中被移除或者修改后，原本被遮挡的背景区域，可以直接调用背景实体的三维模型进行显示。

增强现实系统显示原本被实体所遮挡的区域的图像的另一种实现方案为，利用环境信息，推算被遮挡的区域的信息并建模。例如，用户在增强现实系统中，将房间中的沙发移除后，根据沙发周围的环境信息推算被沙发遮盖的区域的信息并建模，在增强现实系统中展现，避免增强现实系统呈现给用户的视觉信息中出现空白。

在一种方案中，采用三维in-painting算法推算缺失的环境信息。如，增强现实系统使用local局部算法，使用邻域信息+迭代求解的方式，根据缺失区域的边界上的已有的邻域信息，推算缺失区域数据，在通过逐步迭代的方式将缺失区域补完。可替换的，增强现实系统也可采用Global全局算法，除了缺失区域的边界信息外，还根据全局图像趋势，利用数学模型进行统计分析，以优化推算结果，使得缺失区域的补全和建模更加准确。

虚拟现实系统通过从模型信息数据库中调用所需的三维模型。模型信息数据库可以为系统自带的数据库、商业数据库或者公共数据库。以下通过一实施例具体介绍一种模型信息数据库。

模型信息数据库用于管理多个三维模型文件，三维模型文件具有特定格式。数据库记录存储每个模型文件的存储位置，以及其他信息，如文件名、大小、创建日期、类型、标签等，以快速索引到各个模型。通过模型信息数据库，使用者录入、访问、导出模型文件。

录入的模型文件可以为数据库运营方自己拥有的，例如购买或者自行创建的。自行创建的方法可以为人工绘制或者使用专用设备扫描。人工绘制法通常使用专业软件进行，自由度较高，可以创建现实世界中所不存在的物体，但耗时较长、成本较高。专用设备扫描法如前所述，可为：使用摄像设备扫描标的物体，进而创建其三维模型；使用激光扫描标的物体，进而创建其三维模型等。基于摄像设备获取的图像生成模型的效果和效率较大的依赖于软件算法，目前，较常用的算法为Structure from motion等。专用设备扫描法可以快速、批量的扫描和生成大量模型文件，成本较低。

录入的模型文件也可为非自有的，例如从其他数据库中的模型导入的。由于模型信息数据库通常仅支持一种或数种特定格式的模型文件，因此，对于数据库不支持的文件类型，需要先进行格式转换，再录入到数据库中。格式转换步骤可以在录入前，由其他软件完成。但典型的，也可以在录入时，由数据库软件集成或者调用的格式转换模块完成。录入时，数据库软件将其他格式的模型文件转换为自身所支持的格式，将其存储在文件系统中，并在模型信息数据库中记录存储位置及其他信息。

使用者可通过模型信息数据库访问特定的模型文件。模型信息数据库仅接受授权的识别访问行为。对于得到授权的访问，模型信息数据库允许其访问模型文件，对于未授权的访问，模型信息数据库拒绝其访问模型文件。模型信息数据库可以通过建立账户体系，来识别访问是否是授权的，即通过识别访问方的账户是否具有权限，来确认是否允许其访问。更进一步的，不同类型的账户可具有不同的权限，例如允许访问的数据范围不同，或者访问的时间段不同，或者可访问的文件数量不同，或者操作权限不同等。

虚拟现实系统向用户账户提供三维数据文件的导出接口，供用户将账户中的三维数据模型文件导出到用户选定的地址。得到授权后，使用者可以导出模型文件。典型的，使用者在付费之后，获得了下载权限，从而可以将所购买的模型文件下载到自己的存储设备中，或者选定的云空间中。虚拟现实系统还向用户账户提供三维数据文件的导入接口，供用户将选定地址的三维数据模型文件导入到用户账户

为了避免未授权的访问和导出行为，数据库和\或模型文件经过了加密处理。通过数据加密，运营方可以灵活的设置访问者对模型文件的操作权限。例如，其可以设置访问者仅可以浏览而无法修改模型文件，设置访问者仅可以在开始访问、或者下载完成后的设定时间段内使用该文件、或者仅在付费之后方可解密和使用该文件，等等。

在导入和导出时，虚拟现实系统可提供格式转换模块，使用者调用该模块可以将模型文件从原始的文件格式转换为自己选定的格式。

典型的，数据库运营方提供一个客户端，供使用者操作，以预览数据库、访问特定模型文件、管理自己的用户账户、进行上传、下载、购买、解密操作等。

基于上述描述的一个典型的虚拟现实系统的模型信息数据库，用户可通过客户端，浏览或按条件\关键词搜索虚拟三维模型，并在选中特定的模型文件后，试用或者购买该模型文件。在试用时，由于数据是经过加密的，使用者仅可在限定的权限范围内使用模型文件，例如在特定时间内使用，或者只能使用模型文件的部分功能等。在购买后，数据库可解密模型文件并允许用户下载、进行格式转换等，在某些实施例中，使用者仅购买模型文件的使用权，则加密措施仍存在于模型文件，使用者仅可以许可的使用方式使用文件，例如仅可以在授权设备或者账户中使用模型文件，不可转给其他人使用等。

即，虚拟现实系统向用户账户提供三维模型文件的预览数据和报价信息，用户浏览文件和报价后，可以决定是否购买，若购买，则发出购买指令，并转移和报价信息相应的资产到虚拟现实系统指定的地址，资产可以是政府或者组织发行的法币，也可以是虚拟现实系统中的虚拟货币，或者可用于交换的其他带有价值的资产；相应的，虚拟现实接收来自用户账户的购买指令，并且接受和购买指令相关联的资产转移信息，随后，在确认资产已正确转移时，将加密的三维模型文件和对应的解密信息发送到用户账户，供用户使用。

加密的三维模型文件包含用户权限配置信息，所述用户权限配置信息用于设定用户可执行的操作，所述操作包括：浏览或在设定时间内浏览；修改在设定时间内修改；格式转换；文件导出中，在指定的地址或设备中浏览或修改的至少一种。

进一步的，如前所述，虚拟现实系统提供模型信息数据库，所述模型信息数据库包含多个三维模型文件的索引信息；向用户账户提供三维模型文件检索接口，所述检索接口用于接收用户的检索指令，将检索指令中的信息和索引信息比对以获得检索结果，并发送到用户账户。索引信息包括三维数据文件的文件名、分类信息、创建日期中的至少一个。

使用者可以通过客户端叠加的操作多个模型文件，并且存储多个模型的叠加方式，并且在以后回放叠加的多模型。例如，使用者可以选取多个家具的模型文件，如床、衣柜、书桌，并将它们以特定的方案摆放，预览这些家具的整体搭配效果，并可以将这套搭配方案存储在自己的账户中，用以和其他的方案比较，或者先放起来以后决定是否购买。针对类似的多模型操作场景下，用户的操作权限，例如可以预览或者试用模型文件的时间可以具有专有配置方案，而非僵化的设定为每个单个模型文件仅能操作或者展示特定时长。即，虚拟现实系统接收用户的文件选择指令，并基于指令逐个或批量向用户账户传送多个三维模型文件的预览数据；接收用户的文件处理指令，并基于指令设置多个三维模型文件的形态以及组合方式，并发送到用户账户。

虚拟现实系统的模型文件可以包括物体运动模型，如人或者动物的运动模型。物体运动模型简称模态，典型的为人\动物的一组特定动作，如行走或跑动。此外，本实施利中，原始模态能够和真实图片如人的图片叠加，形成特定的人的模态，从而无需使用摄像机去真实拍摄这个人的对应模态动作，即可获得该人的对应模态，如，有一张或多张真实的人的照片，虚拟现实系统就可以将照片的数据、如身材、长相叠加到合适的模态中，获得该人的模态。

即，虚拟现实系统提供可活动生物的模态文件，然后将模态文件和可活动生物三维数据文件叠加，生成该可活动生物三维数据文件的模态文件。

模态的建立方法有多种，如，可以通过摄像机拍摄实际典型真实人体的运动，并记录关键点(如各个关节，在关节上粘上彩色的球)的运动而形成。或者可以通过美工，手绘而成，此方法中运动模态中的关节点的运动通过设计者的观察设计而设定。

与模态叠加的照片也可有多种类型。例如可通过一张照片进行叠加操作，或通过多张照片叠加操作。对于一张照片的情形，由于仅有一个状态的静态信息，数据量有限，系统识别人体的关节点为算法的难点，系统可内嵌一个关节点判断逻辑算法进行推定。该方法对照片的要求低但是效果不如多照片方案。

对于多照片方案，较佳的，多张照片应各不相同，显示人的不同角度或姿态。这样系统可以通过照片的差异寻找到人体的各个关节点，如手肘、脚腕、颈部等。

在一种实施例中，可以通过360度拍摄等方式，直接建立人体的虚拟三维模型(此时仅少数姿态、如站立等)，然后和模态叠加。

本发明的一种实施例提供了一种虚拟现实系统，包括处理器和存储器，存储器存储有执行前述虚拟现实系统控制方法的程序文件，所述处理器基于外界指令触发，执行前述的控制方法。

Claims (10)

1.一种虚拟现实系统的控制方法，其特征在于，包括：

向用户账户提供三维模型文件的预览数据和报价信息；

接收来自用户账户的购买指令；

接收和购买指令关联的资产转移信息；

将加密的三维模型文件及对应解密信息发送到用户账户。

2.根据权利要求1所述的控制方法，其特征在于，还包括以下步骤：

提供模型信息数据库，所述模型信息数据库包含多个三维模型文件的索引信息；

向用户账户提供三维模型文件检索接口，所述检索接口用于接收用户的检索指令，

将检索指令中的信息和索引信息比对以获得检索结果，并发送到用户账户。

3.根据权利要求2所述的控制方法，其特征在于：

所述索引信息包括：三维数据文件的文件名、分类信息、创建日期中的至少一个。

4.根据权利要求1所述的控制方法，其特征在于，还包括以下步骤：

向用户账户提供三维数据文件的导出接口，供用户将账户中的三维数据模型文件导出到用户选定的地址。

5.根据权利要求1所述的控制方法，其特征在于，还包括以下步骤：

向用户账户提供三维数据文件的导入接口，供用户将选定地址的三维数据模型文件导入到用户账户。

6.根据权利要求4或5所述的控制方法，其特征在于：

还包括格式转换模块，用于将三维数据文件从原始格式转换为用户选定的格式。

7.根据权利要求1所述的控制方法，其特征在于，加密的三维模型文件包含用户权限配置信息，所述用户权限配置信息用于设定用户可执行的操作，所述操作包括：浏览或在设定时间内浏览；修改在设定时间内修改；格式转换；文件导出中，在指定的地址或设备中浏览或修改的至少一种。

8.根据权利要求1所述的控制方法，其特征在于，还包括以下步骤：

接收用户的文件选择指令，并基于指令逐个或批量向用户账户传送多个三维模型文件的预览数据；

接收用户的文件处理指令，并基于指令设置多个三维模型文件的形态以及组合方式，并发送到用户账户。

9.根据权利要求1所述的控制方法，其特征在于，所述三维数据文件包括可活动生物三维数据文件，所述控制方法还包括以下步骤：

提供可活动生物的模态文件；

将模态文件和可活动生物三维数据文件叠加，生成该可活动生物三维数据文件的模态文件。

10.一种虚拟现实系统，包括处理器和存储器，其特征在于，所述存储器存储有执行前述权利要求1-9中任一所述的控制方法的程序文件，所述处理器基于外界指令触发，调用所述程序文件以执行前述权利要求1-9中任一所述的控制方法。