CN104657096A - 一种在cave环境下实现虚拟产品可视化与交互的方法 - Google Patents

Abstract

本发明涉及虚拟产品可视化技术领域，特别是涉及以一种在CAVE环境下实现虚拟产品可视化与交互的方法。本发明的重点是将虚拟现实技术、数字样机技术、数字媒体技术等新技术手段有效整合，不同于传统多媒体动画技术复杂流程方式，提出在虚拟产品可视化模型的构建与优化、虚拟产品可视化模型的材质贴图与实时渲染、CAVE环境下实时可视化展示与交互应用等主要方面的新技术思路和方法，且实际应用到多个直升机型号虚拟产品可视化与交互中，提供了一种在CAVE环境下实现虚拟产品可视化与交互的方法。

Description

一种在CAVE环境下实现虚拟产品可视化与交互的方法

技术领域

本发明涉及虚拟产品可视化技术领域，特别是涉及以一种在CAVE环境下实现虚拟产品可视化与交互的方法。

背景技术

CAVE系统是一种洞穴式的沉浸式虚拟现实环境，其利用高性能图形渲染集群与立体投影显示系统模拟产生3D虚拟现实环境，用户使用虚拟外设对3D虚拟世界中的虚拟产品进行仿真体验和交互应用。CAVE的虚拟现实技术是对复杂数据的可视化操作与交互的一种全新方式，在工程应用领域数字样机方面取得较好应用效果。

目前数字样机技术与数字媒体技术的有效融合进展较慢。如果纯粹利用工程数模进行虚拟产品可视化与交互应用，虽能达到与产品原数据统一，但其在交互流畅性与逼真性方面应用较差。以产品客户化选项装配需求来衡量该虚拟产品的话，粗糙的工程模型画面友好性明显降低，不利于客户对产品的进一步了解。

利用CG软件进行重新建模、材质贴图、场景构建、灯光特效、渲染输出等技术处理，虽然做到了模型的简化，但在流程上较复杂，尤其是对于航空类产品结构较为复杂庞大，模型数据量巨大，重新建模、材质贴图、场景构建等所需相应工作量激增，复杂程度较高，且技术处理后虚拟可视化模型不一定能完全满足虚拟产品可视化与交互的需求。该方法虽融合了多媒体与动画技术，但仅仅让用户体验到接近真实产品的虚拟产品内容，且最终的虚拟产品只能近似于现实生活中的产品实物，因此虚拟产品的精确性、实时性和逼真度明显不足。

发明内容：

本发明的目的：

本发明的重点是将虚拟现实技术、数字样机技术、数字媒体技术等新技术手段有效整合，不同于传统多媒体动画技术复杂流程方式，提出在虚拟产品可视化模型的构建与优化、虚拟产品可视化模型的材质贴图与实时渲染、CAVE环境下实时可视化展示与交互应用等主要方面的新技术思路和方法，且实际应用到多个直升机型号虚拟产品可视化与交互中，形成一种在CAVE环境下实现虚拟产品可视化与交互的方法。

本发明的技术方案：

一种在CAVE环境下实现虚拟产品可视化与交互的方法，本方法包括以下步骤：

1）将CAD软件中的产品工程数据模型导入虚拟产品可视化软件中，根据导入时设置的精度值，在虚拟产品可视化软件中的工程数模自动LOD生成可视化模型。将PDM系统中数字样机全机零部件和虚拟产品可视化软件中生成的产品可视化模型进行对比检查，并对检查出的缺损零部件，利用CG软件对缺损零部件模型进行重新构建，并将重新构建的零部件模型导入虚拟产品可视化软件中，再次根据导入时设置的精度值，在虚拟产品可视化软件中的工程数模自动LOD生成可视化模型，直至形成没有缺损零部件而且装配关系正确的产品可视化模型。

2）在虚拟产品可视化软件中，对第1）步中得到的产品可视化模型，根据产品零部件所处系统、位置、材质和状态的不同，对虚拟产品可视化软件中的产品结构树进行进一步细分调整，使其与PDM系统中的产品结构树部件级一致，同时对产品可视化模型中法线错误的模型面进行转换，使其能一致反映后续优化中吸收光照信息的效果。然后根据产品零部件所处系统、位置、材质和状态的不同，Combine产品可视化模型中相应数据，达到轻量化模型的目的。

3）在虚拟产品可视化软件中，对上一步中轻量化后的产品可视化模型创建灯光，对各个细微表现部件进行多次局部阴影计算烘焙，然后对全部产品可视化模型进行全局阴影计算烘焙。

4）在虚拟产品可视化软件中，对阴影烘焙后的产品可视化模型进行材质贴图，事先在平面设计软件中处理好贴图素材，利用虚拟产品可视化软件的材质编辑功能，调整产品可视化模型对应部件的贴图实时渲染参数信息。

5）在虚拟产品可视化软件中创建封闭的场景模型，直接应用高清晰度HDR图，赋予场景360度全景且带光照信息的高质量材质贴图，将上一步得到的产品可视化模型与场景模型进行匹配，实时渲染得到最终的虚拟产品可视化模型。

6）在CAVE系统的图像集群系统中，对虚拟产品可视化模型进行分屏连接，使其在图像显示时达到分屏效果，再输出至CAVE投影显示系统实现立体显示。

7）还可以使用CAVE系统中的虚拟外设设备对虚拟产品可视化模型进行实时交互，在各种状态下对虚拟产品进行观察与交互应用。

8）在第5）步之后，还可以利用CG软件或虚拟产品可视化软件对虚拟产品可视化模型摄像机动画、产品模型动画的关键帧进行定义与编辑，设置3D左右眼的眼距，最后渲染输出左右眼的图片序列或视频，然后对渲染输出的图片序列或视频在CAVE环境下进行单通道的立体播放。

本发明的有益效果：本发明的虚拟产品可视化模型来源于PDM系统中的数据模型，与原数据模型一致且精准度高；本发明的材质贴图过程较为简单且实时渲染程度高；本发明的避免虚拟产品可视化中许多不必要的技术流程（如大量的几何重新建模、材质属性的参数调节、UV调整、灯光属性设置复杂、渲染质量与时间效率较低等）；同等条件下，本发明的虚拟产品可视化模型在CAVE环境的逼真度、交互流畅性均优于直接使用工程数模；本发明可同时实现虚拟产品内容的立体播放，对产品市场推广和面向客户选项装配，增加了更多产品信息传递量。

本方法实现对复杂产品进行虚拟产品可视化仿真，使客户或者设计人员能够模拟在实际产品上，对虚拟产品进行各种实时性的交互应用，从而可在产品物理样机或者真实产品生产出来之前，根据客户和产品设计员选项装配需要及时更改设计中存在的各种问题，或者在前期设计阶段发现设计缺陷。它使客户能更早接触到产品，在客户与产品之间建立一座桥梁，实时1：1三维场景可视化简化复杂问题，展示详细的产品行为描述、构型特点和功能展示等，同时在CAVE环境下，为产品客户提供先进的、逼真的、交互性强的可视化展示平台，这样与客户能更好、更快地进行交流，使沟通变得简单与顺畅。

附图说明

图1：CAVE环境下实现虚拟产品可视化与交互的方法流程图；

图2：在CAVE环境下AC313直升机虚拟产品可视化与交互效果图。

具体实施方式

1）将CAD软件中的产品工程数据模型导入虚拟产品可视化软件中，根据导入部件的不同，设置不同的精度值，外观部件相比内部构件设置曲面细分质量值大。设置精度值之后，在虚拟产品可视化软件中的工程数模自动LOD生成可视化模型，这样减少工程数模导入虚拟产品可视化软件过程中模型点线面出现的各种问题。将PDM系统中数字样机全机零部件和虚拟产品可视化软件中生成的产品可视化模型进行对比检查，并对检查出的缺损零部件，利用CG软件对缺损零部件模型进行重新构建，并将重新构建的零部件模型导入虚拟产品可视化软件中，再次根据导入零部件设置的偏小的精度值，在虚拟产品可视化软件中的工程数模自动LOD生成可视化模型，直至形成没有缺损零部件而且装配关系正确的产品可视化模型。

2）在虚拟产品可视化软件中，对第1）步中得到的产品可视化模型，根据产品零部件所处系统、位置、材质和状态的不同，有的部件面片数多达几百万甚至几千万个，这些部件是不适合作为虚拟产品的原模型的，因此数据面片的细分整理是必不可少的，对虚拟产品可视化软件中的产品结构树进行进一步细分调整，需遵循一定数据分层整理的“三统一”原则：系统统一、材质统一、状态统一，即按系统划分，各个系统的模型组划分在同Root树上的各自系统Group组上；材质相同的模型划分在系统子树的Group组上，根据构型项不同的同一模型组划分在Root树上的各自Group组上，按这样划分的产品可视化模型结构树与PDM系统中的产品结构树达到部件级一致。

同时对产品可视化模型中法线错误的模型面进行转换，因为有错误的法线信息的模型面在阴影烘焙计算阶段不能吸收光照信息，法线编辑模型下通过F9命令或者ALT+右键，执行快捷键命令将蓝色模块面转换为绿色正确的模块面，使整个产品可视化模型能在正常模式下达到一致，反映出后续优化过程中吸收光照信息的效果。然后根据产品零部件所处系统、位置、材质和状态的不同，执行CTRL+M命令Combine产品可视化模型中对应Group小组零部件级别的数据，形成产品结构树的模型经数据Combine和轻量化处理后，达到了数据量巨大模型轻量化的目的。该模型具有与原模型相同的物理特征，优化了数据中的各类三维几何与拓扑信息，形成轻量化的产品可视化模型。。

3）在虚拟产品可视化软件中，对上一步中轻量化后的产品可视化模型创建灯光，对细微表现部件进行局部阴影计算烘焙，根据实时渲染需要，将ShadowQuality设置为Medium Quality，在Subdivision选项下，设置细分质量为HighQuality。然后对全部产品可视化模型进行全局阴影计算烘焙，将Shadow Quality设置为Medium Quality。

4）产品可视化模型的材质贴图不同于在CG软件中的模型必须先展UV、赋材质与贴图，后打灯光渲染的方式，在虚拟产品可视化软件中，对阴影烘焙后的产品可视化模型进行材质贴图，根据不同构件的贴图需要，事先在平面设计软件中处理好的贴图素材，利用虚拟产品可视化软件的材质编辑功能，调整产品可视化模型对应部件的贴图实时渲染参数信息，在Material Editor模块下创建部件的材质球，在部分贴图材质球的Color Texture中勾选Use Texture上传贴图素材，调整贴图的比例，并相应调节模型表面的光照反射率和颜色值。不必对各系统的数据模型进行繁琐地UV调整。材质球对比CG软件中材质更具实时性的特点。

5）在虚拟产品可视化软件中创建封闭的场景模型，直接应用高清晰度HDR图，赋予场景360度全景且带光照信息的高质量材质贴图，相比传统在CG软件中场景建模与贴图复杂程度而言，场景构建更加简单高效。将上一步得到的产品可视化模型与场景模型进行匹配，调节Transform的Translate X/Y/Z值、RotateX/Y/Z值、Scale X/Y/Z值，实现虚拟产品可视化模型的实时渲染，得到最终的虚拟产品可视化模型，即包含产品可视化模型与场景模型的高清晰度照片级的模型。

6）在CAVE系统的图像集群系统中，对虚拟产品可视化模型进行分屏连接，通过在主机上的Connect to the cluster命令，使其在图像显示时达到在多台子机上分屏效果。在CAVE环境下，将图像集群系统中的虚拟产品可视化模型数据传输至CAVE投影显示系统中实现立体显示。

7）还可以使用CAVE系统中的虚拟外设设备对CAVE投影显示系统中的虚拟产品可视化模型进行实时交互，根据构型项要求，配置虚拟外设在虚拟产品可视化模型各种状态下的交互变量，在各种状态下对虚拟产品进行观察与交互应用。

8）在第5）步之后，还可以利用CG软件或虚拟产品可视化软件对虚拟产品可视化模型摄像机动画、产品模型动画的关键帧进行编辑与定义，设置3D左右眼的眼距，零坐标值则根据虚拟产品在虚拟产品可视化软件中的远近程度进行实际设置，最后渲染输出左右眼的图片序列或视频，然后对渲染输出的左右眼图片序列或视频在CAVE环境下进行单通道的立体播放。

本发明的方法所需设备包括如下：

所需设备：CAVE投影显示系统（A001），主要有投影机（101）、立体光谱眼镜（102）、投影机支架（103）、投影幕（104）、屏幕支架（105）；虚拟外设设备（A002），包含跟踪控制机（106）、追踪摄像头（107）、手持交互三维鼠标（108）、跟踪设备子机（109）；图像集群系统（A003），包含计算机图形工作站（110）、视频矩阵（111）、网络交换机（112）、显示器（113）；中控和信号切换系统（A004），包含中控设备（114）、KVM（115）；UPS电源系统（A005）、音响设备（A006）。

通过以上技术流程方法可生成高清晰度照片级的实时虚拟产品可视化模型，同时可在CAVE环境下实现虚拟产品级别的可视化交互应用，弥补了单纯依靠工程模型做交互以及3D虚拟产品内容展示的方式，结合了产品工程数模的精确性与CG重构模型的逼真性，使虚拟产品可视化的应用更具实时性和广泛性。

实施例1：

下面以AC313大型民用直升机的客舱座椅为例，阐述具体实施方式：

1）将AC313直升机的产品CATIA数据模型导入虚拟产品可视化软件中，根据导入时设置的精度值，在虚拟产品可视化软件中的工程数模自动LOD生成可视化模型。为保证AC313的各系统部件在虚拟产品可视化软件中自动LOD生成，内饰与外饰的曲面细分质量值划分结构表如下表1所示；

表1 AC313直升机导入精度设置明细表：

AC313客舱座椅由于属于内饰部件，在面向客户化选项装配导入虚拟产品可视化软件时，选择精度值分别为Tessellation Quality to 0.05、Max edge length100、Max parallel processes 8。

将PDM系统中数字样机全机零部件和虚拟产品可视化软件中生成的产品可视化模型进行对比检查，并对检查出的缺损零部件，利用CG软件对缺损零部件模型进行重新构建，并将重新构建的零部件模型导入虚拟产品可视化软件中，再次根据导入时设置的精度值，在虚拟产品可视化软件中的工程数模自动LOD生成可视化模型，直至形成没有缺损零部件而且装配正确的产品可视化模型。

2）在虚拟产品可视化软件中，对1）步中得到的AC313产品可视化模型，根据AC313零部件所处系统、位置、材质和状态的不同，对虚拟产品可视化软件中的产品结构树进行进一步细分调整，使其与PDM系统中的产品结构树部件级一致，数据细分整理顺序遵循：系统进行划分＞按材质相同划分＞按真实直升机各部件状态划分。Root树下挂有AC313整机模型子树、可选项装配子树；例如旋翼系统挂在AC313整机的动态部件树下，主桨和尾桨分别挂于旋翼系统组下，桨叶材质与桨毂材质不一样，分别挂于不同小组下。

同时对产品可视化模型中法线错误的模型面进行转换，使其能一致反映后续优化中吸收光照信息的效果。然后根据产品零部件所处系统、位置、材质和状态的不同，Combine产品可视化模型中相应数据，达到轻量化模型的目的。

3）在虚拟产品可视化软件中，对上一步中轻量化后的AC313产品可视化模型创建灯光，对内饰部件如座椅、驾驶舱仪表板、操纵台等细部部件进行多次局部阴影计算烘焙，然后对全机数据模型进行全局阴影计算烘焙。

4）在虚拟产品可视化软件中，对阴影烘焙后的AC313产品可视化模型进行材质贴图，事先在平面设计软件中处理好“吉祥鸟”贴图素材，利用虚拟产品可视化软件的材质编辑功能，在新建的反射贴图材质下编辑纹理对象（即“吉祥鸟”贴图，宽高比为3509：2481），其他部件同样赋予相应的材质和贴图。

5）在虚拟产品可视化软件中创建封闭的场景模型，直接应用高清晰度HDR图，赋予场景360度全景且带光照信息的高质量材质贴图，将上一步得到的产品可视化模型与场景模型进行匹配，实现实时渲染，得到最终的虚拟产品可视化模型。

6）在CAVE系统的图像集群系统中，对AC313虚拟产品可视化模型进行分屏连接，使其在图像显示时达到分屏显示的效果，再传输至CAVE投影显示系统中实现最终的AC313虚拟产品可视化模型的立体显示。

7）还可以使用CAVE系统中的虚拟外设设备对虚拟产品可视化模型进行实时交互，在各种状态下对虚拟产品进行观察与交互应用。AC313的数字样机面片数达到几千万级，即使借助多通道虚拟维护性软件，其在CAVE环境下运行的帧数也达不到15帧以上，交互运行速度不流畅，难以做到实时交互应用；本发明中的AC313产品可视化模型，运用虚拟产品可视化软件的分屏与交互功能，虚拟产品可视化模型在CAVE环境下可流畅运行，即使用三维鼠标在CAVE区域中交互应用，帧数每秒可在15-25帧之间浮动，达到流畅交互且逼真的效果。

8）在第5）步之后，还可以利用CG软件或虚拟产品可视化软件对虚拟产品可视化模型摄像机动画、AC313模型动画的关键帧进行编辑和定义，设置3D左右眼的眼距为63mm，最后渲染输出左右眼的左右眼图片序列或视频，然后对渲染输出的左右眼图片序列或视频在CAVE环境下进行单通道的立体播放。

Claims (2)

1.一种在CAVE环境下实现虚拟产品可视化与交互的方法，其特征是，本方法包括以下步骤：

1）将CAD软件中的产品工程数据模型导入虚拟产品可视化软件中，根据导入时设置的精度值，在虚拟产品可视化软件中的工程数模自动LOD生成可视化模型；将PDM系统中数字样机全机零部件和虚拟产品可视化软件中生成的产品可视化模型进行对比检查，并对检查出的缺损零部件，利用CG软件对缺损零部件模型进行重新构建，并将重新构建的零部件模型导入虚拟产品可视化软件中，再次根据导入时设置的精度值，在虚拟产品可视化软件中的工程数模自动LOD生成可视化模型，直至形成没有缺损零部件而且装配关系正确的产品可视化模型；

2）在虚拟产品可视化软件中，对第1）步中得到的产品可视化模型，根据产品零部件所处系统、位置、材质和状态的不同，对虚拟产品可视化软件中的产品结构树进行进一步细分调整，使其与PDM系统中的产品结构树部件级一致，同时对产品可视化模型中法线错误的模型面进行转换，使其能一致反映后续优化中吸收光照信息的效果；然后根据产品零部件所处系统、位置、材质和状态的不同，Combine产品可视化模型中相应数据，达到轻量化模型的目的；

3）在虚拟产品可视化软件中，对上一步中轻量化后的产品可视化模型创建灯光，对各个细微表现部件进行多次局部阴影计算烘焙，然后对全部产品可视化模型进行全局阴影计算烘焙；

4）在虚拟产品可视化软件中，对阴影烘焙后的产品可视化模型进行材质贴图，事先在平面设计软件中处理好贴图素材，利用虚拟产品可视化软件的材质编辑功能，调整产品可视化模型对应部件的贴图实时渲染参数信息；

5）在虚拟产品可视化软件中创建封闭的场景模型，直接应用高清晰度HDR图，赋予场景360度全景且带光照信息的高质量材质贴图，将上一步得到的产品可视化模型与场景模型进行匹配，实时渲染得到最终的虚拟产品可视化模型；

6）在CAVE系统的图像集群系统中，对虚拟产品可视化模型进行分屏连接，使其在图像显示时达到分屏效果，再输出至CAVE投影显示系统实现立体显示；

7）还可以使用CAVE系统中的虚拟外设设备对虚拟产品可视化模型进行实时交互，在各种状态下对虚拟产品进行观察与交互应用。

2.如权利要求1所述的一种在CAVE环境下实现虚拟产品可视化与交互的方法，其特征是，在第5）步之后，还可以利用CG软件或虚拟产品可视化软件对虚拟产品可视化模型摄像机动画、产品模型动画的关键帧进行定义与编辑，设置3D左右眼的眼距，最后渲染输出左右眼的图片序列或视频，然后对渲染输出的图片序列或视频在CAVE环境下进行单通道的立体播放。