CN102945564A - 基于视频透视式增强现实的真三维建模系统和方法 - Google Patents

Abstract

本发明涉及一种基于视频透视式增强现实的真三维建模系统和方法，是一种首次把视频透视式增强现实技术和计算机三维建模两者有机地集成在一起的技术。随着多媒体技术的高速发展，这种真三维的设计方法将成为必然的趋势，必将引起计算机辅助建模与设计平台开发领域的一场新潮流。本发明实际上提出了一种全新的设计开发理念——将设计人员的工作区由二维平面拓展到一个真三维的空间区域，解除了以前只能在二维平面中进行三维建模的限制，提高了设计效率，简化了设计流程，采用增强现实技术进行人机交互和反馈显示，让用户在一种深入的沉浸感中进行设计开发，充分享受随心所欲、天马行空的创造乐趣。

Description

基于视频透视式增强现实的真三维建模系统和方法

技术领域

本发明涉及的是一个真正意义上的三维建模系统和方法，具体的说是一种基于视频透视式增强现实的真三维建模系统和方法。

背景技术

三维建模是以多媒体计算机为工具，综合了图形学、几何学、动力学、物理学等多门学科的新技术。实际操作中要求设计人员大胆创新，不断完善，将脑海中的设计蓝图完美实现。随着计算机硬件和多媒体技术的不断发展，这一技术越来越被人们所看重，已被广泛应用到各行各业，比如建筑规划、园林景观、产品设计与制造、电影广告、动画娱乐等等，产生了巨大的经济及社会效益。无论是在哪一个应用领域，计算机三维建模的使用都极大地提高了设计对象的质量，缩短了对象从设计到实现的周期，降低了成本，促进了标准化工作。所以，计算机三维建模的发展水平在一定程度上成为了衡量一个国家工业水平的重要标志之一。

目前在发达国家已形成以计算机三维建模技术的研究、开发、制造、销售直到咨询服务的完整产业，先后涌现出了一批优秀的建模与设计系统，如3D MAX、SolidWorks、CATIA、Pro/E、AutoCAD等等。而我国在这一技术领域的研究尚处于初期发展阶段。我国三维建模产业的发展策略基本上是选择国际上流行的优秀的系统作为开发平台，结合我国国情进行开发。从60年代开始，在基础理论研究、软件环境和实用系统的研制等多方面展开了相关的研究工作，取得了不少成果。但由于种种原因，软件系统的商品化程度还不高。

一个好的三维建模平台能让设计人员把脑海中的产品、动画形象以及房屋建筑等设计对象高效、直观地描绘和渲染出来，而且设计人员能从各种角度查看所设计对象的立体视图，对其进行观察和评估，并能根据要求实时、自然地对其进行各种编辑修改操作。在产品设计、动画制作、建筑工程等领域，这些要求尤为重要，因为三维建模与设计制图是后续一切工作的基础和依据。

然而目前的各种主流建模与设计平台，如3D MAX、SolidWorks、CATIA、Pro/E等等，还不能称之为真正意义上的三维系统，或可称之为准三维系统。因为设计人员还是在一个二维的平面区域内进行设计，用户无法亲身进入到这个工作区域中去查看和感受正在设计的对象，这就对设计人员的空间想象能力和立体几何学提出了较高的要求，设计人员经常需要花费大量的时间和精力去思考和运算所设计对象的相对空间关系；而且这些系统或平台，主要还是利用传统的人机交互方式——基于鼠标和键盘等输入设备进行编辑与操作，这种方式的不足之处在于操作效率低和不够直观，用户毫无沉浸感。

针对于此，本发明将增强现实技术（Augmented Reality，AR）引入三维建模领域，提出“真三维”这一概念，即基于视频透视式增强现实技术，将设计人员的工作区由二维平面拓广到三维空间中，而且设计人员能从360°全方位查看设计视图。AR系统要求具有3I特性，即沉浸感（Immersion）、交互性（Interaction）和想象性（Imagination），而这些特征正是真三维建模系统最为需要的。

AR技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。AR技术首先出现在工业应用领域，波音公司的Tom Caudell和他的同事于20世纪90年代初期在其设计的一个辅助布线系统中，首次提出了“增强现实”这个名词。AR技术在国外发展较早，美国、欧洲和日本等国家和地区目前在AR技术的研究和应用上比较领先，在关键设备上也具备了设计和制造能力，并在技术上拥有多项知识产权和技术标准。

在国内，AR技术起步较晚。北京理工大学光电工程系是国内较早进行AR研究的单位之一，在AR系统硬件(光学透视式头盔，数据手套等)与三维注册算法等方面取得了一些研究成果。浙江大学CAD&CG国家重点实验室在分布式虚拟现实与增强现实关键技术方面做了深入研究。专利 “增强现实的非真实感绘制”（200880022657.0）公开了一种用于绘制场景的捕捉图像的方法和系统，在绘制的图像中保存场景的某个结构，而不需要场景的模型。专利“增强现实系统中抑制磁力跟踪器互干扰的方法”（200910053861.5）提出了一种增强现实系统中抑制磁力跟踪器互干扰的方法，针对用户头部和手部的跟踪，根据不同状态采用不同的滤波处理方法，对磁力跟踪的相互干扰产生一定的抑制作用。

上海大学多媒体技术研发中心于2001年上半年开始启动“基于PC平台的AR系统关键技术研究” (025115008)，设计和实现了基于PC平台的AR系统结构；于2006年开始国家科技支撑计划课题(2006BAK13B10)：“增强虚拟现实实时互动与大型异型屏技术集成与应用”，在实时人机交互技术和大型异型屏增强显示方面开展了深入的研究；于2009年与英国提赛德大学共同开展上海市科委国际合作科研计划项目(09510700900)：“视频透视式增强现实实时互动技术的研究及应用”，在自动变焦、景深模拟、三维重建等方面展开深入研究。

根据虚实场景融合方式的不同，AR系统可分为视频透视式AR系统和光学透视式AR系统。与后者相比，前者具有以下优点：在虚实场景的遮挡、融合策略上更为灵活；具有较宽的视野；虚实视图之间的延迟可以实现比较精确的匹配；可以根据真实场景的图像提供附加的定位策略。综上，本发明采用了视频透视式AR技术，用于真三维建模系统的开发。具体而言，真实世界的任何一块三维空间区域都可以作为设计用户的工作区，利用高性能图像图形工作站把用户的设计结果以虚拟场景的方式呈现在工作区内，设计用户利用磁力跟踪器、数据手套等关键设备进行建模和设计交互，并且利用视频透视式头盔显示器(Head Mounted Display，HMD)查看虚实场景融合后的设计结果。

目前AR技术的研究主要在应用系统中进行研究，并结合其它技术一起构建一种新的研究应用。根据调研，到目前为止，把视频透视式AR技术和三维建模系统软硬件平台开发和构架两者有机地集成在一起，本发明尚属首例。

发明内容

鉴于以上所述现有技术存在的问题和不足，本发明的目的在于提供一种基于视频透视式增强现实的真三维建模系统和方法，让设计人员在一个真实的三维空间工作区中进行设计创作，给设计人员一种强烈的沉浸感。

为达到上述目的，本发明采用下述技术构思：

根据三维建模系统的需求，引入视频透视式AR技术，综合利用计算机视觉、数字图像处理以及基于数据手套和磁力跟踪器的传感器信息融合技术，完成对设计用户设计操作的动作识别和响应，从而完成用户与虚拟设计对象之间的实时人机交互。系统运行初期，先进性初始化工作，完成摄像头标定、磁力跟踪校正以及数据手套的归一化等工作。系统运行时，磁力跟踪系统实时获取设计用户的视点和手部的位置、方向，数据手套读取用户手部的姿态信息，图形运算系统对应用户的视点变化和交互操作对所设计的虚拟对象进行变换和渲染。融合显示系统以双目立体视觉的方式将所设计对象所处的虚拟场景融合于真实世界的工作区之中，并将融合场景传送到HMD和大屏幕投影，分别供设计用户和学习观摩用户使用。

本发明采用以下技术方案实现：

一个基于视频透视式增强现实技术的真三维建模系统，如图1所示，其系统结构具体包括以下组成部分：

1)：双目摄像头：模拟设计用户的双眼，固定于头盔显示器上，用于采集真实世界场景；

2)：PC1真实场景采集与处理：通过使用1)双目摄像头和视频采集卡对真实场景进行采集和处理；

3)：PC2虚拟场景生成：接收13)PC6的输出数据并据此完成分别对应于左右眼的虚拟场景的绘制、注册和动画实现等任务；

4)：PC3通信与系统监控：是系统的通信和控制中心，还完成音频控制、光照控制以及硬件设备状态监控等任务；

5)：可编程控制器：用于控制音频子系统和光照子系统的开关和强度大小等；

6)：音频系统：提供设计交互时产生的声音信息，增强用户对设计对象的听觉感知；

7)：光照系统：通过光照系统的引入完善虚实之间的无缝融合，进一步增强用户的视觉感知；

8)：100兆交换机；

9)：高速以太网；

10)：PC4虚实场景融合（左眼场景）：将左路摄像头拍摄到的真实场景与虚拟场景进行融合渲染；

11)：PC5虚实场景融合（右眼场景）：将右路摄像头拍摄到的真实场景与虚拟场景进行融合渲染；

12)：视频透视式HMD：设计用户通过HMD查看设计结果；

13)：PC6交互信息采集与处理：对数据手套、磁力跟踪器等设备采集到的用户交互信息原始数据进行分析、计算和算法处理；

14)：分屏器（左眼场景）：10)PC4输出的左路虚实融合场景经此分屏器分两路同步传输，一路发送到HMD左显示器，供设计用户使用，另一路发送至投影仪，供观察用户使用；

15)：分屏器（右眼场景）：11)PC5输出的右路虚实融合场景经此分屏器分两路同步传输，一路发送到HMD右显示器，供设计用户使用，另一路发送至投影仪，供观察用户使用；

16)：数据手套：捕捉设计用户进行建模和设计交互时的手形变化原始信息；

17)：磁力跟踪器：实时跟踪用户的视点位置变化，用于所设计的对象在虚拟场景注册、定位和渲染，实时跟踪与所设计对象进行交互的手部的运动轨迹，并据此使所设计对象做出相应的反馈；

18)：投影仪：两个投影仪分别将左右眼两路融合场景投影到大屏幕；

19)：立体视觉投影：使用偏振光眼镜查看双目立体视觉投影，对用户的设计结果进行评价和反馈；

系统使用磁力跟踪器实时跟踪用户视角和手部的位姿变化，由电磁跟踪系统和数据手套读取的原始用户交互信息在PC6进行分析、计算和算法处理；PC2的主要任务包括接收PC6传来的用户视点位置、设计操作等数据信息，计算虚拟相机位置，并据此完成分别对应于左右眼的虚拟场景的绘制、注册；PC4和PC5接收由PC1传来的左右眼两路真实场景视频和由PC2传来的虚拟场景，并将两者进行无缝、自然的融合渲染；最后，所有的主机通过高速以太网互联，在PC3的管理和监督下协作运行。

一个基于视频透视式增强现实技术的真三维建模方法，如图2所示，其系统方法具体包括以下详细步骤：

1)：真实场景采集：对摄像头进行参数标定，用其采集真实世界场景的原始视频图像，并对其进行相关处理，主要是对拍摄的包含人手原始图像，经过基于肤色统计的图像分割处理后，进行虚拟手的三维重构，用于用户手部与所设计的虚拟对象间的碰撞检测，因此虚拟手并不在虚拟场景中显示；本子程序还要将拍摄到底真实场景数据传给6)虚实场景融合与渲染子程序；

2)：交互信息采集：实时采集磁力跟踪和数据手套的传感器原始数据，并进行校正处理；

3)：实时人机交互：完成本系统的核心工作，对由2)交互信息采集子程序发送来的数据进行分析和计算，设计实现相关算法来精确识别用户的交互动作，根据算法的输出结果触发相应的设计操作；

4)：虚拟场景生成：根据3)实时人机交互子程序传来的数据对虚拟对象进行处理，完成虚拟模型的实时建模、实时变形以及真实感图形的生成等任务，并将设计结果传给5)设计文档存取子程序和6)虚实场景融合与渲染子程序；

5)：设计文档存取：负责对本系统生成的设计文档进行管理，主要完成新建、打开、保存、关闭等任务，此外，还要记录系统每次的处理情况，如设计用户用了哪一类静态手形、哪一类动态手势，用这个手势触发了什么操作等。还要实时记录所设计对象的位置、形状、材质、纹理等属性。设计文档子程序采取了内容与形式的分离模式，方便系统的后续维护与开发；

6)：虚实场景融合与渲染：接收1)真实场景采集子程序和4)虚拟场景生成子程序传来的数据，实时调整虚拟对象的光照效果和渲染方式，实现两者自然无缝的融合和高效的渲染；

7)：双模式显示：根据用户在使用本系统时所处角色的不同，分别采用两种显示模式，来查看设计结果，同时，本子程序还处理显示设备间的协调工作；

8)：通信与系统监控：是保证整个系统高效运行的基础，基于局域网的实时通信协议主要包括多机同步信息、硬件控制命令信息、传感器信息、渲染命令信息等，使系统的各个部分高效、鲁棒地协同工作。通信子程序被调用时首先检查自己是否被初始化，在初始化中，收集各子程序的信息来灵活地决定发送接收缓冲区的大小。若该子程序所包含的socket尚未与其对应的远端socket连接，则尝试连接。若已连接，则通过检查socketmap容器决定工作模式（Server/Client），并申请缓冲区，建立通信线程，执行通信主体，以服务器先发送，客户端接收后发送，服务器最后接收为一次通信流程，然后通过等待渲染主线程的事件进行多线程同步。此外，本子程序还兼顾了系统的可扩展性，预留了一些接口，为系统的后续开发和完善奠定基础。

更为详细地，所述子程序1)真实场景采集具体包括以下步骤：

1)-1：相机标定：拍摄带有标准棋盘格标识的图片，利用数字图像处理技术求得摄像头的内部参数和外部参数；

1)-2：真实场景采集：使用标定好的摄像头和视频采集卡进行真实场景采集，为后续的视频分析处理和虚实场景融合奠定基础。

更为详细地，所述子程序2) 交互信息采集子程序具体包括以下步骤：

2)-1：原始交互信息的采集：实时采集设计用户头部和手部的坐标数据，以及五指的弯曲变化情况；

2)-2：原始交互信息的校正：由于仪器本身以及用户穿戴习惯等因素的不同，磁力跟踪器和数据手套的传感器采集到的原始数据不可避免地存在较大误差，本子程序采用改进的线性回归模型对采集的原始数据进行校正，大大提高了交互数据的精度。

更为详细地，所述子程序2)-1原始交互信息的采集具体包括以下步骤：

2)-1-1：使用磁力跟踪器实时跟踪用户头部和手部的位置与姿态信息；

2)-1-2：使用数据手套实时获取五指的变化数据。

更为详细地，所述子程序3) 实时人机交互子程序具体包括以下步骤：

3)-1：人机交互算法：设计并实现一系列算法，对经过子程序2)-2校正后的数据进一步分析和处理，据此完成人机交互；

3)-2：用户操作：根据子程序3)-1的人机交互结果触发相应的用户设计操作。

更为详细地，所述子程序3)-1人机交互算法具体包括以下步骤：

3)-1-1：静态手形识别算法：采用数据手套和摄像头结合的方式，首先采用水平集算法从采集到的视频图像中分割出用户手部，与模板库进行比较，初步判断手形类别，然后根据数据手套获取的五指弯曲度等数据，基于粗糙集理论识别手形，最后，根据不同的权值两者结合确定静态手形类别；

3)-1-2：动态手势识别算法：在判断出静态手形的基础上，首先根据磁力跟踪器获取的手部运动轨迹初步确定动态手势分类，然后对采集到的视频采用光流法算法跟踪手势，最后，根据不同的权值两者结合确定动态手势类别；

3)-1-3：三维注册算法：采用改进的线性回归模型对磁力跟踪数据进行误差校正，并利用校正过的数据完成对设计人员头部、手部的实时方位跟踪以及所设计对象在虚拟场景中的三维注册；

3)-1-4：碰撞检测算法：利用Vclip算法对AABB包围盒进行底层碰撞检测计算，用GPU的遮挡查询等特性进行三角形相交测试，以提高虚实场景之间和虚拟对象之间碰撞检测的精确性与实时性。

更为详细地，所述子程序3)-2用户操作具体包括以下步骤：

3)-2-1：工具选择：任何复杂的三维物体都可以分解成为相对简单的基本图元，如点、线段、面片等。本发明要进行三维建模系统，首先就要确定用于绘制基本图元的绘图工具。在实时设计时，用户需先选定合适的设计工具，如直线工具、曲线工具、圆形工具、纹理工具、材质工具等等；

3)-2-2：实时绘制：选定绘制工具后，就可以开始实时绘制，如画一个金字塔，设置对象的材质，设置对象表面的纹理等等，由于本发明是在一个真三维工作区中绘图，所以传统的通过鼠标键盘定位方式不适用于本发明。对此，本发明使用电磁跟踪系统和数据手套来获取用户的绘制操作；

3)-2-3：对象选择：在设计复杂的三维模型或场景时，当所设计对象由多个子对象构成时，用户必须选中其中的一个子对象进行操作；

3)-2-4：编辑对象：选中对象后，可以对其进行平移、缩放、旋转等操作；

3)-2-5：删除对象：当某个子对象成为冗余部分时，用户可以将其删除；

3)-2-6：其他操作：其他必要的操作动作。

更为详细地，所述子程序7)双模式显示子程序具体包括以下步骤：

7)-1：设计用户利用视频透视式HMD查看虚实融合后的设计结果；

7)-2：学习观摩用户带上偏振光眼镜，可以在大屏幕上查看具有立体视觉的虚实融合后的设计结果，并对其进行评价。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：首先，本发明实际上提出了一种全新的设计开发理念——将设计人员的工作区由二维平面拓展到一个真三维的空间区域，随着计算机技术的发展，这种真三维设计理念将成为必然的趋势，必将引起计算机建模与设计平台开发领域的一场变革。其次，本发明引入AR技术进行实时人机交互和虚实融合显示，让用户在一个虚实结合的真三维工作区中进行建模和设计开发工作，极大增强了用户的沉浸感。其三，本发明根据系统的需要，经过比较和遴选，最终采用了视频透视式AR技术，兼顾了设备成本、系统性能和适应性等数个方面的因素。

附图说明

图1为本发明基于视频透视式增强现实技术的真三维建模系统结构组成概念图。

图2为本发明基于视频透视式增强现实技术的真三维建模方法划分图。

图3为本发明一个优选实施例的系统组建详细示意图。

具体实施方式

本发明的优选实施例结合附图说明如下：

实施例一：

 参见图1，本发明基于视频透视式增强现实技术的真三维建模系统结构组成概念图。系统使用磁力跟踪器实时跟踪用户视角和手部的位姿变化，由电磁跟踪系统和数据手套读取的原始用户交互信息在PC6进行分析、计算和算法处理；PC2的主要任务包括接收PC6传来的用户视点位置、设计操作等数据信息，计算虚拟相机位置，并据此完成分别对应于左右眼的虚拟场景的绘制、注册；PC4和PC5接收由PC1传来的左右眼两路真实场景视频和由PC2传来的虚拟场景，并将两者进行无缝、自然的融合渲染；最后，所有的主机通过高速以太网互联，在PC3的管理和监督下协作运行。

实施例二：

参见图2，本发明基于视频透视式增强现实技术的真三维建模方法，并用上述系统进行建模，其特征在于：首先通过拍摄标识图片，利用数字图像技术获得相机的内部参数和外部参数，完成相机标定；然后利用标定好的摄像头和视频采集卡进行真实场景采集，为后续的虚实融合奠定基础；采用改进的线性回归模型对实时采集的用户头部，手部和五指弯曲的数据进行校正，减少因测量带来的误差；最后让用户通过视频透视式HMD观看虚实融合的效果并进行交互操作。

实施例三： 参加图3，本发明基于视频透视式增强现实的真三维建模系统和方法，具体包括以下组成部分：

首先，设计用户是在一个现实世界的三维工作区中进行建模和设计工作，而所设计的对象以虚拟物体的方式呈现给用户，通过视频透视式增强现实技术将虚实场景两者完美融合。

利用摄像头和视频采集卡来真实世界场景视频。将摄像头固定于头盔显示器上，模拟设计用户的双眼，使其拍摄类似人眼观测到的图像，因此CAM1、CAM2这两个摄像头需要有较大的灵活性，以便能够不断调节，取得比较满意的图像。我们采用的是CBC公司的LCH-P49A工业摄像头，它具有背光补偿，自动白平衡，自动增益控制等功能。其摄像头使用1/4"CCD(3.2×2.4mm)，水平清晰度500线。镜头的参数可调，焦距范围为4-9mm，最大光圈口径比为1:1.6，水平视角范围为51.8°-23.8°，垂直视角可调范围为38.3°-17.8°。该摄像头有许多可调节的参数，分辨率较高，使用它捕捉的图像质量很好，是一个比较符合设计初衷的选择。针对这两个摄像头，我们使用了Microview V211视频采集卡。它是基于PCI总线，采集PAL制、NTSC制标准黑白/彩色信号的两路高画质实时专业图像采集卡，支持两路视频输入并实时采集显示，单卡支持两路768×288×24 bit×25场/秒实时采集、显示，不占用CPU资源，支持一机多卡。为Win98/XP/2000/ME, Dos, WinCE, Linux等操作系统提供了很好的驱动，针对系统开发提供二次开发包(以下简称SDK)，可以使用Visual Basic、Visual C++、Delphi、VFW、Twain、Dshow、Labview等多种编程语言进行二次开发。

PC1是配置较高的图形图像工作站，具体完成以下工作：对摄像头进行参数标定；对摄像头和视频采集卡采集到的真实场景视频，进行适当的处理，具体的说，主要是对拍摄到的包含人手原始图像，经过基于肤色统计的图像分割处理后，进行虚拟手的三维重构；将拍摄到的真实场景视频数据在PC3的监督和管理下传给PC4和PC5；

本发明使用电磁跟踪系统和数据手套来实时捕获用户的交互操作。具体来说，本发明使用由Ascension公司生产的Flock of Birds跟踪器实时跟踪用户视角和手部的位姿变化，一套Flock of Birds包括一个发射器(XMTR)，若干接收器(Receiver)，若干控制盒(Bird Controller)，其中一个接收器对应一个控制盒。另外可选择性的搭配扩展发射器(ERT)和扩展控制盒(ERC)，其作用是加大跟踪器的工作空间(从方圆约1.2米扩展到方圆约3米)，扩展器也可以级联来继续扩展，在本发明中使用了两个接收器，分别用于获取用户的视点位置和手部位置。数据手套设有弯曲传感器，弯曲传感器由柔性电路板、力敏元件、弹性封装材料组成，通过导线连接至信号处理电路，使操作者以更加直接，更加自然，更加有效的方式与虚拟世界进行交互，能够大大增强互动性和沉浸感。本发明使用5DT公司的Data Glove 5 Ultra数据手套，该手套有5个传感器，可用来检测5个手指指间关节处的弯曲度，经过归一化可转为角度。

由电磁跟踪系统和数据手套读取的原始用户交互信息在PC6进行分析、计算和算法处理。首先，由于仪器本身以及用户穿戴习惯等因素的不同，磁力跟踪器和数据手套的传感器采集到的原始数据不可避免地存在较大误差，本步骤采用改进的线性回归模型对采集的原始数据进行校正，大大提高了交互数据的精度。然后，设计并实现一系列算法，具体包括三维注册、碰撞检测以及动静态手势识别等，对经过校正后的数据进一步分析和处理，完成用户操作的精确识别，触发相应的用户设计操作。

PC2也是高速图形图像工作站，其主要任务包括接收PC6传来的用户视点位置、设计操作等数据信息，计算虚拟相机位置，并据此完成分别对应于左右眼的虚拟场景的绘制、注册；对于用户的设计操作，PC6通过对场景中的虚拟设计对象进行实时变形、动画渲染以及产生模拟音效等方式进行反馈。虚拟场景中的视频信息将通过高速以太网发送到PC4和PC5，而音频信息将直接发送到设计用户的头盔系统的左右声道。

与PC1、PC2一样，PC4和PC5都是高配置的图形图像工作站，接收由PC1传来的左右眼两路真实场景视频和由PC2传来的虚拟场景，并将两者进行无缝、自然的融合渲染。融合后的结果场景视频经过分频器分为两路，一路发送到HMD供设计用户使用，另一路发送到大屏幕投影，学习观摩用户带上偏振光眼镜，便可以在查看具有立体视觉的虚实融合设计结果，并对其进行评价。

最后，所有的主机通过高速以太网互联，在PC3的管理和监督下协作运行。PC3是整个系统的通信中枢，是保证整个系统高效运行的关键，主要完成包括多机同步信息、硬件控制命令信息、传感器信息、渲染命令信息等任务；而且PC3还通过可编程逻辑控制器(Programmable Logic Controller，PLC)控制真实工作区中的灯光和音响效果，实现了设计对象模型亮度与渲染场景的在视觉和音效方面氛围的一致性。

头盔式显示器是增强现实系统中实现虚实结合最常用的显示设备。本发明中设计用户所用的头盔显示器采用了Virtual Research Systems公司的V8型视频透视式头盔显示器，V8头盔提供左右两片真彩色LCD显示器，接收800×600×60Hz×2信道的VGA视频信号，图像质量相当于CRT显示器，提供双声道的耳机，质量为一千克。具有轻巧耐用、易于调节的优点。由于V8头盔是用于虚拟现实的，为了在视频透视式增强现实系统中使用，我们对V8头盔进行了改造，在头盔显示器上安装了CAM1、CAM2两个摄像头，并加装了磁力跟踪系统的接收器。

Claims (2)

1.一种基于视频透视式增强现实的真三维建模系统，特征在于其包括以下组成部分：

1)：双目摄像头(Logitech, Pro C910)：模拟设计用户的双眼，固定于头盔显示器上，用于采集真实世界场景；

2)：PC1（DELL, PRECISION 690）真实场景采集与处理：通过使用1)双目摄像头和视频采集卡对真实场景进行采集和处理；

3)：PC2（DELL, PRECISION 690）虚拟场景生成：接收13)PC6的输出数据并据此完成分别对应于左右眼的虚拟场景的绘制、注册和动画实现等任务；

4)：PC3（DELL, OPTIPLEX 360）通信与系统监控：是系统的通信和控制中心，还完成音频控制、光照控制以及硬件设备状态监控等任务；

5)：可编程控制器(Omron, CPM2A)：用于控制音频子系统和光照子系统的开关和强度大小等；

6)：音频控制器(绎创科技有限公司, USB-DMX512)：提供设计交互时产生的声音信息，增强用户对设计对象的听觉感知；

7)：光照控制器(绎创科技有限公司, USB-DMX512)：通过光照系统的引入完善虚实之间的无缝融合，进一步增强用户的视觉感知；

8)：100兆交换机(D-Link, DES-1050G)；

9)：高速以太网；

10)：PC4（DELL, PRECISION 690）虚实场景融合（左眼场景）：将左路摄像头拍摄到的真实场景与虚拟场景进行融合渲染；

11)：PC5（DELL, PRECISION 690）虚实场景融合（右眼场景）：将右路摄像头拍摄到的真实场景与虚拟场景进行融合渲染；

12)：视频透视式HMD(Liteye, LE-500)：设计用户通过HMD查看设计结果；

13)：PC6（DELL, OPTIPLEX 360）交互信息采集与处理：对数据手套、磁力跟踪器等设备采集到的用户交互信息原始数据进行分析、计算和算法处理；

14)：分屏器(MT-VIKI, MT-2504)（左眼场景）：10)PC4输出的左路虚实融合场景经此分屏器分两路同步传输，一路发送到HMD左显示器，供设计用户使用，另一路发送至投影仪，供观察用户使用；

15)：分屏器（MT-VIKI, MT-2504）（右眼场景）：11)PC5输出的右路虚实融合场景经此分屏器分两路同步传输，一路发送到HMD右显示器，供设计用户使用，另一路发送至投影仪，供观察用户使用；

16)：数据手套(5DT, Data Glove 5 Ultra)：捕捉设计用户进行建模和设计交互时的手形变化原始信息；

17)：磁力跟踪器（Ascension, Flock of Birds）：实时跟踪用户的视点位置变化，用于所设计的对象在虚拟场景注册、定位和渲染，实时跟踪与所设计对象进行交互的手部的运动轨迹，并据此使所设计对象做出相应的反馈；

18)：投影仪（SONY, VPL-EX176）：两个投影仪分别将左右眼两路融合场景投影到大屏幕；

19)：偏振光眼镜(GELETE, GDD2012)：使用偏振光眼镜查看双目立体视觉投影，对用户的设计结果进行评价和反馈；

系统使用磁力跟踪器实时跟踪用户视角和手部的位姿变化，由电磁跟踪系统和数据手套读取的原始用户交互信息在PC6进行分析、计算和算法处理；PC2的主要任务包括接收PC6传来的用户视点位置、设计操作等数据信息，计算虚拟相机位置，并据此完成分别对应于左右眼的虚拟场景的绘制、注册；PC4和PC5接收由PC1传来的左右眼两路真实场景视频和由PC2传来的虚拟场景，并将两者进行无缝、自然的融合渲染；最后，所有的主机通过高速以太网互联，在PC3的管理和监督下协作运行。

2.一种基于视频透视式增强现实的真三维建模方法，利用权利要求1所述的基于视频透视式增强现实的真三维建模系统进行建模，其具体操作步骤如下：

1)：相机标定：拍摄带有标准棋盘格标识的图片，利用数字图像处理技术求得摄像头的内部参数和外部参数；

2)：真实场景采集：使用标定好的摄像头和视频采集卡进行真实场景采集，为后续的视频分析处理和虚实场景融合奠定基础；

3)：原始交互信息的采集：实时采集设计用户头部和手部的坐标数据，以及五指的弯曲变化情况；

4)：原始交互信息的校正：由于仪器本身以及用户穿戴习惯等因素的不同，磁力跟踪器和数据手套的传感器采集到的原始数据不可避免地存在较大误差，采用改进的线性回归模型对采集的原始数据进行校正，大大提高了交互数据的精度；

5)：人机交互算法：设计并实现一系列算法，对经过步骤4)校正后的数据进一步分析和处理，据此完成人机交互；

6)：用户操作：根据子步骤5)的人机交互结果触发相应的用户设计操作；

7)：设计用户利用视频透视式HMD查看虚实融合后的设计结果；

8)：学习观摩用户带上偏振光眼镜，可以在大屏幕上查看具有立体视觉的虚实融合后的设计结果，并对其进行评价；

       本方法首先通过拍摄标识图片，利用数字图像技术获得相机的内部参数和外部参数，完成相机标定；然后利用标定好的摄像头和视频采集卡进行真实场景采集，为后续的虚实融合奠定基础；采用改进的线性回归模型对实时采集的用户头部，手部和五指弯曲的数据进行校正，减少因测量带来的误差；最后让用户通过视频透视式HMD观看虚实融合的效果并进行交互操作。

Images