CN102263772A - 基于三维技术的虚拟会议系统 - Google Patents

Abstract

本发明是一种基于三维技术的网络会议系统与方法，属于虚拟现实技术领域，和三维技术领域，也是电子商务范畴。本系统在虚拟空间中进行会议，解决了视频网络会议缺乏会议现场感和交互，容易泄露与会者形象隐私的问题，同时不依赖于视频数据，规避了会议效果易受网络影响的问题。所述系统的特征是，与会者通过Web浏览器，控制虚拟人物进入3D虚拟会议室参加会议，通过对3D人物、物品的控制和UI(User Interface)操作，完成现实会议，包括建设、切换动态的会议室环境，建设会议性质，动态共享文件，同步操作复杂结构的3D物品等。系统具备易用性和高安全性，为分布在世界各地的与会者提供了一个即时性、立体化的会议平台。

Description

基于三维技术的虚拟会议系统

技术领域：

本发明是将三维技术和虚拟现实技术应用于网络会议系统，在虚拟空间中组建在线立体会议，涉及计算机虚拟现实技术，三维技术和电子商务技术领域。

背景技术：

世界经济快速的发展节奏，使越来越多的企业开始应用网络会议，以在降低成本的同时，得到实时高效的决策。网络会议是指通过现有的各种电气通讯传输媒体，将人物的静态或动态图像、语音、文字、图片等多种信息分送到各个用户的计算机上，使得在地理上分散的用户可以共聚一处，通过图形、声音等多种方式交流信息，增加双方对内容的理解能力和沟通。目前主流的是视频网络会议。视频网络会议能够直观、全面地传达会议信息，但存在这样几个问题；视频数据对网络有很高的要求，基于高端专线和硬件设备的视频会议产品昂贵，无法普及，而基于Internet的软件系统在性能与效果方面很难达到专业的视频会议效果；与会者采取视频切换或多个视频窗口看其他与会者，不能在同一时刻获得所有成员的信息；会议临场感较差，与会者无法进行深度交互；同时，视频会议容易泄露与会者的形象隐私。在这种情况下，三维技术的虚拟会议系统应运而生。

虚拟会议系统采用了三维技术中的Web3D技术，建立立体的虚拟会议世界，将一切3D模型化，包括会议室、与会者和物品。与会者可以清楚地看到全场的动态，通过模拟现实控制这些3D内容，进行各种会议行为和交互行为，结合音频沟通，在保护了个人隐私的同时，清楚地表达了会议中的信息。Web3D技术是Web技术和3D技术相结合的产物，是指基于Internet的、依靠软件技术来实现的桌面级虚拟现实技术。其同步数据信息量，可以适用于大众IP网络环境。同时，此虚拟会议系统是纯Web应用，不涉及任何硬件会议设备，且不需要安装客户端，使用方式是通过Web浏览器直接进入虚拟会议室，在经济成本和易用性方面而言极易普及。

Web3D技术的特点是形象化展示，和强大的交互以及模拟功能，可以弥补视频网络会议平面化效果和缺乏交互的问题。基于Web3D技术的虚拟会议系统，支持设定会议性质，建设组装合适风格和规模的3D写实会议场景，使与会者有强烈的临场感。同时，在虚拟会议系统中，模型化的人物和物体能够进行充分的交互，例如将模型化的产品进行结构拆解，此类交互功能对于目前网络会议的发展趋势——虚拟合作应用服务而言，在客户服务、人员培训、技术支持和产品发布诸方面都会发挥更深远的作用。

发明内容：

本发明提供一种将三维技术中的虚拟现实Web3D技术应用于网络会议的方法，以解决主流的视频化网络会议的会议效果依赖于硬件终端、传输数据量大、缺乏交互、会场平面化和易泄露与会者形象隐私的问题。此方法为纯Web应用，不涉及硬件视频终端设备和客户端安装；此方法用虚拟3D人物和音频代替视频，不涉及隐私，而且不需要大量的同步数据，只使用较少的网络资源，就能够充分沟通会议信息；此方法支持与会者之间、与会者与物品之间的多种交互；此方法立体、动态地显示会议场景，有会议现场感；此方法能够使虚拟会议室支持不同性质的会议，灵活实用。

本发明提供一种基于三维技术中的虚拟现实Web3D技术的网络会议方法，该方法包括：自由装饰、切换的3D场景，用3D物品和多媒体资源，创建和修改个性化的3D虚拟会议室，保存场景数据，可以随时切换会议室场景，各客户机中的场景同步变化和切换；显示文件和应用的3D物品载体，在展示和标识文件内容的同时，可以调整该3D物品载体的颜色、大小、位置等属性，展示和标识文件、调整载体的外形操作在各客户机同步共享；3D物品根据其模型数据获取不同的展示方式，包括操作和展示物品的整体外形、部件、结构、动画，各客户机同步共享该操作和展示过程；随时切换会议性质，调整与会者的使用权限，成为圆桌会议、培训会议、新品发布会议等。

在此提供的可布置的虚拟会议室还包括，3D物品和多媒体资源可以由用户制作，上传至3D空间，实时组装场景；3D会议室空间的组成内容和装饰内容(视频、动画、图片等)，根据用户操作的虚拟人物对内容的关注度，进行动态变化，各客户机中的场景可以选择同步或非同步变化；3D会议室空间中的物品操作绑定机制，物品移动时的依附点是鼠标光标与3D平面的交点，使物品的移动操作不是在空间中无序移动，而是贴着虚拟场景的墙壁、地面和其它物品的平面移动，方便摆放物品与绑定物品，两个紧贴的物品可以单独或一起被移动、缩放、旋转。

本发明还包括一种基于三维技术中的虚拟现实Web3D技术的虚拟会议系统，包括客户机浏览器前台，所述前台包括布置与切换环境单元、虚拟人物组合单元、动态场景感应单元、会议沟通单元、3D物品同步展示单元、文件共享与载体调整单元、调整会议性质单元。所述系统还包括同步服务器，所述同步服务器与客户端前台双向通信，包括人物信息同步、通信信息同步、共享资源同步。所述系统还包括逻辑处理服务器，所述逻辑处理服务器处理来自客户端前台的消息并返回，包括数据库和会议室管理、聊天管理、资源管理。

本发明具有以下优点和有益效果：

建立了立体的、写实的会议室场景，使分散在各地的与会者有会议现场感。支持设置不同的会议性质，提高会议室的实用性。自由上传道具和资源，根据会议风格装饰适合的会议室场景，以低成本满足各类会议的外观需求和企业文化宣传需求。同时，用具备灵活动作和表情的3D人物模型代替与会者本身形象，使与会者保护了个人形象隐私，并且不会分散注意力到自身和他人的外表形象上，有助于提高会议效率。

本发明用3D模型实现会议中的人物和物品，使与会者之间，与会者与物品之间可以进行现实会议中的各种自然互动，也可以完成现实中一些不方便执行的互动，例如将产品最底层的物理结构分解出来展示。同时，相较视频网络会议而言，只需要较小的数据量传输，会议效果不易受网络类型和状态的影响，也不需要特制的会议终端硬件支持，在有网络的地方就可以组织和参加会议。

附图说明：

图1是本发明一种基于三维技术的中的虚拟现实Web3D技术的虚拟会议方法的重点功能图。

图2是本发明一种基于三维技术的中的虚拟现实Web3D技术的虚拟会议系统的运行示意图。

图3是虚拟会议系统的结构框图。

图4是布置与切换环境单元的实施示意图。

图5是布置虚拟会议室场景的示意图。

图6是动态场景感应单元的实施示意图。

图7是会议沟通单元的示意图。

图8是3D物品同步展示单元的实施示意图。

图9是文件共享与载体调整单元的实施示意图。

图10是调整会议性质单元的实施示意图。

具体实施方式：

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，是本发明一种基于三维技术的中的虚拟现实Web3D技术的虚拟会议方法的重点功能图，包括以下内容：

步骤101、在会议开始前或开始中，设置和调整会议的性质，设置为讨论会议、或培训会议、或产品发布会议、或技术支持会议。

步骤102、与会者可以在任何时候布置和调整会场，包括会前或会议进行过程中。布置会议室包括替换会议室的主色调，从装饰资源列表中向会议室中添加物品，在会议室删减物品，调整物品的大小、位置和朝向，各客户机的场景同步变化。物品包含桌椅、绿植、音视频播放虚拟设备、海报画框、Logo画框等；为会议室物品添加的内容，包括音频、视频、图片、动画。物品可以使用会议室系统自带的装饰物品，也可以上传物品模型到装饰资源列表中。上传内容要符合系统的文件规格，包括：(1)物品模型的中心点设定在物品外围长方体的中心点；(2)物品的模型文件是.wrl格式，.wrl是基于网络的虚拟现实文件格式。

设计装饰完成的会议室场景可以存储为模板，与会者可以任何时候通过选择模板来切换场景，营造不同的会议氛围，各客户机的场景同步切换。

步骤103、会议室局部环境的动态感应。与会者操作的虚拟人物进入3D会场后，会场空间的组成内容和装饰内容，如模型、视频、动画、图片等，可以根据虚拟人物对内容的关注度，进行动态变化。其他与会者在本客户机可以选择场景的同步变化或非同步变化。

步骤104、同步调整共享文件的3D载体。与会者能够上传文件到3D模型上，使文件在模型上展示、翻页浏览、用虚拟激光笔在文件上用红色光点游走，或画线标注。文件内容与操作在各客户机同步共享，系统支持office文件中的word、ppt、excel文件和pdf文件、图片文件的共享。在展示和标识文件内容的同时，与会者还可以调整该3D模型载体的颜色、大小、位置等，各客户机同步共享。即可以同时对展示载体和展示内容进行操作，变化在各客户机同步共享。

步骤105、同步浏览、解构和组装3D物品。与会者结合物品沟通时，例如介绍产品，需要向会议室场景上传物品信息，主要是物品模型。若要展开对物品内部结构的交互，需要上传各部件模型、部件之间的层级关系。还可以上传和展示物品或部件的动画、对应的文字信息。此部分若有内部结构的交互，则涉及到复杂的展示数据，上传过程需要严格遵循系统的上传规格，包括：(1)物品模型的中心点设定在物品外围长方体的中心点；(2)物品模型和动画的文件是.wrl格式，.wrl是基于网络的虚拟现实文件格式；(3)需要单独展示的部件的模型文件单独导出。且模型中心点在该部件外围长方体的中心点；(4)准确指定部件的父级部件，以及中心点和其父级中心点的相对三维位置；(5)若物品或部件有展示动画，每个动画过程只提供一个时间控制器。上传完成后，物品整体的3D模型出现在虚拟会议室场景中，与会者可以对物品进行移动、缩放、动画展示、文字资料展示、部件单独展示和整体物品结构的剖解展示，各客户机同步共享操作和展示过程。

基于上述的虚拟会议方法，本发明还提供一种虚拟会议系统。参见图2，示出系统的运行过程。包括客户端201、逻辑处理服务器202和同步服务器203。客户端201包括四个步骤：下载安装VBS插件2011，下载所需资源到本地2012，解析VBS标心语言、渲染资源2013，前台显示和前台逻辑处理2014。逻辑服务器202包括逻辑数据处理和反馈2021，数据存储和管理2022和数据库。同步服务器203主要包括同步数据处理和传输2031。

虚拟会议系统在客户机上通过浏览器访问运行。不需要单独下载客户端安装，首次运行时自动执行步骤2011：下载安装VBS插件。通过VBS插件在IE、Mozilla Firefox、Safari、谷歌浏览器、Maxthon、Opera这些常用浏览器上搭建3D应用环境。

步骤2012：下载所需资源到本地。包括VBS脚本文件、3D场景资源、3D物品资源、3D人物资源、音视频多媒体资源、UI资源。脚本文件包括了所有本地处理的文件。

步骤2013：解析VBS标记语言、渲染资源。通过步骤2011中下载的VBS插件对标记语言进行解析，和最后的美术资源渲染，使3D模型资源在浏览器中构建并显示出来。

步骤2014：前台显示和前台逻辑处理。渲染完成后，虚拟会议系统的所有美术资源得以在客户机前台显示。通过步骤2012中下载的VBS脚本文件，对本地逻辑进行处理，实时与逻辑处理服务器和同步服务器通信，推进会议的进行。

步骤2021：逻辑数据处理和反馈。客户机前台与逻辑处理服务器为单向通信，前台将非即时同步消息发送至逻辑处理服务器，经过处理后返回客户机显示。

步骤2022：数据存储和管理。逻辑处理服务器将需要保存的数据集中放在数据库中进行存储管理。数据库为企业的数据库。

步骤2031：同步数据处理和传输。客户机前台与同步服务器为双向通信，客户机前台将即时同步消息发送至同步服务器，经过同步服务器处理与其他客户机达成同步。客户机即时收到和显示同步服务器发来的同步消息。

参照图3，是本发明一种虚拟会议系统的结构框图。包括客户端部分301、逻辑处理服务器部分302和同步服务器部分303。客户端部分301包括布置与切换环境单元3011，虚拟人物组合单元3012，动态场景感应单元3013，会议沟通单元3014，3D物品同步展示单元3015，文件共享与载体调整单元3016，调整会议性质单元3017。同步服务器部分302包括人物信息同步3021，通信信息同步3022，共享资源同步3023。逻辑处理服务器部分303包括会议室管理3031，聊天管理3032，资源管理3033和数据库3034。

布置与切换环境单元3011的实施示意图参照图4。系统通过逻辑处理服务器访问数据库，获取资源数据(S401)。从逻辑处理服务器的会议室管理部分下载与数据对应的美术资源，包括会议室场景的模型和图片、供替换主色调的图片、会议室系统自带的装饰物品模型和图片(S402)。美术资源在客户端解析处理后得以显示。用户在虚拟会议室进行的物品添加、删除、移动、旋转、缩放。移动操作过程贴着虚拟场景的墙壁、地面和其它物品进行平面移动，方便摆放物品，同时方便与其他物品绑定，两个绑定的物品可以单独或一起被操作。这些内容均在客户端本地完成处理(S403)，在各客户机同步显示。用户在本地进行物品模型资源上传，和音频、视频、图片、动画的添加行为时(S404)，发送上传内容给逻辑处理服务器(S405)，由逻辑处理服务器进行详细的上传处理(S406)，然后返回客户端显示(S407)。会议室装饰完成，或者进一步存储为模板时(S408)，资源发送于逻辑处理服务器的会议室管理部分保存(S409)，资源的数据信息发送于数据库存储(S4010)。与会者切换会议场景时(S4011)，发送切换命令给逻辑处理服务器(S4012)，然后通过数据库获取场景的资源数据(S4013)(S4014)，最终在各客户机同步显示切换的场景(S4015)。

图5为虚拟会议室布置场景示意图，501示意可供上传图片、动画和视频的画框部分；502和503分别示意场景内的桌子、绿植。移动物体的实现方法是：502在拖拽移动至503上时，程序底层的节点会输出鼠标和503表面二者接触点的点坐标和法线向量，控制502在503上的移动垂直于该503平面，从而使物品的拖动能够贴着平面移动。502在拖拽移动至503上时，自动绑定503与502的位置父子关系，502的坐标中心变更为503的坐标中心，从而实现移动、缩放、旋转503时，二者的绑定操作。将502移离503时，自动解除位置父子关系。504示意资源列表，包含了系统自带的美水资源和与会者自己上传的资源；505示意可供替换会议室场景主色调的色板。

虚拟人物组合单元3012，系统支持与会者自己上传3D人物模型、动作和套装三种资源，发送上传内容给逻辑处理服务器，由逻辑处理服务器进行详细的上传处理，然后返回客户端显示3D人物的资源。与会者可以进行整套人物形象的选择，也可以对人物形象进行自由组合，包括发型、面容、上衣、下装、鞋袜各部分的组合。在组合选装时需要先选定人物性别，即选定人物的身体模型和骨骼，然后组合不同的套装。选择或组合后的3D人物形象能够进行身高、胖瘦的调整，和各角度立体展示。

动态场景感应单元3013是指场景中的视频、图片序列、动画等动态连续播放内容对人物兴趣的自动感应，根据3D虚拟人物的视角移动情况和位置，判断与会者对播放内容的兴趣度，同时调整自身的播放速度和播放方式，速度与方式由系统设定。若客户机选择不同步该功能，则场景只显示系统对本机虚拟人物感应时的动态变化效果；若客户机选择同步该功能，则场景显示对所有虚拟人物感应的动态变化效果，即多人参与的动态场景。示意图参照图6，601为动态播放内容，例如连续图片、视频等；602为与会者在客户端的摄像机视角。当判断601与602二者的夹角在603(150度)和604(210度)之间，并且与会者的虚拟人物的物理位置在601周边的规定范围即感应范围605之内时，触发用户兴趣感应，动态播放内容自动调整其播放速度或播放方式。

会议沟通单元3014的实施示意图参照图7。会议沟通的主要信息获取是通过音频网络通信和文字网络通信。音频通信的处理过程是，与会者通过音频外设输入(701)，客户端部分采集音频数据，发送给通信信息同步向其他各客户端进行同步广播。文字通信的处理过程是，与会者通过客户端部分的UI输入文字，客户端发送聊天管理存储，通过通信信息同步与所有客户端同步。

会议的直观信息，是与会者在通信过程中，通过操作虚拟人物的自然交互表情和动作来传达和获取的。每种会议的常用行为和态度对应一套固定的表情和动作，通过绑定表情与动作二者来准确丰富人物的行为和态度信息。系统配备有两类表情和动作，一类为非直接输入类型，例如702示意的人物使用虚拟激光笔讲解文件的动作，在与会者使用激光笔功能时，此对应动作自动显示，使虚拟人物完整展现与会者的各种会议行为。又如与会者的视角变化时，虚拟人物的头部和身体随之适当转动，使虚拟人物与与会者合为一体；另一类为直接输入类型，当与会者需要通过肢体动作强调讲话内容，或者表达态度时，在703示意的动作表情列表中选择内容，虚拟人物在场景中做对应的动作和表情，来传达信息，如704所示。

3D物品同步展示单元3015的实施示意图参照图8。实现方式是，与会者在虚拟会议室中按照流程上传物品模型资源(S801)，每一步都进行资源规格的审核判断(S802)，若单独上传了物品的部件，需要填写物品的树状结构，即各部件的层级关系(S803)。将系统支持的资源内容发送给逻辑处理服务器的资源管理部分(S804)，进行上传处理，上传处理是根据树结构梳理模型资源，绑定动画资源，将这些资源整合成与该物品相关的一套数据和程序代码(S805)，然后返回给客户机(S806)进行文件解析和展示(S807)。同时发送给同步服务器的共享资源同步部分(S808)，以与其他客户端达成同步(S809)。与会者在会议室中对物品进行移动、旋转、缩放、操作动画、解析结构或展示单部件等操作时(S810)，会同时发送给同步服务器(S811)，以与其他客户端达成同步(S812)。

文件共享与载体调整单元3016的实施示意图参照图9。与会者在会议中展示文件时，需要是系统支持的文件格式(S901)，然后发送给逻辑处理服务器的资源管即部分进行处理(S902)。资源管理部分判断是否是pdf或图片文件(S903)，若不是则需要通过open office服务将文件转为pdf文件(S904)。文件显示需要页码标识，然后计算pdf页码(S905)，并转化为对应的jpeg图片(S906)，同时将文件数据保存至数据库中(S907)。同步服务器以定频率监测数据库的文件上传情况，监测到新的文件(S908)，广播给各客户端(S909)(S910)。当与会者对文件进行在3D模型载体上的打开显示、关闭、翻页时(S911)，通过同步服务器的共享资源同步与所有客户端同步(S912)(S913)，文件的具体展示通过在模型上贴图来实现。

与会者可以3D模型载体或2D UI上共享文件，3D模型载体用来在场景中观看，2D UI用来全屏观看。与会者在3D模型载体上对文件执行虚拟激光笔的画线标识操作时(S914)，通过同步服务器的共享资源同步与所有客户端同步(S915)(S916)。同时记录起始、结束和标记过程中的一系列关键坐标点，在2D UI中同步显示其标记(S917)。在2D UI上的文件做标记时，在3D模型载体上同步显示与此同理。

与会者调整3D模型载体的大小、位置等属性时(S918)，模型上展示的文件的位置与模型载体绑定移动，大小随着模型的大小进行自适应变化(S919)。同时，通过同步服务器的共享资源同步与所有客户端同步(S920)(S921)。各客户端根据模型载体的同步数据，本地自行处理文件的展示位置和大小(S922)。

调整会议性质单元3017的实施示意图参照图10。在会议开始前或会议中切换会议性质(S1001)，通过逻辑处理服务器的会议室管理获得对应的会议模式(S1002)(S1003)，指定与会者们在新的会议模式的角色，即会议权限分配(S1004)，同时通过同步服务器的人物信息同步，将会议模式和人物权限信息同步给各客户机(S1005)(S1006)，即形成设置的圆桌会议、或培训会议、或新品发布会议(S1007)。例如，圆桌会议的权限为1个会议主持人，1个会议发言人，会议发言人的权限由主持人随时赋予给任一与会者。进行权限分配时只需要指定一位与会者担任会议主持人即可。

以上对本发明所提供的一种基于三维技术的虚拟会议方法及系统，进行了详细介绍，本文中应用了实例对本发明的设计及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的设计和实施方法；对于本领域的设计人员和技术人员，依据本发明的思想，具体的设计和实施方式会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (3)

1.一种基于三维技术的网络会议方法，同时也是一种与会者只通过Web浏览器，不需要下载安装客户端，就可以与3D虚拟人物和3D物体进行交互，从而完成会议的方法，其特征在于，该方法包括：

自由装饰、切换的3D场景，用3D物品和多媒体资源，创建和修改个性化的3D虚拟会议室，保存场景数据，可以随时切换会议室场景，各客户机中的场景同步变化和切换；

显示文件和应用的3D物品载体，在展示和标识文件内容的同时，可以调整该3D物品载体的颜色、大小、位置等属性，展示和标识文件、调整载体的外形操作在各客户机同步共享；

3D物品根据其模型数据获取不同的展示方式，包括操作和展示物品的整体外形、部件、结构、动画，各客户机同步共享操作和展示过程；

随时切换会议性质，调整与会者的使用权限，成为圆桌会议、培训会议、新品发布会议等。

2.如权利要求1所述的方法，其特征在于，可装饰的3D会议室还包括：

1)3D物品和多媒体资源可以由用户制作，上传至3D空间，实时组装场景；

2)3D会议室空间的组成内容和装饰内容(视频、动画、图片等)，根据用户操作的虚拟人物对内容的关注度，进行动态变化，各客户机中的场景可以选择同步或非同步变化；

3)3D会议室空间中的物品操作绑定机制，物品移动时的依附点是鼠标光标与3D平面的交点，使物品的移动操作不是在空间中无序移动，而是贴着虚拟场景的墙壁、地面和其它物品的平面移动，方便摆放物品与绑定物品，两个紧贴的物品可以单独或一起被移动、缩放、旋转。

3.一种基于三维技术的网络会议系统，其特征在于，包括客户机浏览器前台，所述前台包括布置与切换环境单元、虚拟人物组合单元、动态场景感应单元、会议沟通单元、3D物品同步展示单元、文件共享与载体调整单元、调整会议性质单元。所述系统还包括同步服务器，所述同步服务器与客户端前台双向通信，包括人物信息同步、通信信息同步、共享资源同步。所述系统还包括逻辑处理服务器，所述逻辑处理服务器处理来自客户端前台的消息并返回，包括数据库和会议室管理、聊天管理、资源管理。

Images