CN102595096A - 基于图形图像同步的跨平台会议系统 - Google Patents

Abstract

本发明公开了基于图形图像同步的跨平台会议系统，实现跨平台的同步交流。其技术方案为：系统包括登陆模块、文件传输模块、画面显示模块、画面同步模块、多媒体沟通模块以及会议管理模块，其中：登陆模块，供与会者登陆系统；文件传输模块，在多个与会者的客户端之间进行文件传输；画面显示模块，进行图形图像的显示、控制；画面同步模块，通过同步会议机制和冲突消解机制实现会议画面的同步，通过客户端内部局域图像比对模型状态的变化，并针对模型变化的信息进行同步；多媒体沟通模块，实现多个与会者之间的视频、语音和文字的沟通交流；会议管理模块，实现会议内容和权限的管理。

Description

基于图形图像同步的跨平台会议系统

技术领域

本发明涉及一种计算机会议系统，尤其涉及一种可以跨平台的计算机会议系统。

背景技术

现有的远程会议系统有多种实现方式，例如申请号为CN201010215862.8的中国专利申请公开了一种远程会议用交互式图像信息传递系统和方法，包括：发送计算机，其中存储有远程会议用交互式图像，发送计算机能够通过互联网将当前使用的应用图像发送至接收计算机，这样，将应用图像同时显示在发送计算机和接收计算机上；发送计算机包括：标示模块，用于在发送计算机上的应用图像上产生标示符号；图像发送模块，用于收集形成标示符号的像素信息，并将所收集到的像素信息传递给接收计算机；接收计算机包括：图像接收模块，其中包括图像编辑器，用于接收图像发送模块发送的像素信息，并在接收计算机上的应用图像上显示标示符号。这一申请阐述了一种解决远程会议中时间滞后问题的方法，该专利采用的是丢掉滞后数据或者减缓标示的方法来实现同步，虽然能够保证同步，但是并未减少数据量，而且会造成大量数据丢失或者操作减缓而导致画面不连续或者操作不流畅。

申请号为CN200780001804.1的中国专利申请实现由一端进行获取三维场景，通过网络实现远程显示，类似于在家里安装摄像头，然后在办公室查看家里的状况。该申请针对的是远程探测器或者3D图像，并未涉及模型同步，而且传输数据量非常大，对网络和硬件的要求较高。

申请号为CN200510086338.4的中国专利申请实现了协同设计交流中的模型和操作同步方法，基于同一模型进行操作，所有客户端的操作最后在同一个模型上体现，这样的数据整合传输次数多，数据量巨大，对网络的依赖较大，不能实现基于相同内容的不同模型进行操作。

申请号为CN200410037325.3的中国专利申请基于命令/参数机制的协同，实现将不同设计师设计的零部件进行集中装配并进行交流的方法，虽然部分解决了模型传递的大数据量传输问题，实现各交流主体之间的通讯，减少了所有模型通过服务器的问题，但是进行同样是在一个共享的装配空间共享全部的信息，需要传递信息内容不变，没有从根本上改变传递的信息内容来实现同步。

上述现有的远程会议系统均没有涉及跨平台的远程会议，特别是当手机端与会者通过现有的远程会议系统实现交流，就会因为数据传输量过大而无法正常使用。当前，各种移动终端迅速普及，基于跨平台的专业技术交流尤其是是基于图形图像的交流需求迫在眉睫，同时需要参与人员能够随时随地的进行沟通，并且能够进行批注、编辑等各种操作，然而传统会议模式的图形图像数据量大，造成交流困难以致无法实现。

而且裸眼3D技术的发展风起云涌，如何能够让虚拟的图像真实的展现在用户面前，例如城市，街道让人自由的基于模型的交流，也是亟待解决的问题。

发明内容

本发明的目的在于解决上述问题，提供了一种基于图形图像同步的跨平台会议系统，实现跨平台的同步交流。

本发明的技术方案为：本发明揭示了一种基于图形图像同步的跨平台会议系统，包括登陆模块、文件传输模块、画面显示模块、画面同步模块、多媒体沟通模块以及会议管理模块，其中：

所述登陆模块，供与会者登陆系统；

所述文件传输模块，在多个与会者的客户端之间进行文件传输；

所述画面显示模块，进行图形图像的显示、控制；

所述画面同步模块，通过同步会议机制和冲突消解机制实现会议画面的同步，通过客户端内部局域图像比对模型状态的变化，并针对模型变化的信息进行同步；

所述多媒体沟通模块，实现多个与会者之间的视频、语音和文字的沟通交流；

所述会议管理模块，实现会议内容和权限的管理。

根据本发明的基于图形图像同步的跨平台会议系统的一实施例，所述文件传输模块以服务器集中散发或者p2p传输方式进行文件传输。

根据本发明的基于图形图像同步的跨平台会议系统的一实施例，所述文件传输模块包括文件自动共享单元和模型手动传输单元，其中：

所述文件自动共享单元，在会议过程中的多个与会者之间进行文件自动共享；

所述模型手动传输单元，以与会者手动传送接收的方式将文件传输给其他与会者。

根据本发明的基于图形图像同步的跨平台会议系统的一实施例，所述画面显示模块包括显示单元、图形图像控制单元，其中：

所述显示单元，实现3D模型、二维图纸、二维图片、文字、和/或视频的显示；

所述图形图像控制单元，对3D模型、二维图纸、二维图片、文字和/或视频进行操作控制。

根据本发明的基于图形图像同步的跨平台会议系统的一实施例，所述画面同步模块包括同步控制单元和冲突消解单元，其中：

所述同步控制单元，采用XMPP协议传输数据，通过p2p方式进行语言和文本消息的交流，传输模型/文档的状态信息并以文件操作为同步对象；

所述冲突消解单元，采用冲突消解机制消解会议过程中存在的进程冲突。

根据本发明的基于图形图像同步的跨平台会议系统的一实施例，所述多媒体沟通模块包括语音沟通单元、视频沟通单元和文字沟通单元。

根据本发明的基于图形图像同步的跨平台会议系统的一实施例，所述会议管理模块包括内容管理单元、权限管理单元、会议进程管理单元、与会人员管理单元、缓存管理单元，其中：

所述内容管理单元，进一步分为本地内容管理单元和网络内容管理单元，其中所述本地内容管理单元选择本地模型、图形图像、文档进行会议沟通，所述网络内容管理单元选择服务器端项目文档、项目模型、独立模型、图形图像进行会议沟通；

所述权限管理单元，对会议模型的操控权限进行设定和管理；

所述会议进程管理单元，对包括会议开启和会议结束的会议进行控制；

所述与会人员管理单元，对参加会议的与会人员进行管理；

所述缓存管理单元，对系统缓存进行管理。

本发明对比现有技术有如下的有益效果：所有与会者用户操控的都是本地模型，系统对所有模型的变化信息进行同步，所有需要传输的信息只是变化的信息，而不是模型或者电脑桌面共享等大量信息，这样就能将数据量减小到最少，从而实现跨平台(如手机端、PC端)的同步交流。

附图说明

图1示出了本发明的基于图形图像同步的跨平台会议系统的实施例的框图。

图2示出了本发明的系统运行的流程图。

图3示出了本发明的同步会议实现机制的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

图1示出了本发明的基于图形图像同步的跨平台会议系统的实施例的结构。请参见图1，本实施例的跨平台会议系统包括：登陆模块10、文件传输模块11、画面显示模块12、画面同步模块13、多媒体沟通模块14以及会议管理模块15。

登陆模块10供与会者登陆和登出系统，与会者只有登陆系统滞后才可以建立联系。与会者在登陆后与服务器建立联系，从服务器上获取好友信息、项目信息、作品信息、模型信息及相关的其他信息。

文件传输模块11负责在多个与会者的客户端之间进行文件传输。文件传输模块11的实现包括两种机制：由服务器集中散发以及采用p2p传输模式。在服务器集中散发的模式中，所有文件都先上传到服务器，由服务器散发到其他需要接收到的用户；在p2p传输模式中，当用户通过服务器和文件接收的其他用户建立联系后，文件直接由用户发送给其他用户。

文件传输模块11包括文件自动共享单元110和模型手动传输单元112。文件自动共享单元110中，在会议过程中的多个与会者之间进行文件自动共享。由于跨平台会议系统的机制是将信息量压缩到最小，因此当用户在会议中开始共享文件的时候，程序会自动共享给其他与会人员。同时保证边渲染、边显示，文件自动传输不影响会议的正常进行。在模型手动传输单元112中，是以与会者手动传送接收的方式将文件传输给其他与会者。

画面显示模块12进行图形图像的显示、控制，其进一步包括三个单元：显示单元120、图形图像控制单元122。显示单元120实现3D模型、二维图纸、二维图片、文字、和/或视频的显示，能够实现跨平台渲染和云渲染。图形图像控制单元122对3D模型、二维图纸、二维图片、文字和/或视频进行操作控制，包括对模型及图纸、文字、视频的各种操作(例如选择、放大、缩小、旋转、给模型添加备注、修改模型颜色、剖切构件、隐藏构件、标注、漫游、碰撞(干涉)检测、查看特性、截图、选择视口、单个模型二维三维切换、调整布局、参数调整等等)。

画面同步模块13通过同步会议机制和冲突消解机制实现会议画面的同步，通过客户端内部局域图像比对模型状态的变化，并针对模型变化的信息进行同步。画面同步模块13主要是设定同步策略，保证同步效果。任何一种同步机制都会受到交换数据量的大小和网络环境等因素的影响，当基础环境不理想时，需要一种机制来保证同步效果的及时性和准确性。

画面同步模块13包括同步控制单元130和冲突消解单元132。同步控制单元130采用XMPP协议传输数据，通过p2p方式进行视频、语音和文本消息的交流，传输模型/文档的状态信息并以文件操作为同步对象。同步控制单元130的同步会议机制实现步骤如图3所示。用户登陆后台服务器，建立与服务器之间的连接。然后获取与好友的连接，其步骤包括：(1)向服务器发送请求，获取在线好友列表；(2)通过服务器得到好友候选连接信息，候选音频编码信息、以及防火墙信息等多种信息；(3)在候选连接中选择一种最优且能成功建立的连接，可能采取TCP或UDP协议，并根据自身及好友防火墙设置，决定是否该连接是否需要透过STUN服务器穿透防火墙；(4)如果不能直接建立连接，通过Relay server(中继服务器)建立连接。

使用画面同步模块打开模型，向服务器发送请求，建立会议，添加指定好友加入建立的会议。然后，指定好友加入会议后，开始发送模型状态同步信息，步骤如下：(1)好友加入会议成功后，向邀请者回复信息，表示已经进入会议；(2)收到好友回复消息，将当前打开模型信息，包括模型文件、模型当前状态(如相机位置、视口信息等)进行编码；(3)将编码好的数据附加上会议时间戳，嵌入到XML数据流，发送给好友。

如果当前画面显示的模型状态信息有任何变化，比如模型被旋转、平移、缩放、选中或取消选中一个或多个实体、切换模型文件、渲染状态改变等等，则进行以下三个步骤：(1)发出模型状态修改消息；(2)画面同步模块接收到消息，将当前模型状态信息进行编码；(3)将编码好的数据附加上会议时间戳，嵌入到XML数据流，发送给好友。

如果接收到远端(会议中除自身以外的任意参与者)发送的模型状态消息，则进行如下步骤：(1)比较上一次接收到的模型同步消息时间戳，如果本次的时间戳比上次小，放弃该消息。如果比上次大，进行下一步；(2)锁定本地模型状态发送流程，即在接下里的模型变化中，不发送模型状态修改消息给其他与会者；(3)对消息进行解码；(4)将消息应用到本地的画面显示模块中；(5)刷新画面显示模块，重新绘制模型；(6)解除本地模型状态发送流程锁定。

会议结束以后，好友退出会议。然后会议创建者结束会议，退出服务器，删除与服务器的连接。

在本实施例中，同步控制的机制包括了方便扩展应用内容的XMPP协议、减轻服务器负担的p2p连接方式、保证通讯安全的采用SSL的加密连接；在模型交互同步时，提供Text、视频、语音等多种通讯沟通手段，保证会议的交流畅通；发送模型的状态信息，而且非模型本身，屏幕或图片共享，极大减小对带宽的占用，同时服务器不需要处理模型本身，进一步减轻服务器负担；画面显示模块自身对模型状态信息进行序列化和反序列化，保证了状态的完全绝对同步，同时，修改、添加、删除会议同步功能，不需要变动传输模块；实时不间断且忠于当前模型状态发送消息，保证了会议同步的实时性和准确性；多线程处理模型同步，发送/接收消息处理，保证了交互的流程性和用户体验。

在本实施例中，在同步协同操作模型的同时，用户还可以通过p2p的视频、语音和文本消息等多种方式进行沟通。采用XML文件段作为传输数据的基础方式，也就是采用XMPP协议，便于扩展协作同步的命令和内容。传输的模型/文档状态信息(XML文件段，也就是命令和参数的组合)，极大降低了传输的数据量，可以在网络带宽不高甚至较低的情况下正常工作。与此同时，充分发挥了各客户端自有计算能力，降低了服务器的负担。本实施例不需要设置或指定会议的控制者，就实现了近似面对面交流一样的自然地会议同步的用户体验。本申请可以同步2D/3D模型，文档，还可以在3D模型的上同步特效，比如剖切，演示笔效果(红点)。

冲突消解单元132采用冲突消解机制消解会议过程中存在的进程冲突。具体而言，冲突消解单元132的实现过程如下：(1)当会议建立之后，与会人进行模型共享；(2)当该模型只存在于某一个终端时，程序自动采用模型共享机制进行基础模型同步，同步模型后程序自动打开该相同的模型程序；(3)当各个终端本地已经都具有该模型时，用户可以自己选择打开模型，如果模型不一致提醒用户更新；(4)当某一个终端开始对模型进行操控的时候，程序自动向外发送变更消息；(5)程序自动所有消息都添加一个时间标签，该时间标签以相同的服务器时间作为时间基准；(6)同时，所有携带时间标签的消息都与相同的服务器时间进行核对；(7)当由于网络原因或者终端数量庞大并且各终端无序无节制操作，造成消息堵塞时，按照时间先后顺序对消息进行排队，时间更早的消息更早的被接受，系统自动按照接受的消息进行画面更新；(8)设定一个时间差t，例如1秒，当待接收消息时间与消息发出时间之差大于t的时候，跳过并自动选择更新的消息进行本机画面同步；(9)当会议进行过程中有新用户加入的时候，系统自动首先检查该用户本地缓存中是否存在会议进行中正在使用的模型，如果没有，则将会议进行中的基础模型发送给新的与会人，并且边下载边显示，同时以会议发起人的画面状态为基准更新新用户的画面；(10)最后实现所有与会人的画面及时同步一致。

多媒体沟通模块14实现多个与会者之间的视频、语音和文字的沟通交流。包括语音沟通单元140、视频沟通单元142和文字沟通单元144。

会议管理模块15实现会议内容和权限的管理，包括与会人管理、会议开启、会议结束、内容管理、缓存管理、权限管理、其他管理等内容。会议管理模块15进一步分为内容管理单元150、权限管理单元151、会议进程管理单元152、与会人员管理单元153、缓存管理单元154。

内容管理单元150进一步分为本地内容管理单元150a和网络内容管理单元150b，其中本地内容管理单元150a选择本地各独立模型、图形图像进行会议沟通，网络内容管理单元150b选择服务器端项目文档、项目模型、独立模型、图形图像进行会议沟通。

权限管理单元151对会议模型的操控权限进行设定和管理，任何与会人员任何时候都可以对会议模型进行操控，而不必进行权利申请和角色转换，也可以设定一个特定的角色(例如主讲人)才能对模型进行操控，当与会人员需要进行操控时，可以进行角色转换来实现权限移交。会议进程管理单元152对包括会议开启和会议结束的会议进行控制。与会人员管理单元153对参加会议的与会人员进行管理。缓存管理单元154对系统缓存进行管理。

本发明的系统的运行流程如图2所示，用户先通过登陆模块登陆系统，发起会议，选择与会人员和会议时间，选择会议使用的文件。在会议开始后，由文件传输模块保证各方本地都有相同的文件，由会议管理模块进行与会人管理(例如踢人、再邀请)、文件及其他管理(如选择、上传其他文件)、权限设置等，由多媒体沟通模块实现音频、视频、文本的交流。然后通过画面显示模块实现各个终端的打开文件以及显示相同的会议模型。再通过画面同步模块实现某个客户端对模型进行的操控，在其他与会人也可以显示同步，最后退出会议，会议过程结束。

本发明中，各个与会人员安装相应的客户端，会议进行后，所有人的客户端上都会有一个同步的相同基础模型，当一个人对本地三维模型或者二维图纸进行操作的时候，与会的人能看到同样的画面和操作的过程，例如能够同步进行标记、旋转、缩放、漫游、剖切等各种操作。同时，该同步机制可以结合语音、文字进行交流，可以进行语音操控所有的操作，例如语音操控模型旋转缩放等，可以和裸眼3D技术结合。

本发明的发明点主要在于：1.图形图像同步，操作、编辑结果同步(图形图像的不同操作状态同步)；2.能够多方同时加入会议；3.所有与会人都能够随时对三维模型及二维图像文档等进行操作；4.能够跨平台跨系统进行会议，例如各种移动智能终端：iPhone/iPad/Andriod Phone/Android Pad/Mac/PC等平台；5.精准的会议内容传输：指共享软件客户端内的图形图像，不显示客户端之外的任何信息，保证传输数据量小，并且保护用户的隐私，尤其是移动设备信号不是很好的时候，能够保证良好的会议效果；6.能够保存标记；7.用户隐私保护。不会在会议中泄露任何与会议无关的其他信息，同时，也不会泄露用户设计作品的详细信息；8.与会人进行操作转换时，无需控制权转换；9.能够同时配合语音和文字进行会议沟通；10.边下载、边显示、边渲染；11.会议机制：会议开始前或者会议进行中，与会人将模型传送给服务器或者其他与会人，程序自动打开在各个客户端的相同模型，当某一个人对模型进行操作时，模型变动的信息自动传送给其他与会人，使得每个与会人都能够同时看到相同的画面；12.能够在随时切换同一项目中的不同模型，同一模型中的不同视图；13.跨平台渲染；14.所有对模型、图形图像的操作都可以保存；15.语音识别技术：与会人可以用语音控制模型的状态，例如以z轴旋转90度等；16.与裸眼3D技术想结合，通过与硬件的结合，能够裸眼看到类似真实的3D立体出屏影像。

本发明所使用的技术手段包括图形图像渲染(可通过服务器端渲染，也可以通过客户端进行图像渲染，采用云计算则可以进行云端渲染)、跨平台渲染、终端图形图像的浏览、基于图形图像的操作、跨平台传输、跨平台数据同步。

本发明的应用范围包括：各种网络会议、各种即时聊天软件、各种网络沟通插件、基于网页的沟通插件、各种专业技术交流相关产品、各种移动终端上的应用服务、基于项目的沟通、基于作品的沟通、基于设计产品的沟通、基于三维模型的沟通、基于二维图纸的沟通、基于图片的沟通、其他交流沟通应用领域。

上述实施例是提供给本领域普通技术人员来实现和使用本发明的，本领域普通技术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的发明范围并不被上述实施例所限，而应该是符合权利要求书所提到的创新性特征的最大范围。

Claims (7)

1.一种基于图形图像同步的跨平台会议系统，包括登陆模块、文件传输模块、画面显示模块、画面同步模块、多媒体沟通模块以及会议管理模块，其中：

所述登陆模块，供与会者登陆系统；

所述文件传输模块，在多个与会者的客户端之间进行文件传输；

所述画面显示模块，进行图形图像的显示、控制；

所述画面同步模块，通过同步会议机制和冲突消解机制实现会议画面的同步，通过客户端内部局域图像比对模型状态的变化，并针对模型变化的信息进行同步；

所述多媒体沟通模块，实现多个与会者之间的视频、语音和文字的沟通交流；

所述会议管理模块，实现会议内容和权限的管理。

2.根据权利要求1所述的基于图形图像同步的跨平台会议系统，其特征在于，所述文件传输模块以服务器集中散发或者p2p传输方式进行文件传输。

3.根据权利要求1所述的基于图形图像同步的跨平台会议系统，其特征在于，所述文件传输模块包括文件自动共享单元和模型手动传输单元，其中：

所述文件自动共享单元，在会议过程中的多个与会者之间进行文件自动共享；

所述模型手动传输单元，以与会者手动传送接收的方式将文件传输给其他与会者。

4.根据权利要求1所述的基于图形图像同步的跨平台会议系统，其特征在于，所述画面显示模块包括显示单元、图形图像控制单元，其中：

所述显示单元，实现3D模型、二维图纸、二维图片、文字、和/或视频的显示；

所述图形图像控制单元，对3D模型、二维图纸、二维图片、文字和/或视频进行操作控制。

5.根据权利要求1所述的基于图形图像同步的跨平台会议系统，其特征在于，所述画面同步模块包括同步控制单元和冲突消解单元，其中：

所述同步控制单元，采用XMPP协议传输数据，通过p2p方式进行语言和文本消息的交流，传输模型/文档的状态信息并以文件操作为同步对象；

所述冲突消解单元，采用冲突消解机制消解会议过程中存在的进程冲突。

6.根据权利要求1所述的基于图形图像同步的跨平台会议系统，其特征在于，所述多媒体沟通模块包括语音沟通单元、视频沟通单元和文字沟通单元。

7.根据权利要求1所述的基于图形图像同步的跨平台会议系统，其特征在于，所述会议管理模块包括内容管理单元、权限管理单元、会议进程管理单元、与会人员管理单元、缓存管理单元，其中：

所述内容管理单元，进一步分为本地内容管理单元和网络内容管理单元，其中所述本地内容管理单元选择本地模型、图形图像、文档进行会议沟通，所述网络内容管理单元选择服务器端项目文档、项目模型、独立模型、图形图像进行会议沟通；

所述权限管理单元，对会议模型的操控权限进行设定和管理；

所述会议进程管理单元，对包括会议开启和会议结束的会议进行控制；

所述与会人员管理单元，对参加会议的与会人员进行管理；

所述缓存管理单元，对系统缓存进行管理。

Images