CN103986759A - 基于网络传输的多人实时同步图形编辑及显示的方法 - Google Patents

Abstract

本发明涉及基于网络传输的多人实时同步图形编辑及显示的方法，包括以下步骤：用户连接至Windows或者Linux系统上的图形数据转发服务器；所有的图形数据通过UDP发送至图形数据转发服务器；服务器将接收到的来自任意用户的图形数据转发至所有参与图形编辑的用户。本发明完整地实现了多人实时同步在同一显示设备上的图形绘制与编辑功能，技术优点在于多方实时和同步，这提升了异地多人内容分享，编辑的效率，并且具有非常好的社会和经济意义。

Description

基于网络传输的多人实时同步图形编辑及显示的方法

技术领域

本发明涉及信息、通信及图形技术领域，特别是涉及基于网络传输的多人实时同步图形编辑及显示的方法。

背景技术

现有的基于网络的内容共享技术多采用屏幕捕捉，将相关内容转换成图片方式再传输至其他终端；在操作上，通常采用的单向共享技术，当需要用户间互动操作的时候，需要传递或者释放当前的内容控制权，无法做到实时的互动。如Cisco WebEX，Windows LiveMeeting，HP VirtualMeeting等等。

发明内容

本发明方法主要解决的是对多人实时同步绘图编辑的需要，摒弃陈旧的屏幕捕捉技术，采用图形数据实时捕捉，通过Windows或者Linux服务器转发至所有参与者的应用程序的窗口中，允许多人对自己当前的应用程序窗口图形进行编辑而不需要申请控制权，该窗口可以是Windows，Mac OS，Linux，Android等平台上应用的窗口。

基于网络传输的多人实时同步图形编辑及显示的方法，包括以下步骤：

(1)用户连接至Windows或者Linux系统上的图形数据转发服务器；

(2)所有的图形数据通过UDP发送至图形数据转发服务器；

(3)服务器将接收到的来自任意用户的图形数据转发至所有参与图形编辑的用户。

优选地，所述图形数据均要经过图形编辑应用程序的数据的定义、生成、捕捉、打包、发送、转发、接收、组合、展现一系列操作流程。

优选地，所述图形数据的的定义为任意用户可以接收到的其他用户产生的信息，用户图形数据通过用户唯一识别号来区分。

优选地，所述图形的生成和图形数据的捕捉的方法为：

用户确定所编辑的图形类型，并通过预定义的操作启动或停止图形编辑；

启动编辑，应用程序开始捕捉当前图形的图形数据；

暂停图形编辑，则停止图形数据的捕捉；

确定描述当前图形的数据。

优选地，所述图形数据的打包为用户图形数据在发送前按照自定义的通信协议格式化成数据包。

优选地，实时同步图形编辑应用程序通过启动图形数据包的接受线程接受数据，方法为：

实时同步图形编辑应用程序在系统内开辟图形数据缓存，用于存储接收到的图形数据包；

实时同步图形编辑应用程序接收来自其他用户的图形数据包；

实时同步图形编辑应用程序通过定义和启动图形数据的处理线程来展现所有用户产生的图形数据。

优选地，图形编辑应用程序定义了两个图形容器，为已完成图形容器和登台图形容器，所述图形数据的组合方法为：

登台图形容器采用用户唯一识别号作为键值，来存储和管理当前正在绘制的图形数据；

应用程序判断接受到的当前数据包的唯一用户识别号，并将数据与登台图形容器中的用户关联；

应用程序还需要判断数据包是否为当前图形的最后一个数据包；

如果是，程序将图形从登台图形容器中推送至已完成图形容器中，同时将图形登台容器中的该用户对应的图形设置为空。

优选地，系统定义了两个位图图像，包括已完成图形位图和登台位图。

优选地，所述已完成图形位图的显示方法为：

系统将新图形推送至已完成图形容器；

触发消息，通知系统的绘制模块将该新图形直接绘制在已完成图形位图上：

投射至显示设备。

优选地，所述登台位图显示的方法为：

绘制前，登台图像清空并重新绘制；

触发消息，系统遍历登台图形容器，并将新的图形绘制的登台位图上；

投射至显示设备。

通过以上方法，本发明完整地实现了多人实时同步在同一显示设备上的图形绘制与编辑功能。本发明方法的技术优点在于多方实时和同步，这提升了异地多人内容分享，编辑的效率，并且具有非常好的社会和经济意义。

附图说明

图1是本发明基于网络传输的多人实时同步图形编辑及显示的方法的图形流程图；

图2是本发明基于网络传输的多人实时同步图形编辑及显示的方法的图形数据的基本流程；

图3是本发明基于网络传输的多人实时同步图形编辑及显示的方法的图形数据生成方法流程；

图4是本发明基于网络传输的多人实时同步图形编辑及显示的方法的图形数据的接收方法流程；

图5是本发明基于网络传输的多人实时同步图形编辑及显示的方法的图形数据的组合方法流程；

图6是本发明基于网络传输的多人实时同步图形编辑及显示的方法的图形数据的显示方法流程。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

本发明方法主要解决的是对多人实时同步绘图编辑的需要，摒弃陈旧的屏幕捕捉技术，采用图形数据实时捕捉，通过Windows或者Linux服务器转发至所有参与者的应用程序的窗口中，允许多人对自己当前的应用程序窗口图形进行编辑而不需要申请控制权，该窗口可以是Windows，Mac OS，Linux，Android等平台上应用的窗口。所有参与图形内容编辑的人员不会因他人的操作而被干扰，图形操作包含图形的绘制，擦除，线型选择，前景颜色选择，背景颜色选择，背景图案选择等等。所有参与实时图形编辑的用户通过连接至服务器接收他人绘制的图形数据，因此在任意时刻，任意用户都会接收到来自于不同用户，不同类型终端的数据包，如上所述，这些图形数据需要被实时正确地显示在所有参与图形编辑用户的应用程序的窗口上。因此，本发明重点解决的问题是在多人同时同步绘制图形，以及在编辑图形内容的时候，防止多图形数据的组合冲突和显示冲突，能够正确地重新组合来自于不同图形编辑参与者缩编辑的图形数据，同时在同一个应用程序的显示窗口中正确地显示图形内容。本发明通过定义标准的图形数据协议来确保该方法能够支持Windows，Mac OS，Linux，Android等平台，如图1所示。

基本上，所有的图形数据都要经过本地图形编辑应用程序的数据捕捉、打包、发送、转发、接收，组包、展现等一系列的操作流程，如图2所示。图形数据包的传输由Windows或者Linux版本的专用用户图形数据转发服务器接收并转发传输至所有的用户。

图形数据的定义：本技术解决方案中，任意用户都可以接收到所有其他用户产生的信息或者称之为图形数据，用户图形数据通过用户唯一识别号来区分。系统实现通信模块，通信模块采用符合BSD规范的Socket通信，所有参与图形绘制的用户都需要连接至Windows或者Linux系统上的图形数据转发服务器(该服务器是专门针对用户图形数据转发而设计的服务，该服务器提供用户连接管理，数据转发服务和数据可靠传输服务)，所有的图形数据通过UDP发送至图形数据转发服务器，该服务器会将接收到的来自任意用户的图形数据转发至所有参与图形编辑的用户。

用户图形数据在发送前会按照自定义的通信协议格式化成数据包，每个数据包都包含用户唯一识别号、当前图形的识别号，以及数据包的顺序号等信息。

图形的生成和图形数据的捕捉：图形编辑应用程序中，图形数据属于某一个图形，该图形由唯一的图形识别号来识别。一个图形可以是任意形状，如手写轨迹、三角形、正方形、扇形等等。在用户编辑图形前，用户需要确定所编辑的图形类型，通过预定义的操作启动和停止图形编辑，当启动编辑，应用程序开始捕捉当前图形的图形数据，当暂停图形编辑，停止图形数据的捕捉，并最终确定描述当前图形的数据，如图3所示。

图形数据的接收：实时同步图形编辑应用程序通过启动图形数据包的接收线程接收数据。在程序接收来自其他用户的图形数据包之前，应用程序会在系统内开辟图形数据缓存，用来存储接收到的图形数据包，图形数据缓存的大小是数据包的整数倍，一般采用能够存储1024个图形数据包的缓存，缓存采用先进先出(FIFO)的队列来管理数据缓存。同时程序通过定义和启动图形数据的处理线程来展现所有用户产生的图形数据，如图4所示。

图形的组合方法：为了确保所有的用户图形都能正确地组合，图形编辑应用程序定义了两个图形容器，一个是已完成图形容器，一个是登台图形容器(当前正在编辑中的图形的容器)；在已完成图形的容器中存储的是所有已经组合完成的图形，比如说一个完整的三角形，图形数据是可以唯一定义该三角形的数据。在已完成图形容器中可以存储无数量限制的图形。在登台图形容器中仅存储当前正在绘制的图形数据，登台图形容器采用用户唯一识别号作为键值，来存储和管理当前正在登台的来自不同用户的图形数据和图形。应用程序会判断接收到的当前数据包的唯一用户识别号，并将该数据与登台图形容器中的用户关联。应用程序还需要判断数据包是否为当前图形的最后一个数据包，如果是，程序会将该图形从登台图形容器中推送至已完成图形容器中，同时将图形登台容器中该用户对应的图形设置为空，只有系统再次接收到该用户绘制的新的图形时，系统会在图形登台容器中重新创建一个新的图形用来管理正在登台的图形，并将该用户的图形数据与当前图形关联，并进行图形数据的添加、更新、删除等管理操作，如图5所示。

图形的显示：用户绘制的图形不会在所有的图形数据都接收到才在图形设备上显示，而是在接受到图形数据的同时就开始绘制。在任意终端设备上，系统定义了两个设备无关的位图图像，并且为该位图图像分配内存，其中一个用来展现已完成容器中的图形，另一个用来展现当前正在绘制的图形。在图形展现的方法上，由于已完成图形的图形数据固定，所以对应的位图无需更新绘制的行为，对于任何新的图形，在系统将该新图形推送至已完成图形容器中的时候，会触发消息，通知系统的绘制模块将该新图形直接绘制在已完成图形位图上；而对于登台图形对应的位图，由于其处于不断的绘制过程，图形数据处于变动状态，所以该位图中的图形在绘制前需要将上一次绘制的图形清空并再重新绘制。在绘制登台图形前，系统会遍历登台图形容器，并将新的图形绘制在登台位图之上。当绘制完成以后，系统会将已完成图形位图和登台位图先后投射在显示设备之上，如图6所示。

通过设置和使用已完成图形容器和登台图形容器的方式，任何用户的图形绘制行为在任意设备终端的表现都是实时连续的；但是所有的图形数据都通过发送、接收、组合、展现等过程，需要系统中的多个不同的模块来协调处理；对于同一个图形，存在接收模块写入图形数据的过程，也存在绘制模块读取图形数据并展现的过程。如前所述，在应用程序中，定义了接收线程和绘制线程来管理接收模块和绘制模块，对于图形数据通过锁功能来防止读写冲突，任意模块获得当前图形对象的读写权限时，将对该图形对象加锁，处理完之后解锁。

通过以上方法，本解决方案完整地实现了多人实时同步在同一显示设备(窗体)上的图形绘制与编辑功能。

本发明方法的技术优点在于多方实时和同步，这提升了异地多人内容分享，编辑的效率，并且具有非常好的社会和经济意义。比如说，在教育领域，可以增强异地老师和学生间的互动性，使多个学生可以同时在同一个应用程序显示窗口内实时解答不同问题；也可以使学生在同一个显示窗口内实时同步就老师的讲课内容提出问题，从而使异地课堂具备现场课堂的效果。

同时该方法适用于不同的终端产品，可以在Windows PC，Linux，iOS iPad，Android Pad等终端产品上应用，用户可以充分利用现有的硬件设备而无须购买特殊的硬件设备。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (10)

1.基于网络传输的多人实时同步图形编辑及显示的方法，其特征在于，包括以下步骤：

(1)用户连接至Windows或者Linux系统上的图形数据转发服务器；

(2)所有的图形数据通过UDP发送至图形数据转发服务器；

(3)服务器将接收到的来自任意用户的图形数据转发至所有参与图形编辑的用户。

2.如权利要求1所述的基于网络传输的多人实时同步图形编辑及显示的方法，其特征在于，所述图形数据均要经过图形编辑应用程序的数据的定义、生成、捕捉、打包、发送、转发、接收、组合、展现一系列操作流程。

3.如权利要求2所述的基于网络传输的多人实时同步图形编辑及显示的方法，其特征在于，所述图形数据的的定义为任意用户可以接收到的其他用户产生的信息，用户图形数据通过用户唯一识别号来区分。

4.如权利要求2所述的基于网络传输的多人实时同步图形编辑及显示的方法，其特征在于，所述图形的生成和图形数据的捕捉的方法为：

用户确定所编辑的图形类型，并通过预定义的操作启动或停止图形编辑；

启动编辑，应用程序开始捕捉当前图形的图形数据；

暂停图形编辑，则停止图形数据的捕捉；

确定描述当前图形的数据。

5.如权利要求2所述的基于网络传输的多人实时同步图形编辑及显示的方法，其特征在于，所述图形数据的打包为用户图形数据在发送前按照自定义的通信协议格式化成数据包。

6.如权利要求2所述的基于网络传输的多人实时同步图形编辑及显示的方法，其特征在于，实时同步图形编辑应用程序通过启动图形数据包的接受线程接受数据，方法为：

实时同步图形编辑应用程序在系统内开辟图形数据缓存，用于存储接收到的图形数据包；

实时同步图形编辑应用程序接收来自其他用户的图形数据包；

实时同步图形编辑应用程序通过定义和启动图形数据的处理线程来展现所有用户产生的图形数据。

7.如权利要求2所述的基于网络传输的多人实时同步图形编辑及显示的方法，其特征在于，图形编辑应用程序定义了两个图形容器，为已完成图形容器和登台图形容器，所述图形数据的组合方法为：

登台图形容器采用用户唯一识别号作为键值，来存储和管理当前正在绘制的图形数据；

应用程序判断接受到的当前数据包的唯一用户识别号，并将数据与登台图形容器中的用户关联；

应用程序还需要判断数据包是否为当前图形的最后一个数据包；

如果是，程序将图形从登台图形容器中推送至已完成图形容器中，同时将图形登台容器中的该用户对应的图形设置为空。

8.如权利要求2所述的基于网络传输的多人实时同步图形编辑及显示的方法，其特征在于，系统定义了两个位图图像，包括已完成图形位图和登台位图。

9.如权利要求8所述的基于网络传输的多人实时同步图形编辑及显示的方法，其特征在于，所述已完成图形位图的显示方法为：

系统将新图形推送至已完成图形容器；

触发消息，通知系统的绘制模块将该新图形直接绘制在已完成图形位图上：

投射至显示设备。

10.如权利要求8所述的基于网络传输的多人实时同步图形编辑及显示的方法，其特征在于，所述登台位图显示的方法为：

绘制前，登台图像清空并重新绘制；

触发消息，系统遍历登台图形容器，并将新的图形绘制的登台位图上；

投射至显示设备。