CN104156465A - 一种实时网页同步及后台分布式数据存储系统 - Google Patents

Abstract

本发明提出了一种实时网页同步及后台分布式数据存储系统，包括：所述大数据存储平台用于采用分布式存储结构对写入的非结构化数据，以任务为元数据模型进行结构化存储；所述实时数据推送模块连接至所述大数据存储平台，并且与所述多个客户端建立Socket长链接通道，当检测到所述大数据存储平台内的数据发生修改时，自动将与修改相关的数据推送至所述每个客户端；每个所述客户端用于接收来自所述实时数据推送模块的修改相关的数据，并在登录指定URL地址后，在每个所述客户端的网页实时同步显示与修改相关的数据。本发明通过实时网页的移动封装技术，实现了数据的实时交互、推送和提醒，使工作任务及进度可以被实时追踪和查看。

Description

一种实时网页同步及后台分布式数据存储系统

技术领域

本发明涉及移动互联网技术领域，特别涉及一种实时网页同步及后台分布式数据存储系统。

背景技术

随着大数据，互联网和移动互联网技术的发展，互联网已经进入了一个以大数据存储和计算，云平台为基础，HTML5和移动终端为展现的新型技术时代。

互联网从诞生开始，定义为Web1.0技术的HTML静态技术走上历史舞台，而后随着数据技术的需求，Web2.0技术应运而生，以PHP，JSP，Asp结合Ajax等动态模板数据加载技术为代表。进入21世纪Web3.0技术以HTML5，CSS3为代表，更广泛的以语义网络和非结构化数据展现为基础。

但是，基于Web3.0技术的传统网页模式对数据展现存在实时性差、有效性低、互动不够，且不能处理庞大数量数据等方面的弊端。此外，传统的网页架构需要浏览器刷新去请求服务器数据，在这个间隔中，经常会发生用户A与用户B同时修改数据造成数据丢失或者数据冲突问题。另外传统的数据间隔刷新经常造成数据服务器负载过大或者请求连接数过多导致阻塞无法刷新数据或者掉数据，延迟的问题，造成用户体验差。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种实时网页同步及后台分布式数据存储系统，该系统具有实时性、有效性、互动性等特性。

为了实现上述目的，本发明的实施例提供一种实时网页同步及后台分布式数据存储系统，包括：大数据存储平台、实时数据推送模块和多个客户端，其中，所述大数据存储平台用于采用分布式存储结构对写入的非结构化数据以任务为元数据模型进行结构化存储；所述实时数据推送模块连接至所述大数据存储平台，并且与所述多个客户端建立Socket长链接通道，当检测到所述大数据存储平台内的数据发生修改时，自动将与修改相关的数据推送至所述每个客户端；每个所述客户端用于接收来自所述实时数据推送模块的修改相关的数据，并在登录指定URL地址后，在每个所述客户端的网页实时同步显示与修改相关的数据。

在本发明的一个实施例中，所述大数据存储平台采用采用NOSQL数据库MongoDB组成底层的分布式存储结构。

在本发明的另一个实施例中，所述大数据存储平台存储的数据内容包括：工作数据、任务数据、日志数据、附件数据、信息数据。

在本发明的再一个实施例中，所述多个客户端为个人计算机PC、Android系统终端设备或IOS系统终端设备。

在本发明的又一个实施例中，每个所述客户端设置有本地数据库，用于向用户提供数据查询操作。

在本发明的再一个实施例中，还包括：公有云平台，用于获取所述大数据存储平台中的任务和办公数据，并开放给外部用户查看、跟踪和修改；私有云平台，用于获取所述大数据存储平台中的工作数据，并提供给具有权限的用户查看、跟踪和修改。

在本发明的又一个实施例中，所述在每个所述客户端的网页实时同步显示与修改相关的数据，包括：对于登录相同URL地址的多个客户端，在其中一个客户端上的用户操作同步至其他客户端。

在本发明的另一个实施例中，所述用户操作包括：当每个用户在对应客户端的网页上编辑相同的应用文档或图片时，在当前客户端的网页上实时显示其他用户在各自对应客户端的网页上对所述应用文档的编辑操作过程。

在本发明的再一个实施例中，所述实时数据推送模块还用于将一个用户通过客户端发出的即时消息推送至指定用户名的一个或多个用户的客户端，其中，所述即时信息以弹窗形式显示。

在本发明的一个实施例中，所述实时数据推送模块还用于根据用户名将任务信息推送至对应的部分或全部用户的客户端，其中，所述任务信息以弹窗形式显示。

根据本发明实施例的实时网页同步及后台分布式数据存储系统，通过实时网页的移动封装技术，实现了数据的实时交互、推送和提醒，使工作任务及进度可以被实时追踪和查看。通过实时网页技术，使得大数据在网页模式下对数据展现具有实时性、有效性、互动性等特性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的实时网页同步及后台分布式数据存储系统的结构图；

图2为根据本发明另一个实施例的实时网页同步及后台分布式数据存储系统的结构图；

图3为根据本发明实施例的以Socket连接多个客户端的示意图；

图4为根据本发明实施例的多个客户端同步显示的示意图；

图5为根据本发明实施例的用户操作应用文档的示意图；

图6为根据本发明实施例的实时网页同步及后台分布式数据存储系统的总体框架图；

图7为根据本发明实施例的实时网页同步及后台分布式数据存储系统的功能框架图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明的实时网页同步及后台分布式数据存储系统，采用大数据存储和分析，以云计算作为支撑，实时网页作为数据展现的新型架构，实现数据在多个客户端的实时显示和同步。

图1为根据本发明一个实施例的实时网页同步及后台分布式数据存储系统的结构图。

如图1所示，本发明实施例的实时网页同步及后台分布式数据存储系统，包括：大数据存储平台1、实时数据推送模块2和多个客户端3。

具体地，大数据存储平台1用于以分布式存储结构对写入的非结构化数据，以任务为元数据模型进行结构化存储，搭建成企业内部的数据中心。

以企业为例，由于企业中每天每个员工都会产生大量的工作信息，这些工作信息通常为图像、文档、视频、语音等大量非结构化数据。当系统面对大量用户每天产生上百万条各种数据信息的时候，就需要一个可伸缩、可扩展、可存储非结构化数据的大数据结构来存储相关数据。大数据存储平台1以任务为元数据模型将上述数据结构化，采用大数据技术实现用户数据的海量存储、扩展、运算、挖掘等需求。

在本发明的一个实施例中，大数据存储平台1采用NOSQL数据库MongoDB组成底层的分布式存储结构。采用分片技术将每日产生的工作数据、任务数据、日志数据、附件数据、信息数据进行存储，并支持大并发量的数据读取和写入。其中，大数据存储平台1可以将从传统的单表100万字节提高至为单表1亿字节，并且可以继续扩展。

在本发明的又一个实施例中，如图2所示，本发明的实时网页同步及后台分布式数据存储系统，还包括：公有云平台4和私有云平台5。

具体地，公有云平台4用于获取大数据存储平台1中的任务和办公数据，并开放给外部用户可以随时随地查看、跟踪和修改，从而满足客户异地团队协同和移动办公的需求。

私有云平台5用于获取大数据存储平台1中的工作数据，并提供给具有权限的用户查看、跟踪和修改，可以满足客户对安全性的需求，从根本上保证了客户数据的私密及安全性。

需要说明的是，本发明的公有云平台4和私有云平台5均采用基于云计算的Saas(Software as a service，软件即服务模式服务)提供给用户协同办公及任务管理系统，实现最低成本的、最快速度的移动办公系统，从而节省用户安装和维护独立系统的成本，实现无缝升级对接。传统的云计算安装应用至少要花费3小时时间，而本发明可以实现一键式安装应用，时间可以缩短至10分钟。

此外，私有云平台5具有自动升级模块，可以在可以访问外网的情况下，自动检测最新版本。采用最新的bundle打包技术，可以将源代码自动打包并解压到私有云环境下，实现与公有云平台感受相同的升级服务。

综上，本发明采用公有云和私有云的灵活使用模式，通过为企业用户和普通用户提供公有云访问方式，可以极大地节约用户的IT建设和运维成本。通过提供私有云部署模式，保障企业数据的安全，企业用户可以结合自身的需求确定采用哪种使用模式。

图3为根据本发明实施例的以Socket连接多个客户端的示意图。

从图中可以看出，实时数据推送模块2连接至大数据存储平台1，并且与多个客户端3建立Socket长链接通道，当检测到大数据存储平台1内的数据发生修改时，自动将与修改相关的数据推送至每个客户端3。换言之，大数据存储平台1采用大数据存储技术解决后端分布式数据存储问题，利用NOSQL数据库MongoDB搭建数据集群，包括服务器1(Server1)、服务器2(Server2)、服务器3(Server3)和负责均衡设备，与实时数据推送模块2的实时网页架构实现数据实时同步存储非结构化数据，即MongoDb数据库数据与客户端3前端浏览器数据实现实时同步。其中，实时数据推送模块2的数据传输量可以达到300-500个/秒。

本发明的实时数据推送模块2采用Web4.0实时网页技术，能够实现网页显示数据的实时变化，建立Socket长链接，在同一个URL地址实现所有客户端的数据实时同步。具体地，实时数据推送模块2采用实时数据推送架构，与多个客户端3建立一个Socket长链接通道，使用Socket连接的实时网页数据更新技术。具体地，当实时数据推送模块2检测大数据存储平台1数据库中的相关数据，当有数据修改的时候，自动推送相关数据到所有客户端3，能够实现同一URL地址的所有链接Web客户端数据在0.1～1秒之间自动实现数据更新，从而保证数据链路的畅通，消除延迟，解决服务器负载和连接数过度导致阻塞问题。

在本发明的一个实施例中，实时数据推送模块2采用基于Nodejs的实时推送架构，且易于扩展，全面支持跨个人计算机PC和移动设备的应用。通过实时网页移动端封装技术，实现了IOS系统客户端、Android系统客户端同样的实时网页数据更新，达到移动办公软件的移动需求。

综上，本发明通过大数据存储平台1和实时数据推送模块2实现基于Nodejs+mongoDB架构的任务管理功能，以NOSQL数据库MongoDB来实现大数据的分布式存储，并实现客户端的网页前端与后台大数据分布式存储的数据实时显示和同步，从而实现客户端数据的实时更新。

每个客户端3用于接收来自实时数据推送模块2的与修改相关的数据，并在登录指定URL地址后，在每个客户端3的网页实时同步显示与修改相关的数据。其中，传统的网页响应速度一般为0.1-0.5秒，本发明的客户端2的网页可以实现的响应速度将低于0.1秒。

在本发明的一个实施例中，客户端3采用HTML5+CSS3框架结构，结合Meteor，AngularJS，bootstrap等多个最新的网页端开发框架。在此架构上，本发明可以实现一个页面完成所有用户操作，而无须用户跳转页面。用户可以实现一站式操作，配合快速的键盘快捷键，简化用户操作，提高效率。

在本发明的示例中，客户端3可以为个人计算机PC、Android系统终端设备或IOS系统终端设备。即，大数据存储平台1和实时数据推送模块2配合上述个人计算机PC、Android系统终端设备或IOS系统终端设备，实现跨平台的同步数据操作。例如：Android系统终端设备或IOS系统终端设备可以为Android系统或IOS系统的手机或平板电脑。

此外，每个客户端3设置有本地数据库，该本地数据库可以用于向用户提供数据查询操作。即，用户对数据的查询操作可以在本地数据库进行，而实时数据推送模块2只需要推送数据到客户端3的本地数据，即保证了数据链路的畅通，消除延迟，又解决了服务器负载和连接数过度导致阻塞问题，最重要的是客户所感受到的所有数据都是实时同步，避免冲突。

具体地，在登录指定URL地址后，在每个客户端3的网页实时同步显示与修改相关的数据，是指对于登录相同URL地址的多个客户端，在其中一个客户端中的用户操作可以同步至其他客户端。

其中，用户操作包括：当每个用户在对应客户端3的网页上编辑相同的应用文档(协同文档)或图片(协同白板)时，在网页上实时显示其他用户在各自对应客户端3的网页上对所述应用文档的编辑操作过程。如图4所示，多个客户端可以同步显示应用文档的内容。

下面分别对协同文档和协同白板的实现流程进行说明。需要说明的是，协同文档和协同白板的实现前提是多个客户端均登录同一个指定的URL地址。

(1)协同文档

如图5所示，当多个用户分别通过各自的客户端登录地址：192.168.100.219：9001、/p/测试文档后，多个用户可以自的客户端同时编辑该应用文档，通过实时数据推送模块2采用实时数据推送架构，利用Socket连接的实时网页数据更新技术，自动向各个客户端推送除当前客户端以为的其他客户端上正在进行的数据修改。即，每个用户均可以在自己的客户端的对应网页上看到其他用户正在进行的操作，例如正在打哪个字等等。当然，该用户自己的文字同样在其他用户的客户端上发生改变，从而实现在线文档的实时同步编辑，可以多人协作同时编写文档，实现协同文档数据共享，确保多用户可以实时查看任务状态和进度。

(2)协同白板

多个用户在各自的客户端同时用鼠标或者在触摸屏上绘画或写字时，通过实时数据推送模块2采用实时数据推送架构，利用Socket连接的实时网页数据更新技术，自动向各个客户端推送除当前客户端以为的其他客户端上正在进行的数据修改。即，每个用户均可以在自己的客户端的对应网页上看到其他用户正在进行的操作，例如正在画的图形等，可以实时看到这幅画或文字的改变。当然，该用户自己的图画同样在其他用户的客户端上发生改变，从而实现在线白板的实时同步编辑，可以多人协作同时编写白板，实现协同白板共享，多个人在同一个屏幕上用鼠标或者在触摸屏上做图或写字，其他成员可以同时看到整个做图或写字的过程，确保多用户可以实时查看任务状态和进度。

此外，实时数据推送模块2还用于将一个用户通过客户端发出的即时消息推送至指定用户名的一个或多个用户的客户端，即实现协同即时通讯功能。具体地，由于每个用户均设置有对应的用户名，通过实时网页架构，用户可以通过指定用户名，向其他用户发出即时消息，该即时消息会以网页弹窗的形式在指定用户的客户端上显示。显示内容包括发出即时消息用户的用户名和消息内容。这种实时通讯功能，可以使得多个用户在协作过程中进行实时聊天沟通。并且，利用实时数据推送模块2实现上述协同即时通讯功能，相对现有的即时通讯方式，具有开发周期短、实现技术简单化等特点。

进一步，实时数据推送模块2还用于根据用户名将任务信息推送至对应的部分或全部用户的客户端，即实现协同任务管理。其中，任务信息以弹窗形式显示。

具体地，由于每个用户均设置有对应的用户名，通过实时网页架构，用户可以通过指定用户名，向其他用户发出任务消息，该任务消息会以网页弹窗的形式在指定用户的客户端上显示。显示内容包括发出任务消息用户的用户名和任务内容。由此，协同任务管理可以完成以任务为核心的数据信息交换和提醒替代传统的邮件，实现无邮件办公和无电话办公。利用实时数据推送模块2的实时网页技术实现任务的实时同步，避免了由于不同步而造成的任务资料数据的损失。由于协同任务管理需要短时间内大量的数据交互，所以是实时网页(实时数据推送模块2执行)及其前端数据库结构(大数据存储平台1执行)最好的应用场景。在协同办公任务管理系统中应用实时网页，达到协同数据实时同步，解决协同中数据不同步造成协同工作数据冲突的问题。

图6为根据本发明实施例的实时网页同步及后台分布式数据存储系统的总体框架图。

如图6所示，首先IDC数据中心物理服务器采用OpenStack架构，支持用户动态部署其私有云和虚拟机服务。通过将服务预置于其虚拟机镜像中，用户只要点击开通，一键式配置好所有的程序与IP绑定，只需要下载和登录相对应的地址，即可享受系统的完整服务。本发明采用大数据与云计算Saas服务为企业用户提供一个跨平台、低成本、高效率的协同工作管理系统，用于企业用户的部门管理、会议和异地办公等。通过集成协同任务管理、协同文档、协同白板、协同即时通讯，以及通过云计算的私有云或者公有云Saas服务，将最终的数据存储在大数据存储平台的数据集群中，覆盖了针对单个企业用户所有协同办公的生态链。

图7为根据本发明实施例的实时网页同步及后台分布式数据存储系统的功能框架图。

如图7所示，在功能框架下，第一级设置有：回收站、代办、个人信息、邮件、空间、搜索和系统后台。其中，回收站即为存放垃圾文件的空间。用户可以通过本系统实现对回收站中内容的彻底清除和还原。对于个人信息，设有注册、登录和设置功能。对于空寂，即大数据存储平台1的存储空间，可以存储有以下相关信息：成员、项目、文件、资产、工作流、表单、模板和日志。其中，对成员信息可以实现以下功能：新增、删除成员、负责的任务、创建的任务、关注的任务。对于项目信息可以实现以下功能：协同文档、协同白板、协同即时通讯、协同任务管理、数据导出和数据导入功能。系统平台可以存储以下信息：注册信息、用户信息、、任务来源、任务状态、空间信息、日志和邮件，并且可以对用户行为和任务数量进行分析。

本发明实施例的实时网页同步及后台分布式数据存储系统，通过实时网页的移动封装技术，实现了数据的实时交互、推送和提醒，使工作任务及进度可以被实时追踪和查看。通过实时网页技术，使得大数据在网页模式下对数据展现具有实时性、有效性、互动性等特性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。

Claims (10)

1.一种实时网页同步及后台分布式数据存储系统，其特征在于，包括：大数据存储平台、实时数据推送模块和多个客户端，其中，

所述大数据存储平台用于采用分布式存储结构对写入的非结构化数据，以任务为元数据模型进行结构化存储；

所述实时数据推送模块连接至所述大数据存储平台，并且与所述多个客户端建立Socket长链接通道，当检测到所述大数据存储平台内的数据发生修改时，自动将与修改相关的数据推送至每个所述客户端；

每个所述客户端用于接收来自所述实时数据推送模块的与修改相关的数据，并在登录指定URL地址后，在每个所述客户端的网页实时同步显示与修改相关的数据。

2.如权利要求1所述的实时网页同步及后台分布式数据存储系统，其特征在于，所述大数据存储平台采用采用NOSQL数据库MongoDB组成底层的分布式存储结构。

3.如权利要求1所述的实时网页同步及后台分布式数据存储系统，其特征在于，所述大数据存储平台存储的数据内容包括：工作数据、任务数据、日志数据、附件数据、信息数据。

4.如权利要求1所述的实时网页同步及后台分布式数据存储系统，其特征在于，所述多个客户端为个人计算机PC、Android系统终端设备或IOS系统终端设备。

5.如权利要求1所述的实时网页同步及后台分布式数据存储系统，其特征在于，每个所述客户端设置有本地数据库，用于向用户提供数据查询操作。

6.如权利要求1所述的实时网页同步及后台分布式数据存储系统，其特征在于，还包括：

公有云平台，用于获取所述大数据存储平台中的任务和办公数据，并开放给外部用户查看、跟踪和修改；

私有云平台，用于获取所述大数据存储平台中的工作数据，并提供给具有权限的用户查看、跟踪和修改。

7.如权利要求1所述的实时网页同步及后台分布式数据存储系统，其特征在于，所述在每个所述客户端的网页实时同步显示与修改相关的数据，包括：对于登录相同URL地址的多个客户端，在其中一个客户端上的用户操作同步至其他客户端。

8.如权利要求7所述的实时网页同步及后台分布式数据存储系统，其特征在于，所述用户操作包括：当检测到每个用户在对应客户端的网页上编辑相同的应用文档或图片时，在当前客户端的网页上实时显示其他用户在各自对应客户端的网页上对所述应用文档的编辑操作过程。

9.如权利要求1所述的实时网页同步及后台分布式数据存储系统，其特征在于，所述实时数据推送模块还用于将一个用户通过客户端发出的即时消息推送至指定用户名的一个或多个用户的客户端，其中，所述即时信息以弹窗形式显示。

10.如权利要求1所述的实时网页同步及后台分布式数据存储系统，其特征在于，所述实时数据推送模块还用于根据用户名将任务信息推送至对应的部分或全部用户的客户端，其中，所述任务信息以弹窗形式显示。