CN104601707A - 网盘数据处理方法及装置 - Google Patents

Abstract

本发明实施例提供了一种网盘数据处理方法及装置，其中，该方法包括：通过操作界面接收用户输入的业务操作请求及业务应用的待处理数据；根据预设路径将所述待处理数据路由到网盘负载均衡服务器上；在所述网盘负载均衡服务器上，根据所述业务操作请求的操作类型，将所述待处理数据分布到与操作类型相应的计算服务器上，在计算服务器上对所述待处理数据进行与所述业务操作请求相应的业务操作，得到存储文件；将所述存储文件存储在网盘中，并实时同步到用户的本地系统进行存储。该方案中网盘将得到的存储文件实时同步到用户本地系统进行存储，实现了大规模数据的双向同步，使得用户可以在本地系统查看浏览数据，无需再到网盘上查看数据。

Description

网盘数据处理方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种网盘数据处理方法及装置。

背景技术

目前，随着计算机领域的不断发展，陆续出现了例如云存储、云计算等前沿的网络硬盘(简称网盘)技术。

云计算则是通过使计算分布在大量的分布式计算机上，而非在本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。国外典型的代表有：亚马逊、Google、微软等；国内的典型代表有：阿里云、盛大云等。

云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的网络服务。

云存储是在云计算(cloud computing)概念上延伸和衍生发展出来的一个新的概念。云存储是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。如国外的亚马逊Cloud Drive、Dropbox云存储、微软云存储SkyDrive、苹果云存储iCloud等，国内的百度云存储、华为云存储、新浪、金山云存储等。

但是能够结合在线协同创作、在线管理、大规模数据实时双向同步技术的，目前尚没有有效的解决方案。

发明内容

本发明实施例提供了一种网盘数据处理方法，以实现大规模数据实时双向同步。该方法包括：通过操作界面接收用户输入的业务操作请求及业务应用的待处理数据；根据预设路径将所述待处理数据路由到网盘负载均衡服务器上；在所述网盘负载均衡服务器上，根据所述业务操作请求的操作类型，将所述待处理数据分布到与操作类型相应的计算服务器上，在计算服务器上对所述待处理数据进行与所述业务操作请求相应的业务操作，得到存储文件；将所述存储文件存储在网盘中，并实时同步到用户的本地系统进行存储。

在一个实施例中，所述业务操作请求是针对不同业务应用的业务操作请求；所述待处理数据是针对不同业务应用的待处理数据。

在一个实施例中，还包括：通过预设扩展接口接收用户输入的用于进行技术开发的指令；根据所述指令进行相应的技术开发操作。

在一个实施例中，将所述存储文件存储在网盘中之后，还包括：实时监控用户对网盘中存储文件的文件操作指令；对网盘中存储文件进行与所述文件操作指令相应的操作；将网盘中存储文件更新为操作后的版本文件；将操作后的文件实时同步到用户的本地系统进行存储。

在一个实施例中，将所述存储文件实时同步到用户的本地系统之前，还包括：获取同步所述存储文件时所需的传输资源参数；根据所述传输资源参数，确定传输所述存储文件时的数据块大小；根据所述传输资源参数，确定传输所述存储文件发送失败时的重发机制。

本发明实施例还提供了一种网盘数据处理装置，以实现大规模数据实时双向同步。该装置包括：接收模块，用于通过操作界面接收用户输入的业务操作请求及业务应用的待处理数据；数据路由模块，用于根据预设路径将所述待处理数据路由到网盘负载均衡服务器上；负载均衡模块，用于在所述网盘负载均衡服务器上，根据所述业务操作请求的操作类型，将所述待处理数据分布到与操作类型相应的计算服务器上，在计算服务器上对所述待处理数据进行与所述业务操作请求相应的业务操作，得到存储文件；数据同步模块，用于将所述存储文件存储在网盘中，并实时同步到用户的本地系统进行存储。

在一个实施例中，所述业务操作请求是针对不同业务应用的业务操作请求；所述待处理数据是针对不同业务应用的待处理数据。

在一个实施例中，还包括：接口模块，用于通过预设扩展接口接收用户输入的用于进行技术开发的指令；技术开发模块，用于根据所述指令进行相应的技术开发操作。

在一个实施例中，还包括：实时监控模块，用于将所述存储文件存储在网盘中之后，实时监控用户对网盘中存储文件的文件操作指令；文件操作模块，用于对网盘中存储文件进行与所述文件操作指令相应的操作；更新模块，用于将网盘中存储文件更新为操作后的版本文件；所述数据同步模块，还用于将操作后的文件实时同步到用户的本地系统进行存储。

在一个实施例中，还包括：获取模块，用于将所述存储文件实时同步到用户的本地系统之前，获取同步所述存储文件时所需的传输资源参数；数据块确定模块，用于根据所述传输资源参数，确定传输所述存储文件时的数据块大小；重发机制确定模块，用于根据所述传输资源参数，确定传输所述存储文件发送失败时的重发机制。

在本发明实施例中，通过操作界面可以接收用户输入的业务操作请求及业务应用的待处理数据；并根据预设路径在网盘系统中将所述待处理数据路由到网盘负载均衡服务器上，然后，在所述网盘负载均衡服务器上，根据业务操作请求的操作类型，将待处理数据分布到与操作类型相应的计算服务器上，在计算服务器上对待处理数据进行与业务操作请求相应的业务操作，得到存储文件，最后，将存储文件存储在网盘中，并实时同步到用户的本地系统进行存储。实现了用户将大规模业务应用的待处理数据在网盘中进行业务操作后，得到存储文件，网盘将得到的存储文件实时同步到用户本地系统进行存储，实现了大规模数据的双向同步，使得用户可以在本地系统查看浏览数据，无需再到网盘上查看数据。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是本发明实施例提供的一种网盘数据处理方法的流程图；

图2是本发明实施例提供的一种网盘系统的功能示意图；

图3是本发明实施例提供的一种网盘数据处理装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在本发明实施例中，提供了一种网盘数据处理方法，如图1所示，该方法包括：

步骤101：通过操作界面接收用户输入的业务操作请求及业务应用的待处理数据；

步骤102：根据预设路径将所述待处理数据路由到网盘负载均衡服务器上(例如，根据数据协议命令确定具体业务，并将待处理数据基于负载算法发送到网盘负载均衡服务器上)；

步骤103：在所述网盘负载均衡服务器上，根据所述业务操作请求的操作类型，将所述待处理数据分布到与操作类型相应的计算服务器上，在计算服务器上对所述待处理数据进行与所述业务操作请求相应的业务操作，得到存储文件；

步骤104：将所述存储文件存储在网盘中(例如，将业务操作后的数据存储在如图2所示的存储系统中)，并实时同步到用户的本地系统进行存储。

由图1所示的流程可知，在本发明实施例中，通过操作界面可以接收用户输入的业务操作请求及业务应用的待处理数据；并根据预设路径在网盘系统中将所述待处理数据路由到网盘负载均衡服务器上，然后，在所述网盘负载均衡服务器上，根据业务操作请求的操作类型，将待处理数据分布到与操作类型相应的计算服务器上，在计算服务器上对待处理数据进行与业务操作请求相应的业务操作，得到存储文件，最后，将存储文件存储在网盘中，并实时同步到用户的本地系统进行存储。实现了用户将大规模业务应用的待处理数据在网盘中进行业务操作后，得到存储文件，网盘将得到的存储文件实时同步到用户本地系统进行存储，实现了数据的双向同步，使得用户可以在本地系统查看浏览数据，无需再到网盘上查看数据。

具体实施时，上述步骤101中业务操作请求是针对不同业务应用的业务操作请求；待处理数据是针对不同业务应用的待处理数据，例如，不同业务应用可以是集群渲染、在线协同创作、在线项目管理等业务应用，使得可以针对不同行业在不同业务方面的需求，为用户提供满足不同业务需求的综合性平台，具体的。接收用户针对不同业务应用输入的业务操作请求及不同业务应用的待处理数据的功能可以通过如图2所示的网盘管理平台来实现，该网盘管理平台可以为本网盘系统的用户(例如，个人用户和企业)提供一个专业应用，例如，包含网盘客户端和/或网盘门户网站，能够为用户提供简单易用的操作界面(例如，可以为windows操作界面)来输入业务操作请求及不同业务应用的待处理数据，使得用户可以直接通过浏览器访问网盘系统，或通过安装客户端进行网盘功能操作，以降低文件管理的复杂性，并提供协同创作、集群渲染、在线项目管理等第三方应用的入口，满足用户多样性的需求。此外，接收用户针对不同业务应用输入的业务操作请求及不同业务应用的待处理数据的功能还可以通过如图2所示的创意云来实现，创意云是一个文化创意产业公共服务云平台，具有任务大厅、渲染、人才、在线创作等业务功能，网盘系统为创意云平台提供基础存储管理功能，统一通过网盘接入服务系统与创意云平台进行连接和数据交互。

具体实施时，上述步骤102中路由待处理数据的功能可以由如图2所示的网盘接入服务系统来实现，为整个网盘系统提供数据路由、协议加解密等接入服务。

具体实施时，为了便于用户在网盘系统中进行技术开发的相关操作，在本实施例中，上述方法还包括：通过预设扩展接口接收用户输入的用于进行技术开发的指令；根据所述指令进行相应的技术开发操作。具体的，该技术开发操作可以是第三方用户通过网盘系统采用的REST标准接口(即预设扩展接口)进行获取存储信息、文件列表、文件操作等操作，由于基于互联网接口规范，可以通过上述网盘接入服务器为用户提供定制化的预设扩展接口，便于用户在网盘系统上进行技术开发的相关操作，并且保证网盘存储数据与内部服务的隔绝，保证网盘存储数据的安全性。

具体的，上述网盘接入服务器需要安装Nginx1.6.0服务器，需包含插件ssl、perl、http_stub_status、zlib、openssl、gzip、soap库。并将WebService程序部署至/usr/local/landhightech/nginx/html/VSO-webservice目录。其中协议栈基于自主开发的通信模块进行数据接收、解析。

具体实施时，上述步骤103中的功能可以由如图2所示的网盘负载均衡系统来实现，该网盘负载均衡系统为本网盘系统提供用户、数据的负载计算，根据所述业务操作请求的操作类型，将所述待处理数据分布到与操作类型相应的服务器上进行业务操作；能够满足在大并发用户及大数据量操作时提供横向、纵向可扩展的方案，使网盘系统能够达到无限扩展。此外，网盘负载均衡系统可以采用请求-队列-分配-响应的消息队列通讯模式，优化了网盘负载均衡系统消息处理的能力，增大了服务平行度并且减小了服务的延时。

具体实施时，为了满足用户实时对网盘系统中存储文件进行增、删、改、移、重命名等文件操作，在本实施例中，上述方法将所述存储文件存储在网盘中之后，还包括：实时监控用户对网盘中存储文件的文件操作指令；对网盘中存储文件进行与所述文件操作指令相应的操作(例如，增、删、改、移、重命名等文件操作)；将网盘中存储文件更新为操作后的版本文件；将操作后的文件实时同步到用户的本地系统进行存储。

具体的，实时监控文件操作指令的功能可以由如图2所示文件实时监控系统来实现，文件实时监控系统可以实现网盘系统文件存储的文件变化的实时监控，可以采用内核级的监控驱动，以便对文件增、删、改、移、重命名等文件操作指令进行实时监控。监控到操作指令后，上述对存储文件进行操作的功能可以由如图2所示的文件计算系统来实现，然后，更新存储文件版本的功能由如图2所示的文件版本控制系统来实现，文件版本控制系统可以实现网盘系统文件版本的管理、控制功能，记录基于用户存储操作的历史信息，并进行版本更新。上述文件计算系统衔接文件版本控制系统和文件实时监控系统，基于N：M的连接模式，即一个文件计算系统衔接一个或多个文件版本控制系统和文件实时监控系统，以提供高效的队列服务，满足高并发的文件操作；为了实现数据实时双向同步。将网盘中存储文件更新为操作后的版本文件之后，上述文件版本控制系统还用来实现将操作后的文件实时同步到用户本地系统，实现数据可以进行实时增量双向同步，并且有效的保证了用户数据的安全性。同时满足了用户对于文件共享、多用户访问的需求，使得用户可以随时随地的在本地系统进行文件访问、操作，并能支持用户离线工作。同时可以采用特定的哈希算法对存储文件进行排序、访问优化，有效提高了系统的性能及操作效率。同样，上述将业务操作后的数据实时同步到用户的本地系统进行存储的功能也可以通过文件版本控制系统来实现。

具体实施时，为了确保数据传输效率、准确性，在本实施例中，将所述存储文件实时同步到用户的本地系统之前，上述方法还包括：获取同步所述存储文件时所需的传输资源参数(例如，该传输资源参数可以是即时丢包率、网络速度、带宽等参数)；根据所述传输资源参数，确定传输所述存储文件时的数据块大小；根据所述传输资源参数，确定传输所述存储文件发送失败时的重发机制。具体的，根据传输资源参数，确定传输存储文件时的数据块大小，确定传输存储文件发送失败时的重发机制的功能可以通过上述文件计算系统来实现，基于面向连接的双向应用层协议，以支持高速广域网上的海量数据传输，有效提高了文件传输的速率。

基于同一发明构思，本发明实施例中还提供了一种网盘数据处理装置，如下面的实施例所述。由于网盘数据处理装置解决问题的原理与网盘的数据处理方法相似，因此网盘数据处理装置的实施可以参见网盘数据处理方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是本发明实施例的网盘数据处理装置的一种结构框图，如图3所示，包括：接收模块301、数据路由模块302、负载均衡模块303和数据同步模块304。下面对该结构进行说明。

接收模块301，用于通过操作界面接收用户输入的业务操作请求及业务应用的待处理数据；

数据路由模块302，与接收模块301连接，用于根据预设路径将所述待处理数据路由到网盘负载均衡服务器上；

负载均衡模块303，与数据路由模块302连接，用于在所述网盘负载均衡服务器上，根据所述业务操作请求的操作类型，将所述待处理数据分布到与操作类型相应的计算服务器上，在计算服务器上对所述待处理数据进行与所述业务操作请求相应的业务操作，得到存储文件；

数据同步模块304，与负载均衡模块303连接，用于将所述存储文件存储在网盘中，并实时同步到用户的本地系统进行存储。

在一个实施例中，所述业务操作请求是针对不同业务应用的业务操作请求；所述待处理数据是针对不同业务应用的待处理数据。

在一个实施例中，还包括：接口模块，用于通过预设扩展接口接收用户输入的用于进行技术开发的指令；技术开发模块，与接口模块连接，用于根据所述指令进行相应的技术开发操作。

在一个实施例中，还包括：实时监控模块，用于将所述存储文件存储在网盘中之后，实时监控用户对网盘中存储文件的文件操作指令；文件操作模块，与实时监控模块连接，用于对网盘中存储文件进行与所述文件操作指令相应的操作；更新模块，与文件操作模块连接，用于将网盘中存储文件更新为操作后的版本文件；所述数据同步模块，与更新模块连接，还用于将操作后的文件实时同步到用户的本地系统进行存储。

在一个实施例中，还包括：获取模块，用于将所述存储文件实时同步到用户的本地系统之前，获取同步所述存储文件时所需的传输资源参数；数据块确定模块，与获取模块连接，用于根据所述传输资源参数，确定传输所述存储文件时的数据块大小；重发机制确定模块，与获取模块连接，用于根据所述传输资源参数，确定传输所述存储文件发送失败时的重发机制。

在本发明实施例中，通过操作界面可以接收用户输入的业务操作请求及业务应用的待处理数据；并根据预设路径在网盘系统中将所述待处理数据路由到网盘负载均衡服务器上，然后，在网盘负载均衡服务器上，根据业务操作请求的操作类型，将待处理数据分布到与操作类型相应的计算服务器上，在计算服务器上对待处理数据进行与业务操作请求相应的业务操作，得到存储文件，最后，将存储文件存储在网盘中，并实时同步到用户的本地系统进行存储。实现了用户将大规模业务应用的待处理数据在网盘中进行业务操作后，得到存储文件，网盘将得到的存储文件实时同步到用户本地系统进行存储，实现了数据的双向同步，使得用户可以在本地系统查看浏览数据，无需再到网盘上查看数据。

显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种网盘数据处理方法，其特征在于，包括：

通过操作界面接收用户输入的业务操作请求及业务应用的待处理数据；

根据预设路径将所述待处理数据路由到网盘负载均衡服务器上；

在所述网盘负载均衡服务器上，根据所述业务操作请求的操作类型，将所述待处理数据分布到与操作类型相应的计算服务器上，在计算服务器上对所述待处理数据进行与所述业务操作请求相应的业务操作，得到存储文件；

将所述存储文件存储在网盘中，并实时同步到用户的本地系统进行存储。

2.如权利要求1所述的方法，其特征在于，所述业务操作请求是针对不同业务应用的业务操作请求；所述待处理数据是针对不同业务应用的待处理数据。

3.如权利要求1所述的方法，其特征在于，还包括：

通过预设扩展接口接收用户输入的用于进行技术开发的指令；

根据所述指令进行相应的技术开发操作。

4.如权利要求1所述的方法，其特征在于，将所述存储文件存储在网盘中之后，还包括：

实时监控用户对网盘中存储文件的文件操作指令；

对网盘中存储文件进行与所述文件操作指令相应的操作；

将网盘中存储文件更新为操作后的版本文件；

将操作后的文件实时同步到用户的本地系统进行存储。

5.如权利要求1至4中任一项所述的方法，其特征在于，将所述存储文件实时同步到用户的本地系统之前，还包括：

获取同步所述存储文件时所需的传输资源参数；

根据所述传输资源参数，确定传输所述存储文件时的数据块大小；

根据所述传输资源参数，确定传输所述存储文件发送失败时的重发机制。

6.一种网盘数据处理装置，其特征在于，包括：

接收模块，用于通过操作界面接收用户输入的业务操作请求及业务应用的待处理数据；

数据路由模块，用于根据预设路径将所述待处理数据路由到网盘负载均衡服务器上；

负载均衡模块，用于在所述网盘负载均衡服务器上，根据所述业务操作请求的操作类型，将所述待处理数据分布到与操作类型相应的计算服务器上，在计算服务器上对所述待处理数据进行与所述业务操作请求相应的业务操作，得到存储文件；

数据同步模块，用于将所述存储文件存储在网盘中，并实时同步到用户的本地系统进行存储。

7.如权利要求6所述的装置，其特征在于，所述业务操作请求是针对不同业务应用的业务操作请求；所述待处理数据是针对不同业务应用的待处理数据。

8.如权利要求6所述的装置，其特征在于，还包括：

接口模块，用于通过预设扩展接口接收用户输入的用于进行技术开发的指令；

技术开发模块，用于根据所述指令进行相应的技术开发操作。

9.如权利要求6所述的装置，其特征在于，还包括：

实时监控模块，用于将所述存储文件存储在网盘中之后，实时监控用户对网盘中存储文件的文件操作指令；

文件操作模块，用于对网盘中存储文件进行与所述文件操作指令相应的操作；

更新模块，用于将网盘中存储文件更新为操作后的版本文件；

所述数据同步模块，还用于将操作后的文件实时同步到用户的本地系统进行存储。

10.如权利要求6至9中任一项所述的装置，其特征在于，还包括：

获取模块，用于将所述存储文件实时同步到用户的本地系统之前，获取同步所述存储文件时所需的传输资源参数；

数据块确定模块，用于根据所述传输资源参数，确定传输所述存储文件时的数据块大小；

重发机制确定模块，用于根据所述传输资源参数，确定传输所述存储文件发送失败时的重发机制。