CN103036948A - 网络文件处理方法、执行节点、软件即服务SaaS平台 - Google Patents
网络文件处理方法、执行节点、软件即服务SaaS平台 Download PDFInfo
- Publication number
- CN103036948A CN103036948A CN2012104777373A CN201210477737A CN103036948A CN 103036948 A CN103036948 A CN 103036948A CN 2012104777373 A CN2012104777373 A CN 2012104777373A CN 201210477737 A CN201210477737 A CN 201210477737A CN 103036948 A CN103036948 A CN 103036948A
- Authority
- CN
- China
- Prior art keywords
- file
- user
- processing
- pending
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种网络文件处理方法、执行节点、软件即服务SaaS平台，其中，所述方法包括：根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件；根据用户选择的待处理的文件标识，若确定本地磁盘缓存中存在与所述待处理的文件标识对应的文件时，则从所述本地磁盘缓存中获取所述待处理的文件供用户处理。可以提高网络文件系统的应用性能，提高用户进行网络文件处理的体验度。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种网络文件处理方法、执行节点、软件即服务SaaS平台。
背景技术
基于公共云存储的网络文件系统是基于用户态文件系统(Filesystem inUserspace，FUSE)实现的，云存储提供的软件开发（Software Development Kit，SDK）接口将用户在云存储中的文件夹挂载到软件即服务（Software as aService，SaaS）平台中，从而可以实现SaaS平台与云存储之间的通信。
在基于公共云存储的网络文件系统中，每个用户的文件存储在云存储中某个桶（bucket）下的一个文件夹下，一个用户对应一个文件夹，当有用户需要进行网络文件处理时，该用户通过客户端向SaaS平台发送网络文件处理请求，SaaS平台根据SaaS网络文件处理请求，从云存储系统中将该用户对应的文件夹挂载到SaaS平台中供用户进行处理。
由于SaaS平台需要从云存储系统中将用户对应的文件夹下载到SaaS平台供用户处理，通常，用户对应的文件夹的数据量较大，当SaaS平台与云存储之间的网络状况较差时，会导致无法从云存储系统中将用户对应的文件夹下载到SaaS平台或者下载速度很慢的情况，降低了网络文件系统的应用性能，影响用户进行网络文件处理的体验度。
发明内容
本发明提供一种网络文件处理方法、执行节点、软件即服务SaaS平台，可以提高网络文件系统的应用性能。
本发明第一方面提供一种网络文件处理方法，应用于软件即服务SaaS平台的执行节点，包括：
根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件；
根据用户选择的待处理的文件标识，若确定本地磁盘缓存中存在与所述待处理的文件标识对应的文件时，则从所述本地磁盘缓存中获取所述待处理的文件供用户处理。
本发明另一方面提供一种执行节点，应用于软件即服务SaaS平台，包括：
获取模块，用于根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件；
确定模块，用于根据用户选择的待处理的文件标识，若确定本地磁盘缓存中存在与所述待处理的文件标识对应的文件时，则从所述本地磁盘缓存中获取所述待处理的文件供用户处理。
本发明另一方面提供软件即服务SaaS平台，包括至少一个上述执行节点。
本发明通过SaaS平台的执行节点根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件；根据用户选择的待处理的文件标识，首先在本地磁盘缓存中查询是否存在与所述待处理的文件标识对应的文件，若存在，则直接从本地磁盘缓存中获取所述待处理的文件供用户处理，从而不需要向云存储系统发送网络文件处理请求以获取待处理的文件，当SaaS平台与云存储系统之间的网络状况较差时也不会影响网络文件系统的应用性能；因此，由于可以提高网络文件系统的应用性能和用户进行网络文件处理的体验度。
附图说明
图1为本发明一实施例提供的网络文件处理方法的流程示意图；
图2为本发明另一实施例提供的网络文件处理方法的信令图；
图3为本发明另一实施例提供的执行节点的结构示意图；
图4为本发明另一实施例提供的SaaS平台的结构示意图。
具体实施方式
图1为本发明一实施例提供的网络文件处理方法的流程示意图，具体应用于软件即服务SaaS平台的执行节点，如图1所示，本实施例的网络文件处理方法具体包括：
101、根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件。
具体实现时，SaaS平台中包括多个执行节点，当用户登录到SaaS平台中的一个执行节点或多个执行节点时，执行节点可以根据客户端发送的包含用户标识的网络文件处理请求，向所述SaaS平台的元数据服务器发送获取文件夹目录的请求，所述获取文件夹目录的请求中包含所述用户标识；元数据服务器根据所述用户标识，获取与所述用户标识对应的最新文件夹目录并发送给所述执行节点；执行节点接收所述元数据服务器发送的与所述用户标识对应的最新文件夹目录；将所述最新文件夹目录进行显示，以使用户进行选择待处理的文件。其中，上述文件夹目录属于一种元数据，数据量小，并最终保存在公共云存储中。
102、根据用户选择的待处理的文件标识，确定本地磁盘缓存中是否存在与所述待处理的文件标识对应的文件，若是则执行步骤103，否则执行步骤104。
具体实现时，例如，当用户通过SaaS平台的执行节点处理文件后，通常，在预设的缓存时间之内，该执行节点会将该文件保存在该执行节点的本地磁盘缓存中，如果超过预设的缓存时间之后，该用户没有对该文件进行处理，则该执行节点会将该文件从该执行节点的本地磁盘缓存中删除，以释放缓存空间。
需要说明的是，上述预设的缓存时间可以采用现有的最近最少使用算法（least Recently Used，LRU），例如，假设本地磁盘缓存空间为5M，如果有3个文件，即文件1、文件2和文件3，对应的文件大小分别是1M、2M和3M，如果用户最近访问文件的顺序是文件3、文件2、文件2、文件3、文件3，此时在缓存中的文件是文件2和文件3，如果这时候又要访问文件1，由于文件1、文件2和文件3的文件大小之和已经超过了本地磁盘缓存空间5M，另外，最近访问过文件3，因此，将文件2从本地磁盘缓存中删除，以释放缓存空间，释放出的缓存空间用于保存文件1。
本实施例中，执行节点根据用户选择的待处理的文件标识，不是直接向云存储系统发送获取网络文件请求，而是根据待处理的文件标识，查询本地磁盘缓存中是否存在与所述待处理的文件标识对应的文件在（简称待处理的文件），从而可以避免通过网络向云存储系统获取待处理的文件。
103、从本地磁盘缓存中获取所述待处理的文件供用户处理。
假设用户在预设的缓存时间超时之前通过某一执行节点处理过该待处理的文件，则在该执行节点的本地磁盘缓存中保存有该待处理的文件，此时，可以从该执行节点的本地磁盘缓存中获取所述待处理的文件供用户处理。
104、向缓存管理器发送包括所述待处理的文件标识的合作请求。
具体实现时，SaaS平台中包含有多个执行节点，用户每次登录SaaS平台的进行文件处理的执行节点可能存在不一样的情形；假设用户在预设的缓存时间超时之前通过SaaS平台中的其他执行节点处理过该待处理的文件，则在该其他执行节点的本地磁盘缓存中保存有该待处理的文件，保存有待处理的文件的其他执行节点可以称为合作节点，合作节点的本地磁盘缓存称为合作磁盘缓存。
SaaS平台中还包括缓存管理器，用于管理SaaS平台中各执行节点的本地磁盘缓存，缓存管理器中保存有各执行节点的本地磁盘缓存中的缓存文件目录。缓存管理器接收到包括所述待处理的文件标识的合作请求之后，所述缓存管理器通过查询缓存文件目录，确定其他执行节点中是否保存有所述待处理的文件，若存在其他执行节点中保存有所述待处理的文件的情况下，则向合作节点发送获取文件命令，若不存在其他执行节点中保存有所述待处理的文件的情况下，则所述缓存管理器向所述执行节点返回获取文件失败的消息；
在本实施例中，例如可以将所述SaaS平台中保存有所述待处理的文件的其他执行节点称为合作节点，所述合作节点的本地磁盘缓存可以称为合作磁盘缓存；
对应地，合作节点接收到缓存管理器发送的获取文件命令后，根据待处理的文件标识从合作磁盘缓存中获取待处理文件并发送给执行节点。
105、接收所述合作节点发送的待处理的文件供用户处理。
若步骤104中，缓存管理器确定合作节点的合作磁盘缓存中存在与所述待处理的文件标识对应的文件时，执行节点可以从合作节点中接收待处理的文件供用户处理。或者
106、接收所述缓存管理器发送的获取文件失败的消息。
若步骤104中，缓存管理器通过查询缓存文件目录，确定其他执行节点中没有保存有待处理的文件时，可以向执行节点发送获取文件失败的消息。
107、向云存储系统发送所述获取网络文件请求。
执行节点接收到缓存管理器发送的获取文件失败的消息之后，向云存储系统发送所述获取网络文件请求，所述获取网络文件请求中包含所述待处理的文件标识和用户标识。
云存储系统根据用户标识，查询与所述用户标识对应的文件夹，获取与所述待处理的文件标识对应的文件，并将获取的文件发送给本地磁盘缓存供用户进行处理；
假设用户通过执行节点对待处理的文件进行了处理，例如修改了文件内容或者修改了文件标识或者修改了文件所属的文件夹目录等；执行节点将处理后的文件保存在本地磁盘缓存中，同时，执行节点可以获取处理后的文件的元数据信息，其中，元数据信息例如包括处理后的文件所属的用户标识、所述处理后的文件所属的文件夹目录信息、所述处理后的文件标识；
为了保证云存储系统中有关该用户的元数据信息（即文件夹目录）的及时更新，执行节点获取处理后的文件的元数据信息之后，执行节点将处理后的文件及对应的元数据信息发送给云存储系统，以使所述云存储系统根据所述处理后的文件所属的文件夹目录信息更新与所述用户标识对应的文件夹目录，根据所述处理后的文件标识，将所述处理后的文件保存与所述处理后的文件标识对应的文件夹中。
为了保证元数据服务器和云存储系统中有关该用户的元数据信息（即文件夹目录）的数据一致性，执行节点获取处理后的文件的元数据信息之后，执行节点将所述处理后的文件的元数据信息发送给所述元数据服务器，以使所述元数据服务器根据所述处理后的文件的元数据信息更新与所述用户标识对应的最新文件夹目录，并通知其他合作磁盘缓存元数据信息更新，保持元数据信息的数据一致性。
为了保证本地磁盘缓存和合作磁盘缓存中的数据一致性，所述执行节点还可以将所述处理后的文件的元数据信息发送给缓存管理器，以使所述缓存管理器根据所述处理后的文件标识，确定保存有与所述文件标识对应的文件的合作节点，将所述合作节点的标识发送给所述执行节点；所述执行节点将所述处理后的文件及所述处理后的文件的元数据信息发送给所述合作节点，以使所述合作节点根据所述处理后的文件标识，将与所述文件标识对应的文件更新为所述处理后的文件。
本发明通过SaaS平台的执行节点根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件；根据用户选择的待处理的文件标识，首先在本地磁盘缓存中查询是否存在与所述待处理的文件标识对应的文件，若存在，则直接从本地磁盘缓存中获取所述待处理的文件供用户处理，若不存在，可以从SaaS平台中的执行节点的合作节点中获取所述待处理的文件供用户处理，从而不需要向云存储系统发送网络文件处理请求以获取待处理的文件，当SaaS平台与云存储系统之间的网络状况较差时也不会影响网络文件系统的应用性能；因此，由于可以提高网络文件系统的应用性能和用户进行网络文件处理的体验度。
同时，本发明实施例在用户通过执行节点对文件进行处理之后，执行节点向云存储系统发送处理后的文件以及对应的元数据信息，同时也可以向元数据服务器发送处理后的文件的元数据信息，可以保证元数据服务器和云存储系统中有关该用户的元数据信息（即文件夹目录）的数据一致性。
图2为本发明另一实施例提供的网络文件处理方法的信令图；如图2所示，当用户想通过SaaS平台读取文件时，本实施例的网络文件处理方法包括：
201、执行节点根据待读取文件标识，查询本地磁盘缓存，确定是否存在待读取文件，若是，则执行步骤202，否则执行步骤203。
假设用户已经登录了SaaS平台的任一执行节点，并通过元数据服务器获取了该用户的最新文件夹目录，且该用户已经选择了待读取的文件，根据待读取文件标识，通过查询本地磁盘缓存，确定本地磁盘缓存中是否存在待读取文件。
202、执行节点从本地磁盘缓存获取待读取文件供用户处理。
203、执行节点向缓存管理器发送合作请求。
其中，合作请求中包括待读取文件标识；缓存管理器用于管理SaaS平台中各执行节点的本地磁盘缓存，缓存管理器中保存有各执行节点的本地磁盘缓存中的缓存文件目录。
204、缓存管理器根据待读取文件标识，确定是否有保存待读取文件的合作节点，若是，则执行步骤205，否则执行步骤207。
其中，合作节点为SaaS平台中保存待读取文件的其他任一执行节点，缓存管理器根据待读取文件标识，通过缓存文件目录可以确定是否有保存待读取文件的合作节点。
205、缓存管理器向合作节点发送获取待读取文件的命令。
其中，获取待读取文件的命令中包括待读取文件标识和执行节点标识。
206、合作节点向执行节点发送待读取文件。
合作节点根据待读取文件标识，从合作节点的本地磁盘缓存（称为合作磁盘缓存）中获取待读取文件，根据执行节点标识，将待读取文件发送给执行节点。
可选地，假设合作节点根据待读取文件标识，获取不到待读取文件，则可以向缓存管理器返回获取文件失败的命令响应。
207、缓存管理器向执行节点发送获取文件失败的消息。
缓存管理器接收到合作节点发送的获取文件失败的命令响应时，或者缓存管理器根据待读取文件标识，通过缓存文件目录可以确定没有合作节点时，缓存管理器向执行节点发送获取文件失败的消息。
208、执行节点向云存储系统发送获取网络文件请求。
其中，获取网络文件请求中包括待读取文件标识和用户标识。
209、云存储系统向执行节点发送待读取文件。
云存储系统根据用户标识查询与该用户标识对应的文件夹，根据待读取文件标识，从与该用户标识对应的文件夹中获取待读取文件，将获取的待读取文件发送给本地磁盘缓存。
210、执行节点向云存储系统发送处理后的文件以及对应的元数据信息。
假设用户通过执行节点对读取的文件进行了处理，例如修改了文件内容或者修改了文件标识或者修改了文件所属的文件夹目录等；执行节点将处理后的文件保存在本地磁盘缓存中，同时，执行节点可以获取处理后的文件的元数据信息，其中，元数据信息例如包括处理后的文件所属的用户标识、所述处理后的文件所属的文件夹目录信息、所述处理后的文件标识。
为了保证云存储系统中有关该用户的元数据信息（即文件夹目录）的及时更新，执行节点获取处理后的文件的元数据信息之后，执行节点将处理后的文件及对应的元数据信息发送给云存储系统，以使所述云存储系统根据所述处理后的文件所属的文件夹目录信息更新与所述用户标识对应的文件夹目录，根据所述处理后的文件标识，将所述处理后的文件保存与所述处理后的文件标识对应的文件夹中。
为了保证元数据服务器和云存储系统中有关该用户的元数据信息（即文件夹目录）的数据一致性，执行节点获取处理后的文件的元数据信息之后，执行节点将所述处理后的文件的元数据信息发送给所述元数据服务器，以使所述元数据服务器根据所述处理后的文件的元数据信息更新与所述用户标识对应的最新文件夹目录。
为了保证本地磁盘缓存和合作磁盘缓存中的数据一致性，所述执行节点还可以将所述处理后的文件的元数据信息发送给缓存管理器，以使所述缓存管理器根据所述处理后的文件标识，确定保存有与所述文件标识对应的文件的合作节点，将所述合作节点的标识发送给所述执行节点；所述执行节点将所述处理后的文件及所述处理后的文件的元数据信息发送给所述合作节点，以使所述合作节点根据所述处理后的文件标识，将与所述文件标识对应的文件更新为所述处理后的文件，并更新与所述文件标识对应的元数据信息。
本发明通过SaaS平台的执行节点根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件；根据用户选择的待处理的文件标识，首先在本地磁盘缓存中查询是否存在与所述待处理的文件标识对应的文件，若存在，则直接从本地磁盘缓存中获取所述待处理的文件供用户处理，若不存在，可以从SaaS平台中的合作节点中获取所述待处理的文件供用户处理，从而不需要向云存储系统发送网络文件处理请求以获取待处理的文件，当SaaS平台与云存储系统之间的网络状况较差时也不会影响网络文件系统的应用性能；因此，由于可以提高网络文件系统的应用性能和用户进行网络文件处理的体验度。
同时，本发明实施例在用户通过执行节点对文件进行处理之后，执行节点向云存储系统发送处理后的文件以及对应的元数据信息，同时也可以向元数据服务器发送处理后的文件的元数据信息，可以保证元数据服务器和云存储系统中有关该用户的元数据信息（即文件夹目录）的数据一致性。
图3为本发明另一实施例提供的执行节点的结构示意图，具体地应用于SaaS平台，如图3所示，本实施例的执行节点包括：
获取模块31，用于根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件；
确定模块32，用于根据用户选择的待处理的文件标识，若确定本地磁盘缓存中存在与所述待处理的文件标识对应的文件时，则从所述本地磁盘缓存中获取所述待处理的文件供用户处理。
其中，获取模块31，具体用于向所述SaaS平台的元数据服务器发送获取最新文件夹目录的请求，所述获取最新文件夹目录的请求中包含所述用户标识，以使所述元数据服务器根据所述用户标识，获取与所述用户标识对应的最新文件夹目录并发送给所述执行节点；接收所述元数据服务器发送的与所述用户标识对应的最新文件夹目录；将所述最新文件夹目录进行显示，以使用户进行选择待处理的文件。
所述装置例如还包括：
第一发送模块33，用于在所述确定模块32根据所述待处理的文件标识，确定本地磁盘缓存中不存在与所述待处理的文件标识对应的文件的基础上，向所述SaaS平台的缓存管理器发送包括所述待处理的文件标识的合作请求，以使所述缓存管理器通过查询缓存文件目录，确定其他执行节点中是否保存有所述待处理的文件，若存在其他执行节点中保存有所述待处理的文件的情况下，则向合作节点发送获取文件命令，以使所述合作节点根据所述待处理的文件标识，从合作磁盘缓存中获取所述待处理的文件并发送给所述执行节点，若不存在其他执行节点中保存有所述待处理的文件的情况下，则所述缓存管理器向所述执行节点返回获取文件失败的消息；
所述合作节点为所述SaaS平台中保存有所述待处理的文件的其他执行节点；所述合作磁盘缓存为所述合作节点的本地磁盘缓存；
接收模块34，用于接收所述缓存管理器发送的获取文件失败的消息；
第一发送模块33，还用于向云存储系统发送获取网络文件请求，所述获取网络文件请求中包含所述待处理的文件标识和用户标识，以使所述云存储系统根据所述待处理的文件标识和用户标识，获取所述待处理的文件并发送给所述执行节点。
其中，获取模块31，还用于获取所述处理后的文件的元数据信息，所述元数据信息包括所述处理后的文件所属的用户标识、所述处理后的文件所属的文件夹目录信息、所述处理后的文件标识；
所述装置例如还包括：
第二发送模块35，用于将所述处理后的文件及获取模块31获取的所述处理后的文件的元数据信息发送给所述云存储系统，以使所述云存储系统根据所述处理后的文件所属的文件夹目录信息更新与所述用户标识对应的文件夹目录，根据所述处理后的文件标识，将所述处理后的文件保存到与所述处理后的文件标识对应的存储空间；
第二发送模块35，还用于将获取模块31获取的所述处理后的文件的元数据信息发送给所述元数据服务器，以使所述元数据服务器根据所述处理后的文件的元数据信息更新与所述用户标识对应的最新文件夹目录；
第二发送模块35，还用于将获取模块31获取的所述处理后的文件的元数据信息发送给缓存管理器，以使所述缓存管理器根据所述元数据信息中包含的所述处理后的文件标识，确定保存有与所述文件标识对应的文件的合作节点，将所述合作节点的标识发送给所述执行节点；
第二发送模块35，还用于将所述处理后的文件及获取模块31获取的所述处理后的文件的元数据信息发送给所述合作节点，以使所述合作节点根据所述元数据信息中包含的所述处理后的文件标识，将与所述文件标识对应的文件更新为所述处理后的文件，并更新与所述文件标识对应的元数据信息。
本发明通过SaaS平台的执行节点根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件；根据用户选择的待处理的文件标识，首先在本地磁盘缓存中查询是否存在与所述待处理的文件标识对应的文件，若存在，则直接从本地磁盘缓存中获取所述待处理的文件供用户处理，若不存在，可以从SaaS平台中的合作节点中获取所述待处理的文件供用户处理，从而不需要向云存储系统发送网络文件处理请求以获取待处理的文件，当SaaS平台与云存储系统之间的网络状况较差时也不会影响网络文件系统的应用性能；因此，由于可以提高网络文件系统的应用性能和用户进行网络文件处理的体验度。
同时，本发明实施例在用户通过执行节点对文件进行处理之后，执行节点向云存储系统发送处理后的文件以及对应的元数据信息，同时也可以向元数据服务器发送处理后的文件的元数据信息，可以保证元数据服务器和云存储系统中有关该用户的元数据信息（即文件夹目录）的数据一致性。
图4为本发明另一实施例提供的SaaS平台的结构示意图，如图4所示，SaaS平台包括：至少一个执行节点41；
其中，各执行节点包括如图3所示实施例所述的执行节点，详细内容参考图3所示实施例中的相关描述，不再赘述；
元数据服务器42，用于接收所述执行节点发送的获取最新文件夹目录的请求，所述获取最新文件夹目录的请求中包含所述用户标识，根据所述用户标识，获取与所述用户标识对应的最新文件夹目录并发送给所述执行节点；
缓存管理器43，用于接收所述执行节点发送的包括所述待处理的文件标识的合作请求，通过查询缓存文件目录，确定其他执行节点中是否保存有所述待处理的文件，若存在其他执行节点中保存有所述待处理的文件的情况下，则向合作节点发送获取文件命令，以使所述合作节点根据所述待处理的文件标识，从合作磁盘缓存中获取所述待处理的文件并发送给所述执行节点，若不存在其他执行节点中保存有所述待处理的文件的情况下，则所述缓存管理器向所述执行节点返回获取文件失败的消息；
在本实施例中，例如可以将所述SaaS平台中保存有所述待处理的文件的其他执行节点称为合作节点，所述合作节点的本地磁盘缓存可以称为合作磁盘缓存；
合作节点44，为SaaS平台中任一保存有所述待处理的文件的其他执行节点，用于接收所述缓存管理器发送的包含所述待处理的文件标识的获取文件命令，根据所述待处理的文件标识，从所述合作磁盘缓存中获取所述待处理的文件并发送给所述执行节点；
元数据服务器42，还用于接收所述执行节点发送的所述处理后的文件的元数据信息，所述元数据信息包括所述处理后的文件所属的用户标识、所述处理后的文件所属的文件夹目录信息、所述处理后的文件标识；根据所述处理后的文件的元数据信息更新与所述用户标识对应的最新文件夹目录；
缓存管理器43，还用于接收所述执行节点发送的所述处理后的文件的元数据信息，根据所述处理后的文件标识确定保存有与所述文件标识对应的文件的合作节点，将所述合作节点的标识发送给所述执行节点；
合作节点44，还用于接收所述执行节点发送的所述处理后的文件及所述处理后的文件的元数据信息，根据所述处理后的文件标识，将与所述文件标识对应的文件更新为所述处理后的文件，并更新与所述文件标识对应的元数据信息。
本发明通过SaaS平台的执行节点根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件；根据用户选择的待处理的文件标识，首先在本地磁盘缓存中查询是否存在与所述待处理的文件标识对应的文件，若存在，则直接从本地磁盘缓存中获取所述待处理的文件供用户处理，若不存在，可以从SaaS平台中的合作节点中获取所述待处理的文件供用户处理，从而不需要向云存储系统发送网络文件处理请求以获取待处理的文件，当SaaS平台与云存储系统之间的网络状况较差时也不会影响网络文件系统的应用性能；因此，由于可以提高网络文件系统的应用性能和用户进行网络文件处理的体验度。
同时，本发明实施例在用户通过执行节点对文件进行处理之后，执行节点向云存储系统发送处理后的文件以及对应的元数据信息，同时也可以向元数据服务器发送处理后的文件的元数据信息，可以保证元数据服务器和云存储系统中有关该用户的元数据信息（即文件夹目录）的数据一致性。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种网络文件处理方法，应用于软件即服务SaaS平台的执行节点，其特征在于，包括：
根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件；
根据用户选择的待处理的文件标识，若确定本地磁盘缓存中存在与所述待处理的文件标识对应的文件时，则从所述本地磁盘缓存中获取所述待处理的文件供用户处理。
2.根据权利要求1所述的方法，其特征在于，根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件，包括：
向所述SaaS平台的元数据服务器发送获取最新文件夹目录的请求，所述获取最新文件夹目录的请求中包含所述用户标识，以使所述元数据服务器根据所述用户标识，获取与所述用户标识对应的最新文件夹目录并发送给所述执行节点；
接收所述元数据服务器发送的与所述用户标识对应的最新文件夹目录；
将所述最新文件夹目录进行显示，以使用户进行选择待处理的文件。
3.根据权利要求1所述的方法，其特征在于，根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件之后，还包括：
根据所述待处理的文件标识，若确定本地磁盘缓存中不存在与所述待处理的文件标识对应的文件，则向所述SaaS平台的缓存管理器发送包括所述待处理的文件标识的合作请求，以使所述缓存管理器通过查询缓存文件目录，确定其他执行节点中是否保存有所述待处理的文件，并在存在合作节点的情况下向合作节点发送获取文件命令以使所述合作节点根据所述待处理的文件标识从合作磁盘缓存中获取所述待处理的文件并发送给所述执行节点、在不存在合作节点的情况下向所述执行节点返回获取文件失败的消息；
所述合作节点为所述SaaS平台中保存有所述待处理的文件的其他执行节点；所述合作磁盘缓存为所述合作节点的本地磁盘缓存。
4.根据权利要求3所述的方法，其特征在于，所述向所述SaaS平台的缓存管理器发送包括所述待处理的文件标识的合作请求之后，还包括：
若接收到所述缓存管理器发送的获取文件失败的消息，则向云存储系统发送获取网络文件请求，所述获取网络文件请求中包含所述待处理的文件标识和用户标识，以使所述云存储系统根据所述待处理的文件标识和用户标识，获取所述待处理的文件并发送给所述执行节点。
5.根据权利要求1-4任一项所述的方法，其特征在于，获取所述待处理的文件供用户处理之后，包括：
所述执行节点获取所述处理后的文件的元数据信息，所述元数据信息包括所述处理后的文件所属的用户标识、所述处理后的文件所属的文件夹目录信息、所述处理后的文件标识；
所述执行节点将所述处理后的文件及对应的元数据信息发送给所述云存储系统，以使所述云存储系统根据所述处理后的文件所属的文件夹目录信息更新与所述用户标识对应的文件夹目录，根据所述处理后的文件标识，将所述处理后的文件保存到与所述处理后的文件标识对应的文件夹；
所述执行节点将所述处理后的文件的元数据信息发送给所述元数据服务器，以使所述元数据服务器根据所述处理后的文件的元数据信息更新与所述用户标识对应的最新文件夹目录；
将所述处理后的文件的元数据信息发送给缓存管理器，以使所述缓存管理器根据所述元数据信息中包含的所述处理后的文件标识，确定保存有与所述文件标识对应的文件的合作节点，将所述合作节点的标识发送给所述执行节点；
将所述处理后的文件及所述处理后的文件的元数据信息发送给所述合作节点，以使所述合作节点根据所述元数据信息中包含的所述处理后的文件标识，将与所述文件标识对应的文件更新为所述处理后的文件并更新与所述文件标识对应的元数据信息。
6.一种执行节点，应用于软件即服务SaaS平台，其特征在于，包括：
获取模块，用于根据客户端发送的包含用户标识的网络文件处理请求，获取与所述用户标识对应的最新文件夹目录供用户选择待处理的文件；
确定模块，用于根据用户选择的待处理的文件标识，若确定本地磁盘缓存中存在与所述待处理的文件标识对应的文件时，则从所述本地磁盘缓存中获取所述待处理的文件供用户处理。
7.根据权利要求6所述的执行节点，其特征在于，所述获取模块，具体用于向所述SaaS平台的元数据服务器发送获取最新文件夹目录的请求，所述获取最新文件夹目录的请求中包含所述用户标识，以使所述元数据服务器根据所述用户标识，获取与所述用户标识对应的最新文件夹目录并发送给所述执行节点；接收所述元数据服务器发送的与所述用户标识对应的最新文件夹目录；将所述最新文件夹目录进行显示，以使用户进行选择待处理的文件。
8.根据权利要求6所述的执行节点，其特征在于，还包括：
第一发送模块，用于在所述确定模块根据所述待处理的文件标识，确定本地磁盘缓存中不存在与所述待处理的文件标识对应的文件的基础上，向所述SaaS平台的缓存管理器发送包括所述待处理的文件标识的合作请求，以使所述缓存管理器通过查询缓存文件目录确定其他执行节点中是否保存有所述待处理的文件，并在存在合作节点的情况下向合作节点发送获取文件命令以使所述合作节点根据所述待处理的文件标识从合作磁盘缓存中获取所述待处理的文件并发送给所述执行节点、在不存在合作节点的情况下向所述执行节点返回获取文件失败的消息；
所述合作节点为所述SaaS平台中保存有所述待处理的文件的其他执行节点；所述合作磁盘缓存为所述合作节点的本地磁盘缓存；
接收模块，用于接收所述缓存管理器发送的获取文件失败的消息；
所述第一发送模块，还用于向云存储系统发送获取网络文件请求，所述获取网络文件请求中包含所述待处理的文件标识和用户标识，以使所述云存储系统根据所述待处理的文件标识和用户标识，获取所述待处理的文件并发送给所述执行节点。
9.根据权利要求6-8任一项所述的执行节点，其特征在于，所述获取模块，还用于获取所述处理后的文件的元数据信息，所述元数据信息包括所述处理后的文件所属的用户标识、所述处理后的文件所属的文件夹目录信息、所述处理后的文件标识；
所述装置还包括：第二发送模块，用于将所述处理后的文件及对应的元数据信息发送给所述云存储系统，以使所述云存储系统根据所述处理后的文件所属的文件夹目录信息更新与所述用户标识对应的文件夹目录、并根据所述处理后的文件标识将所述处理后的文件保存到与所述处理后的文件标识对应的文件夹；
所述第二发送模块，还用于将所述处理后的文件的元数据信息发送给所述元数据服务器，以使所述元数据服务器根据所述处理后的文件的元数据信息更新与所述用户标识对应的最新文件夹目录；
所述第二发送模块，还用于将所述处理后的文件的元数据信息发送给缓存管理器，以使所述缓存管理器根据所述元数据信息中包含的所述处理后的文件标识，确定保存有与所述文件标识对应的文件的合作节点，将所述合作节点的标识发送给所述执行节点；
所述第二发送模块，还用于将所述处理后的文件及所述处理后的文件的元数据信息发送给所述合作节点，以使所述合作节点根据所述元数据信息中包含的所述处理后的文件标识，将与所述文件标识对应的文件更新为所述处理后的文件并更新与所述文件标识对应的元数据信息。
10.一种软件即服务SaaS平台，其特征在于，包括：
至少一个执行节点，各执行节点均为如权利要求6-10任一项所述的执行节点；
元数据服务器，用于接收所述执行节点发送的获取最新文件夹目录的请求，所述获取最新文件夹目录的请求中包含所述用户标识，根据所述用户标识，获取与所述用户标识对应的最新文件夹目录并发送给所述执行节点；
缓存管理器，用于接收所述执行节点发送的包括所述待处理的文件标识的合作请求，通过查询缓存文件目录，确定其他执行节点中是否保存有所述待处理的文件，若存在其他执行节点中是否保存有所述待处理的文件的情况下，则向合作节点发送获取文件命令，以使所述合作节点根据所述待处理的文件标识，从合作磁盘缓存中获取所述待处理的文件并发送给所述执行节点，若不存在其他执行节点中是否保存有所述待处理的文件的情况下，则所述缓存管理器向所述执行节点返回获取文件失败的消息；
所述SaaS平台中保存有所述待处理的文件的其他执行节点为合作节点；所述合作节点的本地磁盘缓存为合作磁盘缓存；
所述合作节点，用于接收所述缓存管理器发送的包含所述待处理的文件标识的获取文件命令，根据所述待处理的文件标识，从所述合作磁盘缓存中获取所述待处理的文件并发送给所述执行节点；
所述元数据服务器，还用于接收所述执行节点发送的所述处理后的文件的元数据信息，所述元数据信息包括所述处理后的文件所属的用户标识、所述处理后的文件所属的文件夹目录信息、所述处理后的文件标识；根据所述处理后的文件的元数据信息更新与所述用户标识对应的最新文件夹目录；
所述缓存管理器，还用于接收所述执行节点发送的所述处理后的文件的元数据信息发送给缓存管理器，根据所述元数据信息中包含的所述处理后的文件标识，确定保存有与所述文件标识对应的文件的合作节点，将所述合作节点的标识发送给所述执行节点；
所述合作节点，还用于接收所述执行节点发送的所述处理后的文件及所述处理后的文件的元数据信息发送给所述合作节点，根据所述元数据信息中包含的所述处理后的文件标识，将与所述文件标识对应的文件更新为所述处理后的文件，并更新与所述文件标识对应的元数据信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210477737.3A CN103036948B (zh) | 2012-11-21 | 2012-11-21 | 网络文件处理方法、执行节点、软件即服务SaaS平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210477737.3A CN103036948B (zh) | 2012-11-21 | 2012-11-21 | 网络文件处理方法、执行节点、软件即服务SaaS平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103036948A true CN103036948A (zh) | 2013-04-10 |
| CN103036948B CN103036948B (zh) | 2015-12-02 |
Family
ID=48023420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210477737.3A Active CN103036948B (zh) | 2012-11-21 | 2012-11-21 | 网络文件处理方法、执行节点、软件即服务SaaS平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103036948B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103269353A (zh) * | 2013-04-19 | 2013-08-28 | 网宿科技股份有限公司 | Web缓存回源优化方法及Web缓存系统 |
| CN104252513A (zh) * | 2013-11-11 | 2014-12-31 | 新华瑞德（北京）网络科技有限公司 | 文件缓存装置、系统及方法 |
| CN104283941A (zh) * | 2014-09-16 | 2015-01-14 | 深圳市同洲电子股份有限公司 | 一种数据访问方法、装置及系统 |
| CN106713107A (zh) * | 2015-11-13 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 消息的获取方法、服务端、客户端及网关设备 |
| CN107967273A (zh) * | 2016-10-19 | 2018-04-27 | 华为技术有限公司 | 数据获取方法、数据节点及系统 |
| CN110334246A (zh) * | 2019-07-08 | 2019-10-15 | 北京字节跳动网络技术有限公司 | 一种数据请求处理方法、装置、终端设备及存储介质 |
| CN111737204A (zh) * | 2020-06-12 | 2020-10-02 | 北京百度网讯科技有限公司 | 文件目录遍历方法、装置、设备和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101520805A (zh) * | 2009-03-25 | 2009-09-02 | 中兴通讯股份有限公司 | 一种分布式文件系统及其文件处理方法 |
| CN102014158A (zh) * | 2010-11-29 | 2011-04-13 | 北京兴宇中科科技开发股份有限公司 | 一种云存储服务客户端高效细粒度数据缓存系统与方法 |
| CN102012933A (zh) * | 2010-12-02 | 2011-04-13 | 清华大学 | 分布式文件系统及利用其存储数据和提供服务的方法 |
-
2012
- 2012-11-21 CN CN201210477737.3A patent/CN103036948B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101520805A (zh) * | 2009-03-25 | 2009-09-02 | 中兴通讯股份有限公司 | 一种分布式文件系统及其文件处理方法 |
| CN102014158A (zh) * | 2010-11-29 | 2011-04-13 | 北京兴宇中科科技开发股份有限公司 | 一种云存储服务客户端高效细粒度数据缓存系统与方法 |
| CN102012933A (zh) * | 2010-12-02 | 2011-04-13 | 清华大学 | 分布式文件系统及利用其存储数据和提供服务的方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103269353A (zh) * | 2013-04-19 | 2013-08-28 | 网宿科技股份有限公司 | Web缓存回源优化方法及Web缓存系统 |
| CN103269353B (zh) * | 2013-04-19 | 2016-11-02 | 网宿科技股份有限公司 | Web缓存回源优化方法及Web缓存系统 |
| CN104252513A (zh) * | 2013-11-11 | 2014-12-31 | 新华瑞德（北京）网络科技有限公司 | 文件缓存装置、系统及方法 |
| CN104252513B (zh) * | 2013-11-11 | 2018-04-27 | 大唐网络有限公司 | 文件缓存装置、系统及方法 |
| CN104283941A (zh) * | 2014-09-16 | 2015-01-14 | 深圳市同洲电子股份有限公司 | 一种数据访问方法、装置及系统 |
| CN106713107A (zh) * | 2015-11-13 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 消息的获取方法、服务端、客户端及网关设备 |
| CN106713107B (zh) * | 2015-11-13 | 2020-03-20 | 阿里巴巴集团控股有限公司 | 消息的获取方法、服务端、客户端及网关设备 |
| CN107967273A (zh) * | 2016-10-19 | 2018-04-27 | 华为技术有限公司 | 数据获取方法、数据节点及系统 |
| CN110334246A (zh) * | 2019-07-08 | 2019-10-15 | 北京字节跳动网络技术有限公司 | 一种数据请求处理方法、装置、终端设备及存储介质 |
| CN111737204A (zh) * | 2020-06-12 | 2020-10-02 | 北京百度网讯科技有限公司 | 文件目录遍历方法、装置、设备和介质 |
| CN111737204B (zh) * | 2020-06-12 | 2024-03-19 | 北京百度网讯科技有限公司 | 文件目录遍历方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103036948B (zh) | 2015-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102240557B1 (ko) | 데이터 저장 방법, 장치 및 시스템 | |
| US10180953B2 (en) | Receiver-side data deduplication in data systems | |
| US9794191B2 (en) | Reduced bandwidth data uploading in data systems | |
| CN103036948A (zh) | 网络文件处理方法、执行节点、软件即服务SaaS平台 | |
| CN107870728B (zh) | 用于移动数据的方法和设备 | |
| US7765189B2 (en) | Data migration apparatus, method, and program for data stored in a distributed manner | |
| CN110474940B (zh) | 请求调度方法、装置、电子设备、及介质 | |
| KR101587631B1 (ko) | 클라우드 기반 로컬 장치와 로컬 장치의 파일 읽기 및 저장 방법 | |
| AU2015249206B2 (en) | Receiver-side data deduplication in data systems | |
| CN107786638B (zh) | 一种数据处理方法、装置及系统 | |
| CN107197359B (zh) | 视频文件缓存方法及装置 | |
| KR102098415B1 (ko) | 캐시 관리 기법 | |
| CN106817388B (zh) | 虚拟机、宿主机获取数据的方法、装置及访问数据的系统 | |
| CN103095686A (zh) | 热点元数据访问控制方法和服务器 | |
| CN114265814B (zh) | 一种基于对象存储的数据湖文件系统 | |
| CN102045399B (zh) | 云计算模式文件系统及文件读取方法 | |
| JP2021144635A (ja) | プログラム更新システム、並びに情報処理装置及び情報処理プログラム | |
| KR20210040864A (ko) | 파일 디렉터리 순회 방법, 장치, 기기, 매체 및 컴퓨터 프로그램 | |
| US20100293561A1 (en) | Methods and apparatus for conversion of content | |
| CN105740166A (zh) | 缓存的读取、读取处理方法及装置 | |
| CN101819589B (zh) | 一种控制文件输入输出缓存的方法及装置 | |
| CN109857719B (zh) | 分布式文件处理方法、装置、计算机设备以及存储介质 | |
| CN103491124A (zh) | 一种对彩信数据进行处理的方法及分布式缓存系统 | |
| CN101997885A (zh) | 一种用户数据调度方法、服务器及数据中心 | |
| KR101977777B1 (ko) | 가상 파일 기반의 클라우드 서비스 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |