CN109257439B - 分布式文件保存系统、文件上传方法和装置 - Google Patents

Abstract

本申请涉及一种分布式文件保存系统，包括http服务器、协调服务模块和至少两个文件服务器。http服务器分别通信连接协调服务模块和各文件服务器。协调服务模块分别通信连接各文件服务器。http服务器用于接收到各通信设备发送的上报文件时，获取协调服务模块上的目标配置信息。其中，目标配置信息为各配置信息中，当前可提供服务的文件服务器对应的配置信息。http服务器还用于根据目标配置信息，将上报文件发送到相应的文件服务器进行保存。通过采用分布式的文件服务器，配合协调服务模块与http服务器的协作，供http服务器直接调用，有效满足不断扩容的通信网络中海量通信设备上报的文件保存需求，大幅提高文件服务器运行效率。

Description

分布式文件保存系统、文件上传方法和装置

技术领域

本申请涉及通信技术领域，特别是涉及一种分布式文件保存系统、文件上传方法和装置。

背景技术

随着通信技术的发展，通信设备的监控网管系统是针对海量通信设备进行集中监控管理的系统，为了保证通信设备能够长期稳定运行，传统的监控网管系统中，会通过配置的文件管理服务器来长期保存通信设备定时发送的上报文件。随着通信网络的不断扩容，在网的通信设备的数量也会越来越多。当海量通信设备长期频繁发送上报文件时，监控网管系统的文件服务器将会承受巨大的流量压力和存储空间压力。

在实现过程中，发明人发现传统技术中至少存在如下问题：监控网管系统的文件服务器运行效率不高，无法有效满足不断扩容的通信网络中海量通信设备上报的文件保存需求。

发明内容

基于此，有必要针对上述技术问题，提供一种分布式文件保存系统、一种文件上传方法，一种文件上传装置和一种计算机可读存储介质。

为实现上述目的，本发明实施例采用以下技术方案：

一方面，本发明实施例提供一种分布式文件保存系统，包括http服务器、协调服务模块和至少两个文件服务器，所述http服务器分别通信连接所述协调服务模块和各所述文件服务器，所述协调服务模块分别通信连接各所述文件服务器,所述http服务器通信连接各通信设备；

所述协调服务模块用于保存各所述文件服务器的配置信息，所述http服务器用于接收到各通信设备发送的上报文件时，获取所述协调服务模块上的目标配置信息；其中，所述目标配置信息为各配置信息中，当前可提供服务的文件服务器对应的配置信息；

所述http服务器还用于根据所述目标配置信息，将所述上报文件发送到相应的所述文件服务器进行保存。

在其中一个实施例中，所述http服务器在上传所述上报文件到所述文件服务器时，还上传所述上报文件对应的文件信息到所述协调服务模块保存。

在其中一个实施例中，所述文件服务器包括基于Nodejs语言、C语言或Java语言开发，且应用docker容器技术进行虚拟化的虚拟化文件服务器。

在其中一个实施例中，所述协调服务模块为zookeeper模块。

另一方面，本发明实施例还提供一种文件上传方法，应用于所述的分布式文件保存系统，包括如下步骤：

获取通信设备发送的上报文件；

获取协调服务模块中的目标配置信息；其中，所述目标配置信息为各文件服务器注册到所述协调服务模块的各配置信息中，当前可提供服务的文件服务器对应的配置信息；

根据所述目标配置信息，将所述上报文件上传到相应所述文件服务器进行保存。

在其中一个实施例中，所述方法还包括步骤：

接收所述文件服务器在保存所述上报文件后对应返回的响应信息；

向所述通信设备返回所述响应信息。

在其中一个实施例中，所述获取协调服务模块中的目标配置信息的步骤，包括：

向所述协调服务模块发送配置查询指令；其中，所述配置查询指令用于指示所述协调服务模块查询各所述配置信息，并获取所述目标配置信息；

获取所述协调服务模块返回的所述目标配置信息。

又一方面，本发明实施例还提供一种文件上传装置，包括：

文件获取模块，用于获取通信设备发送的上报文件；

信息获取模块，用于获取协调服务模块中的目标配置信息；其中，所述目标配置信息为各文件服务器注册到所述协调服务模块的各配置信息中，当前可提供服务的文件服务器对应的配置信息；

文件上传模块，用于根据所述目标配置信息，将所述上报文件上传到相应所述文件服务器进行保存。

再一方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的文件上传方法的步骤。

上述技术方案中的一个技术方案具有如下优点和有益效果：

上述的分布式文件保存系统、文件保存方法、装置和计算机可读存储介质，通过采用分布式的文件服务器，配合协调服务模块与http服务器的协作，在http服务器需上传的上报文件时，从协调服务模块上获取当前可以提供文件保存服务的文件服务器的目标配置信息，从而将上报文件上传到该当前可以提供文件保存服务的文件服务器上进行保存。文件服务器的数量和容量均易于扩展，通过协调服务模块进行统一对接，供http服务器直接调用，有效满足不断扩容的通信网络中海量通信设备上报的文件保存需求，大幅提高文件服务器运行效率。

附图说明

图1为一个实施例中分布式文件保存系统的结构示意图；

图2为一个实施例中文件保存方法的第一种流程示意图；

图3为一个实施例中文件保存方法的第二种流程示意图；

图4为一个实施例中文件保存方法的第三种流程示意图；

图5为一个实施例中分布式文件保存系统的运行时序示意图；

图6为一个实施例中文件保存装置的模块结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

请参阅图1，本发明实施例提供的一种分布式文件保存系统100，包括至少两个文件服务器12、协调服务模块14和http服务器16。http服务器16分别通信连接协调服务模块14和各文件服务器12，协调服务模块14分别通信连接各文件服务器12。http服务器16通信连接各通信设备。协调服务模块用于保存各文件服务器的配置信息。http服务器16用于接收到各通信设备30发送的上报文件时，获取协调服务模块14上的目标配置信息；其中，目标配置信息为各文件服务器12注册到协调服务模块14的各配置信息中，当前可提供服务的文件服务器12对应的配置信息。http服务器16还用于根据目标配置信息，将上报文件发送到相应的文件服务器12进行保存。

其中，协调服务模块14用于维护各文件服务器12的配置信息，以及提供各文件服务器12的分布式同步服务。协调服务模块14可以是本领域中各种提供前述功能的分布式协调服务程序模块或者组件。文件服务器12用于保存通信设备发送的上报文件，可以是应用常规虚拟化技术开发的虚拟化文件服务器12。文件服务器12的具体数量可以根据文件服务器12所在系统中通信设备的数量、上报文件的保存容量的大小或系统成本进行确定。上报文件为各通信设备定时上报的，能够反映各通信设备的运行稳定性的相关信息文件，例如通信设备的性能文件。配置信息为配置文件服务器12时，为文件服务器12配置的各项参数信息，例如但不限于存储容量和接口等信息。通信设备可以是但不限于各种平板电脑、笔记本电脑、台式电脑或手机等计算机设备。

具体的，各文件服务器12在投入运行时，可以将自身的配置信息注册到协调服务模块14中进行保存，例如将新配置的文件服务器12向协调服务模块14注册，并建立与http服务器16的通信连接即可投入运行，无需对文件服务器12所在系统的物理结构进行较大的调动。当各通信设备上报各自的上报文件到http服务器16时，http服务器16将可以从协调服务模块14上获取目标配置信息，例如查询协调服务模块14中各配置信息，找到首个可以用于可靠保存当前上报文件的文件服务器12对应的配置信息，进而提取该配置信息作为所需的目标配置信息。从而，http服务器16获得该目标配置信息时，可确定可以用于保存当前上报的上报文件的文件服务器12。http服务器16获得所需的目标配置信息后，根据该目标配置信息，将上报文件上传到该目标配置信息对应的文件服务器12上进行保存。

通过采用分布式的各文件服务器12，配合协调服务模块14与http服务器16的协作，在http服务器16需上传上报文件时，从协调服务模块14上获取当前可以提供文件保存服务的文件服务器12的目标配置信息，从而将上报文件上传到该当前可以提供文件保存服务的文件服务器12上进行保存。文件服务器12的数量和容量均易于扩展，通过协调服务模块14进行统一对接，供http服务器16直接调用，有效满足不断扩容的通信网络中海量通信设备上报的文件保存需求，大幅提高文件服务器12运行效率。

在其中一个实施例中，http服务器16获取的目标配置信息的数量可以是两个，也可以是两个以上的数量。可以理解，http服务器16接收到的上报文件数量和容量较大时，可以获取两个或者两个以上数量的目标配置信息，从而将各上报文件分别上传到两个或者两个以上数量的文件服务器12上进行保存。例如，各通信设备上报的各上报文件中，文件容量大小可以相同也可以不同。http服务器16可以根据各上报文件的文件容量大小，或者根据上报文件对应的通信设备性能高低，进行划分等级等方式，确定与各上报文件的文件容量或性能等级相对应的两个，或者两个以上数量的文件服务器12，也即可以获取一个或者两个相应目标配置信息。进而，http服务器16可以分别根据各目标配置信息，将各上报文件分别上传到相应的各文件服务器12中进行保存。

通过配置各文件服务器12对各上报文件进行分类(例如文件容量大小或性能高低分等级的方式分类)保存，从而可以将大量的上报文件，按照相应的类别，分别上传到各相应的文件服务器12上进行保存，进一步提高文件上传保存的效率，提升文件服务器12运行效率。

在其中一个实施例中，http服务器16在上传上报文件到文件服务器12时，还上传上报文件对应的文件信息到协调服务模块14保存。

其中，文件信息的数量可以与上报文件向对应，例如一个上报文件对应有一个文件信息。文件信息为上报文件的相关记录信息，例如上报文件对应的通信设备的域名信息、上报文件的文件大小信息和保存位置信息等信息。文件信息可以方便其它外部服务器操作相应的文件服务器12中保存的上报文件。

具体的，http服务器16在上传上报文件到文件服务器12时，例如开始上传上报文件时刻、上传过程中或者上传上报文件完毕时刻，还可以向协调服务模块14上传上报文件对应的文件信息，以降上报文件对应的文件信息保存到协调服务模块14中，为其他外部服务器需操作上报文件时，提供操作条件和便利。通过上述的将文件信息保存到协调服务模块14中，便于其他外部服务器对文件服务器12中保存的上报文件进行操作(例如文件提取等)，进一步提升文件服务器12运行效率。

在其中一个实施例中，文件服务器12包括基于Nodejs语言、C语言或Java语言开发，且应用docker容器技术进行虚拟化的虚拟化文件服务器12。

可以理解，各文件服务器12均可以是但不限于基于Nodejs语言(或平台)、C语言或Java语言，通过本领域常规的系统开发技术进行开发，且应用docker(一个开源的应用容器引擎)容器技术进行虚拟化的虚拟化文件服务器12。文件服务器12的虚拟化还可以采用本领域其他类型的虚拟化技术，例如虚拟机技术。虚拟化文件服务器12可以基于虚拟化技术实现自动的动态扩容，例如docker化的虚拟化文件服务器12可以通过自动添加docker实例的方式，进行动态扩容。单个上述的文件服务器12扩容或者各文件服务器12的整体扩容，均无需对文件服务器12所在系统的物理架构进行较大调动，扩容实现较为便捷。

通过基于上述的编程语言开发的文件服务器12，可以有效利用基于各编程语言的系统io性能，提高文件服务器12的文件保存效率。例如基于Nodejs语言进行文件服务器12开发的难度和成本适中，且提供异步io读写数据流，可以有效提高文件服务器12的数据并发效率和数据读写效率，从而可以提高文件服务器12的文件保存效率。

在其中一个实施例中，协调服务模块14为zookeeper模块。可以理解，在本实施例中，上述的协调服务模块14可以是应用较广的zookeeper分布式协调服务模块14。通过采用zookeeper模块作为上述的协调服务模块14，可以高效协调各文件服务器12与http服务器16之间的文件上传，提高文件服务器12运行效率。

请参阅图2，在一个实施例中，提供一种文件上传方法，可以应用于上述的分布式文件保存系统100，包括如下步骤S12至S16：

S12，获取通信设备发送的上报文件；

S14，获取协调服务模块14中的目标配置信息；其中，目标配置信息为各文件服务器12注册到协调服务模块14的各配置信息中，当前可提供服务的文件服务器12对应的配置信息；

S16，根据目标配置信息，将上报文件上传到相应文件服务器12进行保存。

具体的，http服务器16可以通过主动提取或者接收的方式，从通信设备上获取上报文件。通信设备可以是多个，相应的上报文件也可以是多个。http服务器16获取待上传的上报文件时或者获取待上传的上报文件后，获取协调服务模块14中的目标配置信息。从而，http服务器16根据目标配置信息，将上报文件上传到目标配置信息对应的文件服务器12上进行保存。

在http服务器16通过上述的步骤S12至S16，采用分布式的各文件服务器12，配合协调服务模块14的协作，将上报文件上传到当前可以提供文件保存服务的文件服务器12上进行保存。文件服务器12的数量和容量均易于扩展，通过协调服务模块14进行统一对接，供http服务器16直接调用，有效满足不断扩容的通信网络中海量通信设备上报的文件保存需求，大幅提高文件服务器12运行效率。

请参阅图3，在其中一个实施例中，上述的文件上传方法还包括步骤S18和S20：

S18，接收文件服务器12保存上报文件后对应返回的响应信息；

其中，响应信息为文件服务器12保存各上报文件后，分别对应生成的各文件保存结果，响应信息例如是文件保存成功、保持位置和/或保存时间等信息，又例如是保存成功或失败的响应信号，用于反馈到通信设备，以便通信设备记录上报文件的保存情况等。可以理解，响应信息的数量可以与上报文件的数量相对应，例如一个上报文件可以对应有一个响应信息。

S20，向通信设备返回响应信息。

具体的，http服务器16上传各通信设备的各上报文件到文件服务器12后，接收文件服务器12对应返回的响应信息，再将接收到的响应信息，返回给到通信设备。例如通信设备A的上报文件A，在http服务器16将上报文件A上传到文件服务器12后，文件服务器12对应返回一个响应信息A到http服务器16；http服务器16进而可以将接收到的响应信息A返回到通信设备A。通过上述的步骤S18和S20，http服务器16可以及时向通信设备返回相应的响应信息，便于通信设备侧快速获得上报文件的保存反馈。

请参阅图4和5，在其中一个实施例中，关于步骤S14，具体可以包括步骤S142和S144：

S142，向协调服务模块14发送配置查询指令；其中，配置查询指令用于指示协调服务模块14查询各配置信息，并获取目标配置信息；

S144，获取协调服务模块14返回的目标配置信息。

具体的，在本实施例中，http服务器16在获取到待上传的上报文件时，可以向协调服务模块14发送配置查询指令，以使协调服务模块14根据该配置查询指令，查询各个文件服务器12注册保存的配置信息，并从各配置信息中找到目标配置信息。例如协调服务模块14查询到首个存储容量大于待上传的上报文件总文件容量大小的文件服务器12时，向http服务器16返回该文件服务器12对应的配置信息，作为http服务器16所需的目标配置信息。又例如，协调服务模块14查询到多个存储容量大于待上传的上报文件总文件容量大小的文件服务器12时，通过配置信息确定到其中一个、两个或者两个以上数量的文件服务器12可以用于保存待上传文件(如一个文件服务器12可以专用于保存一类当前待上传的上报文件时，或者多个文件服务器12分别可以专用于保存多类当前待上传的上报文件时)，向http服务器16返回一个、两个或者多个文件服务器12对应的配置信息，作为http服务器16所需的各目标配置信息。通过上述的步骤S142和S144，http服务器16可以快速从协调服务模块14上获取上传上报文件所需的目标配置信息。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

请参阅图6，在一个实施例中，还提供一种文件上传装置200，包括文件获取模块22、信息获取模块24和文件上传模块26。其中：

文件获取模块22，用于获取通信设备发送的上报文件。信息获取模块24，用于获取协调服务模块14中的目标配置信息；其中，目标配置信息为各文件服务器12注册到协调服务模块14的各配置信息中，当前可提供服务的文件服务器12对应的配置信息。文件上传模块26，用于根据目标配置信息，将上报文件上传到相应文件服务器12进行保存。

通过上述的各模块，利用分布式的各文件服务器12，与协调服务模块14的协作，将上报文件上传到当前可以提供文件保存服务的文件服务器12上进行保存。文件服务器12的数量和容量均易于扩展，通过协调服务模块14进行统一对接，供http服务器16直接调用，有效满足不断扩容的通信网络中海量通信设备上报的文件保存需求，大幅提高文件服务器12运行效率。

在其中一个实施例中，文件上传装置200还可以包括响应接收模块和响应返回模块。其中，响应接收模块用于接收文件服务器12保存上报文件后对应返回的响应信息。响应返回模块用于向通信设备返回响应信息。

在其中一个实施例中，信息获取模块24还可以包括指令发送模块和配置获取模块。指令发送模块用于向协调服务模块14发送配置查询指令。其中，配置查询指令用于指示协调服务模块14查询各配置信息，并获取目标配置信息。配置获取模块用于获取协调服务模块14返回的目标配置信息。

关于文件上传装置200的具体限定可以参见上文中对于文件上传方法的限定，在此不再赘述。上述文件上传装置200中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的文件上传方法的步骤：获取通信设备发送的上报文件；获取协调服务模块14中的目标配置信息；其中，目标配置信息为各文件服务器12注册到协调服务模块14的各配置信息中，当前可提供服务的文件服务器12对应的配置信息；根据目标配置信息，将上报文件上传到相应文件服务器12进行保存。

在其中一个实施例中，计算机程序被处理器执行时还实现上述各实施例中文件上传方法增加的步骤或各子步骤。

本领域普通技术人员可以理解实现上述实施例文件上传方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各文件上传方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种分布式文件保存系统，其特征在于，包括http服务器、协调服务模块和至少两个文件服务器，所述http服务器分别通信连接所述协调服务模块和各所述文件服务器，所述协调服务模块分别通信连接各所述文件服务器,所述http服务器通信连接各通信设备；

所述协调服务模块用于保存各所述文件服务器的配置信息，所述http服务器用于接收到各通信设备发送的上报文件时，获取所述协调服务模块上的目标配置信息；其中，所述目标配置信息为各配置信息中，当前可提供服务的文件服务器对应的配置信息；所述协调服务模块用于维护各文件服务器的配置信息，以及提供各文件服务器的分布式同步服务；

所述http服务器还用于根据所述目标配置信息，将所述上报文件发送到相应的所述文件服务器进行保存；

所述http服务器在上传所述上报文件到所述文件服务器时，还上传所述上报文件对应的文件信息到所述协调服务模块保存。

2.权利要求1所述的分布式文件保存系统，其特征在于，所述文件服务器包括基于Nodejs语言、C语言或Java语言开发，且应用docker容器技术进行虚拟化的虚拟化文件服务器。

3.权利要求1所述的分布式文件保存系统，其特征在于，所述协调服务模块为zookeeper模块。

4.一种文件上传方法，应用于权利要求1至3任一项所述的分布式文件保存系统，其特征在于，包括如下步骤：

获取通信设备发送的上报文件；

获取协调服务模块中的目标配置信息；其中，所述目标配置信息为各文件服务器注册到所述协调服务模块的各配置信息中，当前可提供服务的文件服务器对应的配置信息；

根据所述目标配置信息，将所述上报文件上传到相应所述文件服务器进行保存。

5.根据权利要求4所述的文件上传方法，其特征在于，所述方法还包括步骤：

接收所述文件服务器在保存所述上报文件后对应返回的响应信息；

向所述通信设备返回所述响应信息。

6.根据权利要求4或5所述的文件上传方法，其特征在于，所述获取协调服务模块中的目标配置信息的步骤，包括：

向所述协调服务模块发送配置查询指令；其中，所述配置查询指令用于指示所述协调服务模块查询各所述配置信息，并获取所述目标配置信息；

获取所述协调服务模块返回的所述目标配置信息。

7.一种文件上传装置，应用于权利要求1至3任一项所述的分布式文件保存系统，其特征在于，包括：

文件获取模块，用于获取通信设备发送的上报文件；

信息获取模块，用于获取协调服务模块中的目标配置信息；其中，所述目标配置信息为各文件服务器注册到所述协调服务模块的各配置信息中，当前可提供服务的文件服务器对应的配置信息；

文件上传模块，用于根据所述目标配置信息，将所述上报文件上传到相应所述文件服务器进行保存，同时所述上报文件对应的文件信息到所述协调服务模块保存。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求4至6任一项所述的文件上传方法的步骤。

Images