CN109981697B - 一种文件转存方法、系统、服务器及存储介质 - Google Patents
一种文件转存方法、系统、服务器及存储介质 Download PDFInfo
- Publication number
- CN109981697B CN109981697B CN201711446869.9A CN201711446869A CN109981697B CN 109981697 B CN109981697 B CN 109981697B CN 201711446869 A CN201711446869 A CN 201711446869A CN 109981697 B CN109981697 B CN 109981697B
- Authority
- CN
- China
- Prior art keywords
- file
- processing node
- server
- file processing
- unloading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 202
- 238000012546 transfer Methods 0.000 claims abstract description 45
- 238000004590 computer program Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 4
- 230000010365 information processing Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1044—Group management mechanisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/563—Data redirection of data network streams
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明适用于信息处理技术领域，提供了一种文件转存方法、系统、服务器及存储介质，包括：中央控制服务器获取微服务集群中各个文件处理节点的服务器配置信息；根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重；获取源服务器数据库中文件的文件信息；根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务，以便各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中。通过上述方法能够提高文件转存的效率。
Description
技术领域
本发明属于微服务技术领域，尤其涉及一种文件转存方法、系统、服务器及存储介质。
背景技术
随着互联网以及云计算技术的不断发展，大量文件的存储是通过保存在分布式存储系统(Hadoop、fastDFS)中。当文件数量较大时，本地存储的成本较高，用户会将本地系统中的文件抽取转存到云平台中的数据库中进行保存。比如，传统的业务系统大多构建在关系型数据库之上，可以将用户本地的关系型数据库中的数据转移到云数据库中。有些情况下，用户根据业务需求，比如客户要求、旧存储服务器报废或其它原因，需将当前存储服务器的文件同步转存到新的存储服务器，或者，为了统一文件的存储端，将不同存储终端的文件统一转存至统一的终端服务器(如云平台)。现有的文件抽取转存方法是通过服务器间同步进行转存，对服务器性能、网络条件等要求高，同时，不同文件间的访问规律存在巨大差异，从而导致文件转存易出错且转存效率不高的问题。
发明内容
有鉴于此，本发明实施例提供了一种文件转存方法、系统、服务器及存储介质，以解决现有技术中通过服务器间同步进行转存，对服务器性能、网络条件等要求高，同时，不同文件间的访问规律存在巨大差异，从而导致文件转存易出错且转存效率不高的问题。
本发明第一方面提供了一种文件转存方法，所述文件转存方法包括：
中央控制服务器获取微服务集群中各个文件处理节点的服务器配置信息；
根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重；
获取源服务器数据库中文件的文件信息；
根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务，以便各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中。
本发明第二方面提供了一种文件转存系统，所述文件转存系统包括：
所述中央控制服务器包括配置信息获取单元、权重分配单元、文件信息获取单元、转存任务分配单元，所述微服务集群包括不止一个文件处理单元；
配置信息获取单元，用于获取所述微服务集群中各个文件处理节点的服务器配置信息；
权重分配单元，用于根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重；
文件信息获取单元，用于获取源服务器数据库中文件的文件信息；
转存任务分配单元，用于根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务；
文件处理单元，用于由所述微服务集群中各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中。
本发明第三方面提供了一种服务器，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述文件转存方法的步骤。
本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面所述文件转存方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例通过中央控制服务器获取微服务集群中各个文件处理节点的服务器配置信息，根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重，从而可充分利用各个文件处理节点的性能，再获取源服务器数据库中文件的文件信息，根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务，以便各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中，各个文件处理节点根据自身配置信息处理相应的文件转存任务，可提高文件转存的准确率以及提高微服务集群的可用性，进而可提高文件转存的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种文件转存方法的实现流程图；
图2是本发明实施例提供的一种文件转存方法的应用示意图；
图3是本发明实施例提供的一种包括动态添加文件处理节点的文件转存方法的实现流程图；
图4是本发明实施例提供的一种包括动态删除文件处理节点的文件转存方法的实现流程图；
图5是本发明实施例提供的一种文件转存系统的结构框图；
图6是本发明实施例提供的一种服务器的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
图1示出了本发明实施例提供的一种文件转存方法的流程图，该方法流程包括步骤S101至S104。各步骤的具体实现原理详述如下：
步骤S101，中央控制服务器获取微服务集群中各个文件处理节点的服务器配置信息。
其中，微服务集群中的微服务是一种架构，也是在分布式范畴之内的。在分布式系统中，微服务更加强调单一职责、轻量级通信(HTTP)、独立性并且进程隔离。微服务集群中包括不止一个文件处理节点，每一个文件处理节点对应一个文件微服务器，所述文件处理节点用于从源服务器数据库中抽取文件，还用于将抽取的文件转存至目标服务器数据库。在本发明实施例中，中央控制服务器对所述微服务集群中的各个文件处理节点的运行情况进行监控，并进行统一管理。具体地，中央控制服务器在收到文件转存请求之后，读取当前微服务集群中各个文件处理节点的配置信息。进一步地，中央控制服务器可定时读取各个文件处理节点的配置信息。
可选地，文件处理节点在读取源服务器数据库中的文件时，通过读取数据库中记录数据存储数据源类型的标签，例如HDFS、FTP或HTTPS等数据源类型的标签，判断源服务器的接口类型，从而选取合适的接口类型抽取文件。或者，通过访问数据库中文件的URL路径信息，判断源服务器的接口类型。例如：
Hdfs://127.0.0.1:9090/fileserver/image/1536725123431.jpg，可确定源服务器是HDFS服务器；
FTP://127.0.0.1:8080/fileserver/image/1534568256541.jpg，可确定源服务器是FTP服务器；
HTTPS://127.0.0.1:8080/fileserver/image/1531568123541.jpg，可确定源服务器是web服务器。
在本发明实施例中，文件处理节点的服务器兼容了多种源服务器和目标服务器的文件抽取类型和文件上传类型，文件处理节点可实现多种抽取和上传接口，如抽取Hadoop集群，抽取云存储文件(七牛云、阿里云、腾讯云)，实现多种文件抽取和上传接口的兼容，从而可实现不同存储类型的文件之间的抽取和转换操作，提高抽取效率。
步骤S102，根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重。
其中，文件处理节点(文件微服务器)的服务器配置信息包括CPU性能信息、内存信息以及磁盘输入输出信息(即磁盘IO信息)。在本发明实施例中，根据文件处理节点的配置信息的不同，为各个文件处理节点分配不同的文件分配权重。文件分配权重为中央控制服务器分配转存任务至各个文件处理节点时的分配比例。
作为本发明的一个实施例，所述步骤S102包括：
A1、根据各个文件处理节点的内存信息、磁盘输入输出信息以及CPU信息，分别确定各个文件处理节点的性能值。
A2、根据各个文件处理节点的性能值，确定各个文件处理节点的文件分配权重。
由于文件处理节点主要处理的是文件抽取及文件上传转存的操作，因此，在发明实施例中对文件处理节点服务器的磁盘IO及内存的要求较高于CPU。具体地，当文件处理节点的服务器磁盘IO的吞吐量以及内存较大时，可以相应分配较大的文件分配权重，当文件处理节点的服务器磁盘IO的吞吐量、内存较小时，可以分配的文件分配权重小一些，即对CPU的要求相对来说低于器磁盘IO的吞吐量以及内存大小。
示例性地，文件处理节点A：服务器端的磁盘吞吐量为100MB/S，内存为8G，此时分配的文件分配权重为100；文件处理节点B：微服务器端的磁盘吞吐量为50MB/S，内存为8G，此时分配的文件分配权重为75；文件处理节点C：微服务器端的磁盘吞吐量为50MB/S，内存为4G，此时分配的文件分配权重为50。其中，文件分配权重越大，中央控制服务器向该文件处理节点分配转存任务的概率越大。如上例，服务器A有45％概率，服务器B有35％概率，服务器C有20％概率。
在本发明实施例中，中央控制服务器通过根据微服务集群中各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重，从而可充分利用各个文件处理节点自身的配置，提高微服务集群的可用性。
步骤S103，获取源服务器数据库中文件的文件信息。
其中，源服务器数据库存储有待转存的文件。所述文件信息包括源存储地址与目标存储地址，所述源存储地址为待转存的文件在源服务器数据库中的存储路径，所述目标存储地址为文件将抽取上传的存储路径。
作为本发明的一个实施例，所述步骤S103包括：
B1、读取所述源服务器数据库中文件的源存储地址。
B2、根据所述源存储地址，从预先配置的目标地址表中查找所述源存储地址对应的目标存储地址。
具体地，在本发明实施例中，在接收到转存请求后，根据转存请求配置待转存的文件的目标存储地址，预先配置待转存的文件的目标地址表，该目标地址表中包括待转存的文件的源存储地址与目标存储地址映射关系。中央控制服务器从源服务器数据库中读取待转存的文件的源存储地址，并根据所述源存储地址，从预先配置的目标地址表中查找所述源存储地址对应的目标存储地址。
示例性地，配置目标存储地址：http://10.10.20.30:8080/file，匹配此路径的上传到目标服务器100.100.20.30服务器；http://10.10.20.31:8080/file，匹配此路径的上传到目标服务器100.100.20.31服务器。如果源服务器数据库中有如下文件路径：
http://10.10.20.30:8080/file/2017/11/02/157684659214.doc，根据目标地址表，将该存储路径的文件转存到目标服务器100.100.20.30；
http://10.10.20.31:8080/file/2017/10/12/155684659214.txt，根据目标地址表，将该存储路径的文件转存到目标服务器100.100.20.31。
步骤S104，根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务，以便各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中。
其中，目标服务器可以为分布式存储系统，也可以为云端服务器。在本发明实施例中，中央控制服务器根据微服务集群中的文件处理节点的文件分配权重分配转存任务，其中，所述转存任务包括待转存的文件数量以及文件信息，即中央控制服务器根据文件处理节点的分配权重分配相应数量的文件信息至所述微服务集群中的各个文件处理节点，各个文件处理节点根据所述分配转存任务中文件数量以及文件信息，从所述源服务器数据库中抽取所述转存任务对应的文件上传至目标服务器数据库中，完成文件转存。
进一步地，文件处理节点将文件上传至目标服务器数据库之后，将源服务器数据库中的源存储地址更新。
以一个应用场景为例，如图2所示，中央控制服务器获取微服务集群中各个文件处理服务器的配置信息，根据各个文件处理服务器的磁盘IO、内存、CPU等配置信息，设置各个文件处理服务器的文件分配权重，根据文件分配权重分配相应数量的文件信息至各个文件处理服务器，文件处理服务器根据分配到的文件信息从源服务器数据库中抽取待转存的图片、视频、文档、多媒体等文件，上传至七牛云、阿里云、腾讯云等目标服务器，各个文件处理服务器根据自身配置信息处理相应数量的文件转存任务，可提高文件转存的准确率以及提高微服务集群的可用性，进而可提高文件转存的效率。
本发明第一实施例中，通过中央控制服务器获取微服务集群中各个文件处理节点的服务器配置信息，根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重，从而可充分利用各个文件处理节点的性能，再获取源服务器数据库中文件的文件信息，根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务，以便各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中，各个文件处理节点根据自身配置信息处理相应的文件转存任务，可提高文件转存的准确率以及提高微服务集群的可用性，进而可提高文件转存的效率。
实施例二：
基于上述图1实施例中所提供的文件转存方法，图3示出了本发明实施例提供的另一种文件转存方法的流程图，详述如下：
步骤S201，中央控制服务器获取微服务集群中各个文件处理节点的服务器配置信息。
步骤S202，根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重。
步骤S203，获取源服务器数据库中文件的文件信息。
步骤S204，根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务，以便各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中。
本实施例中，步骤S201至步骤S204的具体步骤参见实施例一步骤S101至步骤S104，在此不再赘述。
步骤S205，监听是否有新注册的文件处理节点。
步骤S206，当检测到新注册的文件处理节点上线时，将所述新注册的文件处理节点加入所述微服务集群。
具体地，在本发明实施例中，中央处理服务器可通过Zookeeper对微服务集群中的文件处理节点进行监听。文件处理节点在注册时，会把自己的IP地址、服务端口号以及服务器的配置信息注册到Zookeeper上。当中央控制器发现Zookeeper上有文件处理节点上线，就从Zookeeper上读取新上线的文件处理节点服务器的注册信息，包括IP地址、服务端口号、和服务器配置，根据IP地址以及服务端口号将该新注册的文件处理节点添加至微服务集群中，更新微服务集群中文件处理节点的数量，然后根据各个文件处理节点的配置信息设置文件分配权重。
示例性地，文件处理节点file-client01上线，并把自己的信息注册到Zookeeper上，中央控制服务器检测到file-client01上线，把file-client01作为自己的文件处理节点添加至微服务集群中，根据该文件处理节点服务器的配置信息设置文件分配权重，以便分配转存任务。
本发明第二实施例中，通过中央控制服务器获取微服务集群中各个文件处理节点的服务器配置信息，根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重，从而可充分利用各个文件处理节点的性能，再获取源服务器数据库中文件的文件信息，根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务，以便各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中，各个文件处理节点根据自身配置信息处理相应的文件转存任务，可提高文件转存的准确率以及提高微服务集群的可用性，进而可提高文件转存的效率，进一步地，监听是否有新注册的文件处理节点，当检测到新注册的文件处理节点上线时，将所述新注册的文件处理节点加入所述微服务集群，从而动态添加所述微服务集群以应对更大数量的文件转存任务，提高文件转存的速度。
实施例三：
基于上述图1实施例中所提供的文件转存方法，图4示出了本发明实施例提供的再一种文件转存方法的流程图，详述如下：
步骤S301，中央控制服务器获取微服务集群中各个文件处理节点的服务器配置信息。
步骤S302，根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重。
步骤S303，获取源服务器数据库中文件的文件信息。
步骤S304，根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务，以便各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中。
本实施例中，步骤S301至步骤S304的具体步骤参见实施例一步骤S101至步骤S104，在此不再赘述。
步骤S305，监听所述微服务集群中文件处理节点的上下线状态。其中文件处理节点的上下线状态包括文件处理节点的上线与文件处理节点的下线。
步骤S306，当检测到所述微服务集群中的文件处理节点为下线时，将下线的文件处理节点从所述微服务集群中剔除，并且不再分配文件转存任务。
具体地，在本发明实施例中，中央处理服务器通过Zookeeper对微服务集群中的文件处理节点进行监听。当监听到所述微服务集群中的某个文件处理节点为下线的状态时，认为该文件处理节点已宕机，将下线的文件处理节点从所述微服务集群中剔除，不再向其分配文件转存任务，避免浪费时间，从而提高文件转存的效率。可选地，在检侧到文件处理节点的下线状态持续时间不小于预设时间阈值时，才将其从所述微服务集群中剔除，避免突发情况导致文件处理节点的下线造成误剔除。
示例性地，文件处理节点file-client01宕机，中央控制服务器通过Zookeeper检测到file-client01下线，将file-client01从微服务集群中剔除，不再向此文件处理节点分配转存任务。
本发明第三实施例中，通过中央控制服务器获取微服务集群中各个文件处理节点的服务器配置信息，根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重，从而可充分利用各个文件处理节点的性能，再获取源服务器数据库中文件的文件信息，根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务，以便各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中，各个文件处理节点根据自身配置信息处理相应的文件转存任务，可提高文件转存的准确率以及提高微服务集群的可用性，进而可提高文件转存的效率。进一步地，监听所述微服务集群中文件处理节点的上下线状态，当检测到所述微服务集群中的文件处理节点为下线时，将下线的文件处理节点从所述微服务集群中剔除，并且不再分配文件转存任务，从而动态删除不可用的文件处理节点，提搞微服务集群进行文件转存的效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例四：
对应于上文实施例所述的文件转存方法，图5示出了本发明实施例提供的文件转存系统的结构框图。为了便于说明，仅示出了与本发明实施例相关的部分。
参照图5，该文件转存系统包括中央控制服务器41、微服务集群42、源服务器数据库43以及目标服务器数据库44；其中：
所述中央控制服务器41包括配置信息获取单元411、权重分配单元412、文件信息获取单元413、转存任务分配单元414，所述微服务集群42包括不止一个文件处理单元421；
配置信息获取单元411，用于获取所述微服务集群42中各个文件处理节点的服务器配置信息；
权重分配单元412，用于根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重；
文件信息获取单元413，用于获取源服务器数据库中文件的文件信息；
转存任务分配单元414，用于根据所述文件分配权重以及所述文件信息，向所述微服务集群42中的文件处理节点分配转存任务；
文件处理单元421，用于由所述微服务集群42中各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中。
可选地，所述文件信息获取单元413包括：
源地址读取模块，用于读取所述源服务器数据库中文件的源存储地址；
目标地址读取模块，用于根据所述源存储地址，从预先配置的目标地址表中查找所述源存储地址对应的目标存储地址。
可选地，所述配置信息获取单元411包括：
性能值确定模块，用于根据各个文件处理节点的内存信息、磁盘输入输出信息以及CPU信息，分别确定各个文件处理节点的性能值；
权重确定模块，用于根据各个文件处理节点的性能值，确定各个文件处理节点的文件分配权重。
可选地，所述中央控制服务器41还包括：
节点注册监听单元415，用于监听是否有新注册的文件处理节点；
节点加入单元416，用于当检测到新注册的文件处理节点上线时，将所述新注册的文件处理节点加入所述微服务集群42。
可选地，所述中央控制服务器41还包括：
节点状态监听单元417，用于监听所述微服务集群42中文件处理节点的上下线状态；
节点剔除单元418，用于当检测到所述微服务集群42中的文件处理节点为下线时，将下线的文件处理节点从所述微服务集群42中剔除，并且不再分配文件转存任务。
本发明第四实施例中，通过中央控制服务器获取微服务集群中各个文件处理节点的服务器配置信息，根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重，从而可充分利用各个文件处理节点的性能，再获取源服务器数据库中文件的文件信息，根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务，以便各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中，各个文件处理节点根据自身配置信息处理相应的文件转存任务，可提高文件转存的准确率以及提高微服务集群的可用性，进而可提高文件转存的效率。
实施例五：
图6是本发明一实施例提供的服务器的示意图。如图6所示，该实施例的服务器5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52，例如文件转存程序。所述处理器50执行所述计算机程序52时实现上述各个文件转存方法实施例中的步骤，例如图1所示的步骤101至104。或者，所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能，例如图5所示单元41至44的功能。
示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述服务器5中的执行过程。例如，所述计算机程序52可以被分割成配置信息获取单元、权重分配单元、文件信息获取单元、转存任务分配单元、文件处理单元，各单元具体功能如下：
配置信息获取单元，用于获取所述微服务集群中各个文件处理节点的服务器配置信息；
权重分配单元，用于根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重；
文件信息获取单元，用于获取源服务器数据库中文件的文件信息；
转存任务分配单元，用于根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务；
文件处理单元，用于由所述微服务集群中各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中。
所述服务器5可以是桌上型计算机、笔记本及云端服务器等计算设备。所述服务器5可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图6仅仅是服务器5的示例，并不构成对服务器5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述服务器5的内部存储单元，例如服务器5的硬盘或内存。所述存储器51也可以是所述服务器5的外部存储设备，例如所述服务器5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述服务器5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述服务器所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种文件转存方法，其特征在于，所述文件转存方法包括：
中央控制服务器获取微服务集群中各个文件处理节点的服务器配置信息；
根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重；
获取源服务器数据库中文件的文件信息，所述文件信息包括源存储地址与目标存储地址；
根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务，所述转存任务包括待转存的文件数量以及文件信息，以便各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中，具体地，所述各个文件处理节点根据所述分配转存任务中的文件数量以及文件信息，从所述源服务器数据库中抽取所述转存任务对应的文件上传至目标服务器数据库中，完成文件转存。
2.如权利要求1所述的文件转存方法，其特征在于，所述获取源服务器数据库中文件的文件信息的步骤，包括：
读取所述源服务器数据库中文件的源存储地址；
根据所述源存储地址，从预先配置的目标地址表中查找所述源存储地址对应的目标存储地址。
3.如权利要求1所述的文件转存方法，其特征在于，所述服务器配置信息包括内存信息、磁盘输入输出信息以及CPU信息，所述根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重的步骤，包括：
根据各个文件处理节点的内存信息、磁盘输入输出信息以及CPU信息，分别确定各个文件处理节点的性能值；
根据各个文件处理节点的性能值，确定各个文件处理节点的文件分配权重。
4.如权利要求1至3任一项所述的文件转存方法，其特征在于，所述文件转存方法还包括：
监听是否有新注册的文件处理节点；
当检测到新注册的文件处理节点上线时，将所述新注册的文件处理节点加入所述微服务集群。
5.如权利要求1至3任一项所述的文件转存方法，其特征在于，所述文件转存方法还包括：
监听所述微服务集群中文件处理节点的上下线状态；
当检测到所述微服务集群中的文件处理节点为下线时，将下线的文件处理节点从所述微服务集群中剔除，并且不再分配文件转存任务。
6.一种文件转存系统，其特征在于，所述文件转存系统包括：中央控制服务器、微服务集群、源服务器数据库以及目标服务器数据库；
所述中央控制服务器包括配置信息获取单元、权重分配单元、文件信息获取单元、转存任务分配单元，所述微服务集群包括不止一个文件处理单元；
配置信息获取单元，用于获取所述微服务集群中各个文件处理节点的服务器配置信息；
权重分配单元，用于根据各个文件处理节点的服务器配置信息，配置各个文件处理节点的文件分配权重；
文件信息获取单元，用于获取源服务器数据库中文件的文件信息，所述文件信息包括源存储地址与目标存储地址；
转存任务分配单元，用于根据所述文件分配权重以及所述文件信息，向所述微服务集群中的文件处理节点分配转存任务，所述转存任务包括待转存的文件数量以及文件信息；
文件处理单元，用于由所述微服务集群中各个文件处理节点根据所述分配转存任务将所述源服务器数据库中的文件转存至目标服务器数据库中，具体地，所述各个文件处理节点根据所述分配转存任务中的文件数量以及文件信息，从所述源服务器数据库中抽取所述转存任务对应的文件上传至目标服务器数据库中，完成文件转存。
7.如权利要求6所述的文件转存系统，其特征在于，所述文件信息获取单元包括：
源地址读取模块，用于读取所述源服务器数据库中文件的源存储地址；
目标地址读取模块，用于根据所述源存储地址，从预先配置的目标地址表中查找所述源存储地址对应的目标存储地址。
8.如权利要求6至7任一项所述的文件转存系统，其特征在于，所述中央控制服务器还包括：
节点注册监听单元，用于监听是否有新注册的文件处理节点；
节点加入单元，用于当检测到新注册的文件处理节点上线时，将所述新注册的文件处理节点加入所述微服务集群。
9.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711446869.9A CN109981697B (zh) | 2017-12-27 | 2017-12-27 | 一种文件转存方法、系统、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711446869.9A CN109981697B (zh) | 2017-12-27 | 2017-12-27 | 一种文件转存方法、系统、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109981697A CN109981697A (zh) | 2019-07-05 |
| CN109981697B true CN109981697B (zh) | 2021-09-17 |
Family
ID=67071128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711446869.9A Active CN109981697B (zh) | 2017-12-27 | 2017-12-27 | 一种文件转存方法、系统、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109981697B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110708369B (zh) * | 2019-09-25 | 2022-09-16 | 深圳市网心科技有限公司 | 设备节点的文件部署方法、装置、调度服务器及存储介质 |
| CN112835862B (zh) * | 2019-11-22 | 2024-05-14 | 北京达佳互联信息技术有限公司 | 一种数据同步方法、装置、系统及存储介质 |
| CN115065716A (zh) * | 2022-05-19 | 2022-09-16 | 广州明昼科技有限公司 | 基于ServiceMesh框架的全区全服架构实现方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104951528A (zh) * | 2015-06-15 | 2015-09-30 | 深圳市创梦天地科技有限公司 | 一种数据迁移的方法及终端 |
| CN105930545A (zh) * | 2016-06-29 | 2016-09-07 | 浙江宇视科技有限公司 | 一种文件迁移的方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106557486A (zh) * | 2015-09-25 | 2017-04-05 | 阿里巴巴集团控股有限公司 | 一种数据的存储方法和装置 |
-
2017
- 2017-12-27 CN CN201711446869.9A patent/CN109981697B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104951528A (zh) * | 2015-06-15 | 2015-09-30 | 深圳市创梦天地科技有限公司 | 一种数据迁移的方法及终端 |
| CN105930545A (zh) * | 2016-06-29 | 2016-09-07 | 浙江宇视科技有限公司 | 一种文件迁移的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109981697A (zh) | 2019-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108023967B (zh) | 一种数据平衡方法、装置及分布式存储系统中的管理设备 | |
| KR101871383B1 (ko) | 계층적 데이터 구조의 노드 상에서 재귀적 이벤트 리스너를 사용하기 위한 방법 및 시스템 | |
| US9015519B2 (en) | Method and system for cluster wide adaptive I/O scheduling by a multipathing driver | |
| CN109981697B (zh) | 一种文件转存方法、系统、服务器及存储介质 | |
| CN109151025B (zh) | 基于url的负载均衡方法、装置、计算机存储介质及设备 | |
| US10764165B1 (en) | Event-driven framework for filtering and processing network flows | |
| US10425273B2 (en) | Data processing system and data processing method | |
| CN108989101B (zh) | 一种日志输出系统、方法及电子设备 | |
| US20160019090A1 (en) | Data processing control method, computer-readable recording medium, and data processing control device | |
| CN109151075B (zh) | 日志处理方法、装置及电子设备 | |
| CN111405052A (zh) | 基于端口预测的p2p穿透方法、电子设备及介质 | |
| CN109165135B (zh) | 一种数据管理方法、计算机可读存储介质及终端设备 | |
| CN114398397A (zh) | 数据处理方法、装置、存储介质以及系统 | |
| CN107463638A (zh) | 离线虚拟机间文件共享方法和设备 | |
| US11595471B1 (en) | Method and system for electing a master in a cloud based distributed system using a serverless framework | |
| CN103414756A (zh) | 一种任务分发方法、分发节点及系统 | |
| CN113779021B (zh) | 数据处理方法、装置、计算机系统及可读存储介质 | |
| CN114070889B (zh) | 配置方法、流量转发方法、设备、存储介质及程序产品 | |
| CN114945020A (zh) | 一种基于云平台的云边协同数据接入方法以及系统 | |
| CN110753082B (zh) | 服务调用方法及终端设备 | |
| CN110058790B (zh) | 用于存储数据的方法、设备和计算机程序产品 | |
| US11210254B2 (en) | Methods, electronic devices, storage systems, and computer program products for storage management | |
| CN110825908B (zh) | 一种对象的迁移方法、装置、电子设备及存储介质 | |
| CN112311833B (zh) | 数据更新方法和装置 | |
| CN116112336A (zh) | 一种告警数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |