CN104580158B - 一种分布式平台文件与内容分发方法及系统 - Google Patents

Abstract

本发明公开一种分布式平台文件与内容分发方法及系统，该方法具体包括：数据中心的发送端与语音播放端的各个接收端建立链路连接，并为每条连接链路建立有独立的传输队列，每个传输队列相应分配有多个传输线程；发送端根据语音任务的类型，将语音任务指向到相应的传输链路；发送端将语音任务文件切分成文件属性内容和文件流数据，通过传输链路分别发送至接收端；接收端参考文件属性内容对文件流数据进行验证有效后，发送端将语音呼叫的参数内容通过序列化后再加密传输给接收端。本发明所述技术方案实现了一对多的分布式传输，有效提高了传输效率，同时使传输过程更加安全。

Description

一种分布式平台文件与内容分发方法及系统

技术领域

本发明涉及一种文件与内容分发系统，更具体地，涉及一种分布式平台文件与内容分发方法及系统。

背景技术

上世纪90年代以来，随着网络、通信和信息技术的突破性进展，Internet在全球爆炸性增长并迅速普及，以及互联网、移动通讯技术的普及，越来越多的人选择在互联网上进行电子商务活动，庞大的交易量使得物流运输等一些传统行业的生产负荷越来越大，尤其体现在客户服务这一方面。

随着业务量的不断增长及客户需求的不断变化，相对应的客户通知、业务咨询等服务的活动也大幅增加，单一运营商线路全网号码透传群呼的业务模式越来越难开展，例如：跨运营商的号码无法透传，高峰期任务拥堵导致呼叫延迟等。

为解决此类问题，需对这些语音任务进行分类分流，分类分流即将各自运营商归属号码的任务分发到相应的机房服务器中，这这些机房中部署相应的语音呼叫程序及硬件，即可实现语音分布式部署。

因此，需要提供一种分布式平台文件与内容分发方法及系统，以压缩及分片的方式控制传输，有效的提高了传输的效率，在分块传输的过程中添加干扰元素数据，以及发送内容信息时使用DES加密，使得传输过程更加安全，实现一对多的分布式传输。

发明内容

本发明要解决的技术问题是提供一种分布式平台文件与内容分发方法及系统，以解决任务拥堵，呼叫延迟的情况，并能够实现由发送端将文件与内容分发至各所属的接收端，实现一对多的分布式传输。

为解决上述技术问题，本发明采用下述技术方案。

一种分布式平台文件与内容分发方法，该分布式平台包括数据中心和多个语音播放端，该方法具体包括：

数据中心的发送端与语音播放端的各个接收端建立链路连接，并为每条连接链路建立有独立的传输队列，每个传输队列相应分配有多个传输线程，各条链路的传输队列共分配有一个队列的监控线程，若一个传输队列非空时，将自动分配N个线程(5<N<20)进行同时传输；

发送端根据语音任务的类型，将语音任务指向到相应的传输链路；

发送端将语音任务文件切分成文件属性内容和文件流数据，通过传输链路分别发送至接收端；

接收端参考文件属性内容对文件流数据进行验证有效后，发送端将语音呼叫的参数内容通过序列化后再加密传输给接收端。

优选的，所述文件属性内容包括：

文件数据流压缩方法：用于接收端数据流的解压缩；

文件数据流压传输大小：用于初步判断文件是否传输完成的条件；

文件分块干扰数据：用于标记文件分块传输时，所添加的干扰信息；

文件数据原始大小：用于接收端初步判断接收文件的有效性；

文件的MD5值：用于接收端二次验证接收文件数据的有效性。

优选的，所述方法进一步包括，

发送端对文件属性内容进行序列化，使用密钥进行DES数据对称加密并封装后，通过传输链路传输给接收端；

接收端成功接收文件属性内容后，所述发送端将文件流数据采用LZMA压缩算法进行流压缩，再针对压缩后的文件流数据进行分块处理，并为每个文件流数据分块中加入干扰信息，通过传输链路传输给接收端。

优选的，所述方法进一步包括，

接收端在接收到文件属性内容后，使用约定的密钥对文件属性内容进行解密，再进行反序列化，将得到的数据进行保存，根据文件属性内容建立临时空文件，并向发送端发送响应指令，要求传输文件流数据。

优选的，所述文件流数据进行分块并根据文件属性内容中设定的干扰信息是在每个流数据分块的包头或者包尾添加M字节(1<M<10)流数据。

优选的，所述方法进一步包括，

接收端接收到文件流数据分块后，根据所述文件属性内容中的干扰信息数据，移除接收数据流的包头或包尾的M字节流数据，对所述分块的文件流数据进行数据恢复；根据恢复的数据流中的数据顺序进行数据流恢复，拼接后所得数据逐步写入到临时文件中。

优选的，所述方法进一步包括，

接收端在对文件数据分块接收完成后，将所接收的数据流大小与所述文件属性内容中的文件流压缩传输大小进行比对：

若数值一致，文件数据流压缩传输大小验证成功，进入MD5值验证；

若数值不一致，判定文件接收出现问题，需发回指令给客户端，要求重新传输。

优选的，所述方法进一步包括，

接收端在文件流数据分块接收完成且文件数据流压缩传输大小验证成功验证成功后，对接收到的数据流进行流的解压缩操作，然后对解压后的数据流进行MD5值验证：

若MD5验证通过，可判定接收到的文件数据流有效，进行IO写入保存到相应的磁盘位置，并发送成功接收的指令给所述发送端，要求发送端传输语音文件的参数内容；

若MD5验证不通过，判定接收文件数据流无效，发送指令至发送端，要求重新发送文件流数据。

优选的，所述接收端在接收语音参数数据后，先解密后再反序列化，取得语音参数信息保存在内存数据库中，并发送指令给语音呼叫系统进行呼叫操作。

一种基于文件与内容分发方法的分布式平台文件与内容分发系统，该系统包括：数据中心、多个语音播放端；

所述数据中心包括文件服务器、数据库服务器、发送端；

所述语音机房包括接收端、内存数据库、语音呼叫服务器；

所述文件服务器，用于存放语音资源文件；

所述数据库服务器，用于存放用于语音播放所需的参数设置信息；

所述发送端，用于与语音播放端的各个接收端建立链路连接，并为每条连接链路建立独立的传输队列，使每条链路可同时并发传输数据；每条链路的传输队列共分配有一个队列的监控线程，若一个传输队列非空时，将自动分配N个线程(5<N<20)进行同时传输，用于通过传输链路向接收端分布式发送语音文件的文件属性内容和文件流数据以及该语音文件的语音呼叫的参数内容；

所述接收端，用于接收发送端发送的信息以及向发送端、语音呼叫服务器发送指令；

所述内存数据库，用于验证及保存接收端接收到的信息；

所述语音呼叫服务器，在接收端接收语音参数数据后，用于接收由接收端发送的指令进行呼叫操作。

本发明的有益效果如下：

本发明所述技术方案以压缩及分片的方式控制传输，有效的提高了传输的效率，在分块传输的过程中添加干扰元素数据，以及发送内容信息时使用DES加密，使得传输过程更加安全，实现一对多的分布式传输。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明；

图1示出了本发明实施例中的一种分布式平台文件与内容分发系统中文件的传输方法的实现原理图；

图2示出了本发明实施例中的一种分布式平台文件与内容分发系统的机房分布式架构图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

下面结合一组实施例及附图对本发明做进一步描述。

如图1所示，本发明公开了一种分布式平台文件与内容分发方法，该分布式平台包括数据中心和多个语音播放端，该方法具体包括：

S1、数据中心的发送端与语音播放端的各个接收端建立链路连接，并创建心跳检测链路实时保证连接的有效性；发送端为每条连接链路建立有独立的传输队列，每个传输队列相应分配有多个传输线程，使每条链路可同时并发传输数据；同时各条链路的传输队列共分配有一个队列监控线程，若一个传输队列非空时，系统将自动分配N个线程(5<N<20)进行同时传输给接收端；

S2、发送端根据语音文件的类型，发送端将任务指向相应的传输链路；

S3、发送端将语音任务文件切分成文件属性内容和文件流数据，通过传输链路分别发送至接收端；

S4、接收端参考文件属性内容对文件流数据进行验证有效后，发送端将语音呼叫的参数内容通过序列化后再加密传输给接收端。

其中，步骤S3进一步包括下述子步骤：

S31、发送端将语音文件的文件属性内容进行序列化及DES数据对称加密后封装，通过传输网络发送给接收端；其中，所述文件属性内容包括：1)、文件数据流压缩方法：用于接收端数据流的解压缩；2)、文件数据流压传输大小：用于初步判断文件是否传输完成的条件；3)、文件分块干扰数据：用于标记文件分块传输时，所添加的干扰信息；4)、文件数据原始大小：用于接收端初步判断接收文件的有效性；5)、文件的MD5值：用于接收端二次验证接收文件数据的有效性；

S32、在接收到文件属性内容后，使用约定的密钥解密进行解密，并将数据进行反序列化保存，根据文件属性内容建立临时空文件，然后发送响应指令给发送端，指示其开始文件流数据传输；

S33、发送端将语音文件的文件流数据采用LZMA压缩算法进行流压缩进而拆分成若干流数据分块后，然后在每个流数据分块中添加干扰信息，通过传输网络发送给接收端；其中，根据文件属性内容中设定的干扰信息是在每个流数据分块的包头或者包尾添加M字节(1<M<10)流数据；

S34、在接收端在接收到文件流数据分块后，根据接收到的文件属性内容中的干扰信息数据对所述分块数据进行恢复，即移除接收数据流的包头和包尾的M字节流数据；按照恢复的数据流中的数据顺序进行数据流拼接，拼接的数据逐步写入到临时文件中。

S35、接收端在对文件数据分块接收完成后，针对所接受的数据流大小与文件属性内容中文件数据流压缩传输大小值进行比对：若数值一致，文件数据流压缩传输大小验证成功，进入MD5值验证；；若数值不一致，说明文件接收出现问题，需发回指令给客户端，要求重新传输；

S36、所述接收端在文件数据分块接收完成并通过第一步验证通过后，对接收到的数据流进行流的解压缩操作，然后针对解压后的数据流进行MD5值验证：若MD5验证通过，可判定接收到的文件数据流有效，进行IO写入保存到相应的磁盘位置，并发送成功接收的指令给所述发送端；若MD5验证不通过，可判定接收文件数据流无效，发送指令至所述发送端，要求重新发送文件。

其中，步骤S4进一步包括，接收端在接收语音参数数据后，先解密后再反序列化，取得语音参数信息保存，并发送指令给语音呼叫系统进行呼叫操作。

如图2所示，本发明公开了一种分布式平台文件与内容分发系统，该系统包括：数据中心、多个语音机房；所述数据中心包括文件服务器、数据库服务器、分发服务器；所述分发服务器包括数据调度、文件分发发送端；所述语音机房包括接收端、内存数据库、语音呼叫服务器；

所述发送端/，用于与语音播放端的各个接收端建立链路连接，并为每条连接链路建立独立的传输队列，使每条链路可同时并发传输数据；每条链路的传输队列共分配有一个队列的监控线程，若一个传输队列非空时，将自动分配N个线程(5<N<20)进行同时传输，用于通过传输链路向接收端分布式发送语音文件的文件属性内容和文件流数据以及该语音文件的语音呼叫的参数内容；

所述接收端，用于接收发送端发送的信息以及向发送端、语音呼叫服务器发送指令；

所述内存数据库，用于验证及保存接收端接收到的信息；

所述语音呼叫服务器，在接收端接收语音参数数据后，用于接收由接收端发送的指令进行呼叫操作。

在开始传输文件与内容之前，数据中心的发送端先与语音播放端的多个接收端建立起稳定的链接，并创建心跳检测链路实时保证链接的有效性。心跳链路正常的情况下，开始传输文件及内容。针对每个链接链路，发送端均建立相应的独立的传输队列，使得每条链路间可以同时并发地传输数据，互不干扰，而每个传输队列相应分配多个传输线程，多并发传输，提交传输效率，而对于每个所述的传输队列共分配有一个队列监控线程，若在队列非空的时候，系统将自动分配N个线程(5<N<20)进行同时传输给接收端。

任务调度系统根据语音任务的类型，来指定语音任务该分发至哪个语音机房，所述发送端在接收到调度指令后，将该任务指向到相应的传输链路中；在开始任务传输之前，所述发送端将语音任务文件切分成文件属性内容和文件流数据，文件属性内容包括文件数据流压缩方式、文件数据流压传输大小、文件分块干扰数据、文件数据原始大小、文件的MD5值。传输过程分为三步：文件属性的获取及传输、文件流压缩及传输以及涉及该文件的语音呼叫参数的传输。

将文件属性内容信息进行序列化再进行DES数据对称加密并封装后，通过传输网络传输给对应的接收端；所述文件属性内容进一步包括：1)、文件数据流压缩方法：用于接收端数据流的解压缩；2)、文件数据流压传输大小：用于初步判断文件是否传输完成的条件；3)、文件分块干扰数据：用于标记文件分块传输时，所添加的干扰信息；4)、文件数据原始大小：用于接收端初步判断接收文件的有效性；5)、文件的MD5值：用于接收端二次验证接收文件数据的有效性；在接收到文件的属性内容信息后，使用约定的密钥解密后在反序列化得到的数据进行保存，再根据文件属性内容建立临时空文件，然后发送响应指令给发送端，指示其开始文件流数据传输。

发送端将获取到的文件流数据需先进行流压缩进而拆分流数据成为若干流数据分块，然后在每个流数据分块中添加干扰信息数据，封装打包后进入传输队列等待传输，传输队列监控线程在监控到队列非空时，立即启动传输线程进行网络传输。在分块传输过程中，若出现传输失败，则将分块数据重新进入队列进行重新传输即可，而无需重发整个文件，可以有效提高文件传输及纠错的效率，同时由于压缩数据流以及小数据块传输还可以节省带宽。其中，根据文件属性内容中设定的干扰信息是在每个流数据分块的包头或者包尾添加M字节(1<M<10)流数据；文件数据流压缩方法，采用的是LZMA压缩算法，是一种由Deflate和LZ77算法改良和优化后的压缩算法，该算法具有高压缩比、低内存消耗、压缩和解压缩速度快等特点，对于文件传输所消耗的带宽起到良好的优化作用。

接收端在接收到文件流数据分块后，根据接收到的文件属性内容中的干扰信息数据对接收到的每个分块数据进行文件数据恢复，即去除干扰信息数据，移除接收数据流的包头或者包尾的M字节流数据，并对恢复的数据流中的数据顺序进行数据流拼接，拼接数据流达到一定大小，将数据流按顺序写入到的临时空文件中。

其中，所述接收端在对文件数据分块接收完成后，将临时文件转换成数据流；针对所接受的数据流大小与所述文件属性内容中文件流压缩传输大小值进行比对：若数值一致，第一步验证成功，进入下一步验证；若数值不一致，说明文件接收出现问题，需发回指令给客户端，要求重新传输。接收端在文件数据分块接收完成并通过第一步验证通过后，对接收到的数据流进行流的解压缩操作，然后针对解压后的数据流进行MD5值验证：若MD5验证通过，可判定所述数据流的MD5值与文件属性内容中的信息一致，接收到的文件数据流有效，进行IO写入保存到相应的磁盘位置，并发送成功接收的指令给所述发送端。若MD5验证不通过，可判定判定所述数据流的MD5值与文件属性内容中的信息不一致，接收文件数据流无效，发送指令至所述发送端，要求重新发送文件。

在确认接收端已经成功接收文件并验证文件有效性后，发送端需要将语音呼叫的参数内容序列化后再进行DES加密传输，通过传输链路传送给接收端，确保语音呼叫业务流程的连贯；接收端在接收语音参数数据后，先解密后再犯序列化，取得语音参数信息保存在内存数据库中，并发送指令给语音呼叫系统进行呼叫操作。

综上所述，本发明以压缩及分片的方式控制传输，有效的提高了传输的效率，在分块传输的过程中添加干扰元素数据，以及发送内容信息时使用DES加密，使得传输过程更加安全，实现一对多的分布式传输。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种分布式平台文件与内容分发方法，该分布式平台包括数据中心和多个语音播放端，其特征在于，该方法具体包括：

数据中心的发送端与语音播放端的各个接收端建立链路连接，并为每条连接链路建立有独立的传输队列，每个传输队列相应分配有多个传输线程，各条链路的传输队列共分配有一个队列的监控线程，若一个传输队列非空时，将自动分配N个线程进行同时传输，其中N>5且N<20；

发送端根据语音任务的类型，将语音任务指向到相应的传输链路；

发送端将语音任务文件切分成文件属性内容和文件流数据，通过传输链路分别发送至接收端；

接收端接收到文件流数据分块后，根据所述文件属性内容中的干扰信息数据，移除接收数据流的包头或包尾的M字节流数据，对所述分块的文件流数据进行数据恢复；根据恢复的数据流中的数据顺序进行数据流恢复，拼接后所得数据逐步写入到临时文件中；

接收端在对文件数据分块接收完成后，将所接收的数据流大小与所述文件属性内容中的文件流压缩传输大小进行比对：若数值一致，文件数据流压缩传输大小验证成功，进入MD5值验证；若数值不一致，判定文件接收出现问题，需发回指令给客户端，要求重新传输；

接收端参考文件属性内容对文件流数据进行验证有效后，发送端将语音呼叫的参数内容通过序列化后再加密传输给接收端。

2.根据权利要求1所述的文件与内容分发方法，其特征在于，所述文件属性内容包括：

文件数据流压缩方法：用于接收端数据流的解压缩；

文件数据流压传输大小：用于初步判断文件是否传输完成的条件；

文件分块干扰数据：用于标记文件分块传输时，所添加的干扰信息；

文件数据原始大小：用于接收端初步判断接收文件的有效性；

文件的MD5值：用于接收端二次验证接收文件数据的有效性。

3.根据权利要求1所述的文件与内容分发方法，其特征在于，所述方法进一步包括，

发送端对文件属性内容进行序列化，使用密钥进行DES数据对称加密并封装后，通过传输链路传输给接收端；

接收端成功接收文件属性内容后，所述发送端将文件流数据采用LZMA压缩算法进行流压缩，再针对压缩后的文件流数据进行分块处理，并为每个文件流数据分块中加入干扰信息，通过传输链路传输给接收端。

4.根据权利要求3所述的文件与内容分发方法，其特征在于，所述方法进一步包括，

接收端在接收到文件属性内容后，使用约定的密钥对文件属性内容进行解密，再进行反序列化，将得到的数据进行保存，根据文件属性内容建立临时空文件，并向发送端发送响应指令，要求传输文件流数据。

5.根据权利要求3所述的文件与内容分发方法，其特征在于，所述文件流数据进行分块并根据文件属性内容中设定的干扰信息是在每个流数据分块的包头或者包尾添加M字节流数据，其中M>1且M<10。

6.根据权利要求1所述的文件与内容分发方法，其特征在于，所述方法进一步包括，

接收端在文件流数据分块接收完成且文件数据流压缩传输大小验证成功验证成功后，对接收到的数据流进行流的解压缩操作，然后对解压后的数据流进行MD5值验证：

若MD5验证通过，可判定接收到的文件数据流有效，进行IO写入保存到相应的磁盘位置，并发送成功接收的指令给所述发送端，要求发送端传输语音文件的参数内容；

若MD5验证不通过，判定接收文件数据流无效，发送指令至发送端，要求重新发送文件流数据。

7.根据权利要求1所述的文件与内容分发方法，其特征在于，所述接收端在接收语音参数数据后，先解密后再反序列化，取得语音参数信息保存在内存数据库中，并发送指令给语音呼叫系统进行呼叫操作。

8.一种基于权利要求1所述方法的分布式平台文件与内容分发系统，其特征在于，该系统包括：数据中心、多个语音播放端；

所述数据中心包括文件服务器、数据库服务器、发送端；

所述语音机房包括接收端、内存数据库、语音呼叫服务器；

所述文件服务器，用于存放语音资源文件；

所述数据库服务器，用于存放用于语音播放所需的参数设置信息；

所述发送端，用于与语音播放端的各个接收端建立链路连接，并为每条连接链路建立独立的传输队列，使每条链路可同时并发传输数据；每条链路的传输队列共分配有一个队列的监控线程，若一个传输队列非空时，将自动分配N个线程进行同时传输，其中N>5且N<20，用于通过传输链路向接收端分布式发送语音文件的文件属性内容和文件流数据以及该语音文件的语音呼叫的参数内容；

所述接收端，用于接收发送端发送的信息以及向发送端、语音呼叫服务器发送指令；用于接收到文件流数据分块后，根据所述文件属性内容中的干扰信息数据，移除接收数据流的包头或包尾的M字节流数据，对所述分块的文件流数据进行数据恢复；根据恢复的数据流中的数据顺序进行数据流恢复，拼接后所得数据逐步写入到临时文件中；用于在对文件数据分块接收完成后，将所接收的数据流大小与所述文件属性内容中的文件流压缩传输大小进行比对：若数值一致，文件数据流压缩传输大小验证成功，进入MD5值验证；若数值不一致，判定文件接收出现问题，需发回指令给客户端，要求重新传输；

所述内存数据库，用于验证及保存接收端接收到的信息；

所述语音呼叫服务器，在接收端接收语音参数数据后，用于接收由接收端发送的指令进行呼叫操作。