CN106161507A - 基于云分支服务器的数据更新方法 - Google Patents

Abstract

本发明提出一种基于云分支服务器的数据更新方法，可更新的数据包括电视节目列表，RFID数据信息，用户认证数据,用户功能配置数据，用户功能使用记录数据，音视频多媒体文件，云分支服务器应用程序，动态IP地址等，云分支服务器ECBS采用WIFI，DMBT，3/4G，ETHERNET等，将ECBS本地预处理后的数据库及数据压缩、加密上传至中心服务器。中心服务器将需要更新的数据传送更新服务器或直接到达云分支服务器。同时，云分支服务器根据更新服务器存储数据类别从不同的更新服务器下载数据。云分支服务器将根据中心服务器的要求来更改处理策略。本发明解决了当前的大数据和云平台技术面临着存储资源和网络资源紧张、细节信息采集缺失、数据处理能力滞后等问题。

Description

基于云分支服务器的数据更新方法

技术领域

本发明属于计算机技术应用领域，特别是涉及到一种基于云分支服务器的数据更新方法及装置。

背景技术

云平台大数据技术的发展与应用已经对社会的方方面面产生深远影响。今天，从政府到企业，从医疗、教育等公共服务部门到商业、科技领域，大数据技术正在催生各个领域的变革力量，整个社会也在不遗余力地主动进行大数据技术的发展与应用；

我们生活在一个不断产生海量数据的世界。根据IBM的研究、估算现在日产数据量达百万的三次方，相当于每24小时生成约10亿千兆字节。这就导致了数据云平台存储资源的紧缺。因为大量数据都是存放在中心服务器进行分析和计算的，这样就导致了数据处理能力的滞后；计算算法复杂，更新难度大；数据分类不精确；数据处理不及时。海量数据从用户端上传下载到云平台，耗费了大量的网络资源，使网络资源紧张。所以当前的大数据和云平台技术面临着存储资源和网络资源紧张 、细节信息采集缺失、数据处理能力滞后等问题。

发明内容

本发明要解决的问题是提出一种基于云分支服务器的数据更新方法，节省云平台资源，解决资源耗费问题。

为了达到上述目的，本发明采用的技术方案为：一种基于云分支服务器的数据更新方法，包括如下步骤：

（1） 建立基于云分支服务器的云服务平台，以多个云分支服务器为节点，所述云分支服务器通过网络连接中心服务器；实现了以云分支服务器为核心的多层次云架构；

（2） 所述中心服务器连接多个更新服务器,所述更新服务器通过网络与所述云分支服务器连通；所述中心服务器对所有更新服务器分类管理，每个更新服务器用于存储不同类别的数据内容,所述更新服务器的标识以及所存储的数据类别信息都记录在中心服务器；

（3） 云分支服务器实时收集数据并对数据进行预处理，同时更新本地数据库；

（4） 云分支服务器将本地预处理后的数据库及数据压缩、加密，上传至中心服务器；

（5） 中心服务器将云分支服务器上传的数据汇总、分析,制定数据收集以及预处理策略，将所述策略下载至相应的存储策略的更新服务器；

（6） 中心服务器将自身主动更新的数据按照类别下载至相应的更新服务器；

（7） 云分支服务器从中心服务器获取更新服务器的标识及存储数据类别；分别从不同的更新服务器获得策略信息以及其它最新数据信息，再返回步骤（3）；

优选的，所述云分支服务器通过网络访问中心服务器，所述网络包括WIFI，DMBT，3/4G，ETHERNET；

优选的，步骤（4）所述加密采用的是RSA加密算法；

优选的，所述数据库上传前需要重命名，新的命名信息包括云分支服务器的序列号以及上传文件的次数；

本发明的另一方面，一种基于云分支服务器的数据更新装置，包括：

中心服务器，将更新服务器上传的数据汇总、分析,制定数据收集以及预处理策略，将所述策略下载至相应的云分支服务器；

云分支服务器，用于实时接收数据并对数据进行预处理，同时更新本地数据库并上传；

更新服务器：用于存储不同类别的数据内容,并由云分支服务器下载；

优选的，所述云分支服务器包括：

数据收集模块，用于实时收集数据；

本地数据库模块，用于存储数据信息；

数据处理模块，用于对数据进行预处理，同时更新本地数据库，然后将本地预处理后的数据库及数据压缩、加密；

网络模块，用于将压缩、加密后的数据库及数据上传至中心服务器；以及从更新服务器下载数据收集及预处理策略以及新的数据。

优选的，所述中心服务器包括：

数据分析模块，用于将云分支服务器上传的数据汇总、分析,制定数据收集以及预处理策略；

网络模块，用于接收云分支服务器的上传信息；以及向更新服务器下发策略信息和新的数据。

优选的，所述更新服务器包括：

数据存储模块，用于将中心服务器下载的数据存储在本地；

网络模块，用于接收中心服务器的信息；以及向云分支服务器发送信息。

本发明的有益效果为：使用本发明的方法，将本地预处理后的数据库及数据压缩、加密上传至中心服务器。中心服务器将对预处理后的数据进行进一步的处理。同时，中心服务器可以将预数据需求发送给指定的更新服务器，这样能减小中心服务器的压力，不会导致所有用户都去同时向中心服务器下载数据， 同时用户可以直接访问云分支服务器。云分支服务器从更新服务器获得预数据需求数据后，将根据中心服务器的要求来更改处理策略。解决了当前的大数据和云平台技术面临着存储资源和网络资源紧张 、细节信息采集缺失、数据处理能力滞后等问题。

附图说明：

图1是本发明服务器的关系示意图；

图2是本发明实施例的数据库上传示意图；

图3是本发明实施例的策略下载示意图；

图4 是本发明实施例的电视直播接收信号；

图5 是本发明实施例的音视频文件更新图；

图6 是本发明实施例的RFID数据上传下载示意图；

图7 是本发明实施例的用户信息统计与功能使能示意图；

图8 是本发明实施例的ECBS动态IP获取与用户直接访问示意图。

具体实施方式

下面结合具体实施例对本发明做进一步说明：

（ 1 ）数据库文件更新

采用WIFI、DMBT、DVBT 、3/4G、ETHERNET、音频广播、等各种方法，将本地数据库压缩上传至中心服务器，中心服务器分类管理更新服务器，中心服务器汇总分析后将更新的数据信息以及数据收集策略按照类别下载至更新服务器，云分支服务器按照数据类别从更新服务器获得数据；

中心服务器、云分支服务器、更新服务器的关系如图1所示；

运用云分支服务器(ECBS)上传数据库文件至远程中心服务器端的传输如图2所示；

ecbs服务器上的数据库文件为ecbs_vXXX.db，存放路径为/mnt/htdocs/，拷贝到/usr/local/db目录下并重命名，重命名的格式如下: FileType_ServerNumber_TransmissionNumber_RandomNumber.db；

该数据库的名字包括四部分：

FileType：服务器数据库的类型；ecbstvb(embed cloud branch server tv broadcast)表示当前为嵌入式服务器的电视直播数据库；

ServerNumber：表示ecbs服务器的序列号，由10位16进制数组成，范围是0000000001~FFFFFFFFF，每一个ecbs都有且仅有一个特定的序列号用以相互区分。例如定义当前ecbs的序列号为0000000001；

TransmissionNumber：表示当前ecbs上传文件的次数，每次上传一次文件，该值就加1，其范围为1~99999；如果超过99999，该值清零并再次从1开始计数；

RandomNumber：表示ecbs每次上传文件时得到的一个随机数，从而避免文件混淆，范围为0000~9999。获取随机数的程序实现如下

#include <stdlib.h>

#include <stdio.h>

#include <time.h>

int main(void) {

time_t t;

srand((unsigned)time(&t));

printf("Ten random numbers from 0 to 9999\n");

printf("%d\n", rand() % 10000);

return 0;

}

我们需要将数据库文件ecbstvb_0000000001_1_1234.db进行压缩，压缩之后的文件名为ecbstvb_0000000001_1_1234.gz。将文件压缩处理需要调用系统函数system()，函数原型int system(const char * string);

函数说明：system函数已经被收录在标准c库中，可以直接调用。system()会调用fork()产生子进程，由子进程来调用/bin/sh-c string来执行参数string字符串所代表的命令，此命令执行完后随即返回原调用的进程。在调用system()期间SIGCHLD 信号会被暂时搁置，SIGINT和SIGQUIT 信号则会被忽略。

将压缩文件上传到中心服务器后，需要判断文件上传是否成功；

云分支服务器在Linux下通过ftp上传文件的命令：ftpput -u [username] -p [pawssd] [ip] [file]

其中，[username] 为中心服务器的用户名；[pawssd]为中心服务器的密码； [ip]为中心服务器的ip地址；[file]为上传到服务器的文件名。

每隔一定的时间对数据库进行更新，执行文件上传程序，选择后台运行上传文件程序，如果有新的数据需要上传，每隔一定时间（由管理者设定，如50秒）执行一次；

最后判断压缩文件是否上传成功，判断方法是ecbs给中心服务器发送消息，中心服务器通过“ls”命令查看中心服务器端是否成功接收到该文件。如果存在ecbstvb_0000000001_1_1234.gz压缩包，则说明ecbs上传文件成功；如果中心服务器端没有ecbstvb_0000000001_1_1234.gz压缩包，说明ecbs端上传文件失败，继续上传，如果上传3次仍然不成功，发送消息给中心服务器；

中心服务器将云分支服务器上传的数据汇总、分析,制定数据收集以及预处理策略，将所述策略下载至相应的更新服务器；

中心服务器同时也在根据汇总的数据信息,用户使用信息,即时下载更新所提供的数据,并将新数据按照类别放在更新服务器上；

如图2所示，云分支服务器ECBS从更新服务器下载压缩文件（假设压缩文件名为ecbstvb_0000000001_1_1234.gz）之后，首先进行解压，解压命令tar -zxvf ecbstvb_0000000001_1_1234.gz，通过调用系统函数system()实现。判断是否成功下载该压缩文件，通过“ls”命令查看ecbs是否存在压缩文件，如果不存在，则继续从更新服务器下载压缩文件，连续下载3次后如果仍然不能下载成功，则发送消息给更新服务器；

解压之后，判断数据库的文件名是否与当前ecbs的序列号相对应。如果不一致，重新从更新服务器下载压缩文件；

将解压之后的数据库文件重命名为ecbs_vXXX.db，存放在/mnt/htdocs/目录下作为ecbs的数据库文件；

最后，将从更新服务器下载的压缩包和解压后的文件删除，并将更新服务器端的压缩文件删除。通过函数int remove( const char *filename); 实现；

filename为将要删除的文件名；

返回值:如果删除成功，remove返回0，否则返回EOF(-1)；

以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

（ 2 ）媒体文件更新

对于音视频等文件，由于其数据量较大，为了使效率进一步提高，文件首先传输到更新服务器中，其目录为/mnt/htdocs/video和/mnt/htdocs/audio，在传输的音视频索引数据库中，将指明音视频文件的所在的目录等信息。音视频索引数据库的更新方法所用的方法如上节所述一致；

数据库文件格式为：

文件名：ecbsav_ServerNumber_TransmissionNumber_RandomNumber.db；

数据库格式为表1所示：

表1，多媒体数据库

表2，音视频序列号。

（ 3 ）动态 IP 的数据库更新

对于ECBS云分支服务器，在接入互联网后，由于没有静态IP，互联网将分配一个动态IP的NAT给ECBS， 通过具有静态IP的中心服务器，ECBS可以将其动态IP注册在中心服务器的ECBS动态IP数据库里，用户可以通过中心服务器的ECBS动态IP数据库查询到此动态IP， 从而能直接访问ECBS。

Claims (6)

1.一种基于云分支服务器的数据更新方法，其特征在于，包括如下步骤：

（1） 建立基于云分支服务器的云服务平台，以多个云分支服务器为节点，所述云分支服务器通过网络连接中心服务器；

（2） 所述中心服务器连接多个更新服务器,所述更新服务器通过网络与所述云分支服务器连通；所述中心服务器对所有更新服务器分类管理，每个更新服务器用于存储不同类别的数据内容,所述更新服务器的标识以及所存储的数据类别信息都记录在中心服务器；

（3） 云分支服务器实时收集数据并对数据进行预处理，同时更新本地数据库；

（4） 云分支服务器将本地预处理后的数据库及数据压缩、加密，上传至中心服务器；

（5） 中心服务器将云分支服务器上传的数据汇总、分析,制定数据收集以及预处理策略，将所述策略下载至相应的存储策略的更新服务器；

（6） 中心服务器将自身主动更新的数据或应用程序按照类别下载至相应的更新服务器；

（7） 云分支服务器从中心服务器获取更新服务器的标识及存储数据类别；分别从不同的更新服务器获得策略信息以及其它最新数据信息，再返回步骤（3）；

（8） 根据权利要求1所述的一种基于云分支服务器的数据更新方法，其特征在于，步骤（4）所述加密采用的是RSA加密算法；

（9） 根据权利要求1所述的一种基于云分支服务器的数据更新方法，其特征在于，所述云分支服务器通过网络访问中心服务器，所述网络包括WIFI，DMBT，3/4G，ETHERNET；

（10） 根据权利要求1所述的一种基于云分支服务器的数据更新方法，其特征在于，步骤（4）所述数据库上传前需要重命名，新的命名信息包括云分支服务器的序列号以及上传文件的编号。

2.所述云分支服务器通过网络连接多个RFID读写器，进行数据读取；其特征在于，包括如下步骤：

（1） 云分支服务器实时收集RFID数据并根据中心服务器制定的策略对数据进行预处理，同时更新本地数据库；

（2） 云分支服务器将本地预处理后的数据库及RFID数据压缩、加密上传至中心服务器；

（3） 中心服务器将云分支服务器上传的数据汇总、分析,制定数据收集以及预处理策略，将所述策略下载至云分支服务器，再返回步骤（2）；

（4） 中心服务器，将云分支服务器上传的RFID数据汇总、分析,制定RFID数据收集以及预处理策略，将所述策略下载至云分支服务器；

（5） 云分支服务器，用于实时接收RFID数据并对RFID数据进行预处理，同时更新本地数据库并上传；

（6） RFID读写器，用于读写RFID电子标签， 每个RFID读写器统一编号，用于识别并做定位；

（7） 中心服务器，将云分支服务器上传的RFID数据汇总、分析,制定RFID数据收集以及预处理策略，将所述策略下载至云分支服务器；

（8） 云分支服务器，用于实时接收RFID数据并对RFID数据进行预处理，同时更新本地数据库并上传；

（9） RFID读写器，用于读写RFID电子标签， 每个RFID读写器统一编号，用于识别并做定位。

3.云分支服务器实时接收电视节目信号并对信号进行预处理及转换，其特征如下：

（1） 云分支服务器将本地预处理后的节目信息数据库及数据压缩、加密上传至中心服务器；云分支服务器的节目信息数据库来源于管理员手工设定或者某个连接的终端的搜索采集；

（2） 中心服务器将云分支服务器上传的信息汇总、分析,形成策略数据库再下载至云分支服务器；

（3） 用户的终端通过云分支服务器接收并观看电视节目， 用户无需进行搜台既可以收看电视节目；

（4） 云分支服务器将本地预处理后的节目信息数据库及数据压缩、加密上传至中心服务器；

（5）根据权利要求3所述通过云分支服务器实时接收电视节目信号，其特征在于步骤5所述，云分支服务器实时接收电视节目信号后对信号进行预处理、转码及转换，包括下述步骤：

云分支服务器端要对收到的信号流进行编辑，然后获取到信号流中的电视频道信息，并将这些信息存入云分支服务器端的电视频道数据库中，或者在数据库中自行插入电视频道信息；

云分支服务器端要对接收到的信号进行转换，转换成网络信号，如WIFI或以太网信号，然后发送出去，并且由终端以接收广播的形式进行接收；

云分支服务器端还要通知接入终端每个信号流的播放方式，终端播放这个信号流的节目时，采用此方式进行播放；

经过授权的终端通过网络远程的对云分支服务器端的电视频道数据库中的信息进行修改，修改内容包括频道信息、当前后序；

（6）根据权利要求3所述的基于云分支服务器实现电视直播的方法，其特征在于，所述云分支服务器采用Hash 技术，中心服务器将包含用户的HASH表签名文件传到所有云分支服务器，直接通过云分支服务器本地进行认证，登录与注册；利用HASH算法进行签名校验，分支服务器验证终端用户是否合法，每个合法的终端用户都可以登录到每个分支服务器，不需要经过主服务器验证；

（7）一种如权利要求3所述方法中用到的云分支服务器，其特征在于，包括：

电视接收器部件，用于实时接收电视节目信号；

本地数据库，用于存储电视节目信息；

数据处理模块，用于对信号进行预处理、转码及转换，同时更新本地数据库；

数据上传模块，用于将本地预处理后的节目信息数据库及数据压缩、加密上传至中心服务器；

数据下载模块，用于接收中心服务器汇总分析后的信息，包括节目信息，播放程序等；

节目发送模块，用于将电视节目信号流通过WIFI或者ETHERNET的形式发送给用户终端；

（8）根据权利要求3所述的一种云分支服务器，其特征在于：所述电视节目接收部件包括DTMB信号接收模块、DVBC信号接收模块、DVBT信号接收模块、网络电视信号接收模块、广播电台信号接收模块、卫星信号接收模块、直播星的信号接收模块、服务器硬盘中的本地节目处理模块、当前后序处理模块和EPG信息处理模块；

（9）根据权利要求3所述的一种云分支服务器，其特征在于，所述数据处理模块包括：

信号流编辑模块，用于对信号流进行编辑，然后获取到信号流中的电视频道信息，并将这些信息存入云分支服务器端的电视频道数据库中，或者在数据库中自行插入一些电视频道信息；

信号转换模块，用于对接收到的信号进行转换，转换成网络信号，所述网络信号为WIFI或以太网信号，然后发送出去；

通知模块，用于通知接入终端每个信号流的播放方式，终端播放这个信号流的节目时，采用此方式进行播放；

修改模块，用于接收经过授权的终端通过网络远程的对云分支服务器端的电视频道数据库中的信息进行修改的信息并进行修改，修改内容包括频道信息、当前后序。

4.用户通过云分支服务器进行注册,云分支服务器实时接收用户注册信息，其特征在于：

（1） 云分支服务器将接收到的用户注册信息上传至中心服务器；

（2） 中心服务器将收到的所有云分支服务器上传的用户注册信息存储入数据库,同时生成包含所有用户信息的HASH表签名文件；

（3） 中心服务器将包含所有用户信息的HASH表签名文件下载至云分支服务器；

（4） 用户直接通过云分支服务器本地进行认证，登录, 云分支服务器利用HASH算法进行签名校验；用户登陆在互联网断网情况下也能完成；同时提高了登陆速度和免去了登陆时需要的网络流量；

（5） 根据权利要求4所述的用户通过云分支服务器注册的方法，其特征在于，所述云分支服务器包括：

用户认证模块，用于用户直接登录、认证；

用户注册模块，用于接收新用户注册信息；

网络模块，用于将新用户注册信息上传至中心服务器；以及接收中心服务器HASH表签名文件；

校验模块：用于利用HASH算法进行签名校验；

（6） 根据权利要求4所述的用户通过云分支服务器注册的方法，其特征在于，所述中心服务器包括：

数据库模块，用于将收到的所有云分支服务器上传的用户注册信息存储入数据库；

文件生成模块，用于生成包含所有用户信息的HASH表签名文件；

网络模块，用于接收云分支服务器的新用户注册信息；以及向云分支服务器下发HASH表签名文件。

5.中心服务器通过和云分支服务器通讯，得到云分支服务器的动态IP地址；互联网用户通过中心服务器得到的动态IP能直接访问云分支服务器；云分支服务器实时更新中心服务器的包括云分支服务器动态IP以及其它信息的数据库：

（1） 云分支服务器通过和中心服务器的SOCKET通讯，将自身的IP注册至中心服务器；

（2） 中心服务器将收到的所有云分支服务器上传的IP及其它相关信息存储入数据库；

（3） 用户通过访问中心服务器将得到其需要访问的云分支服务器的动态IP，之后利用此动态IP直接访问云分支服务器；

用户通过直接访问云分支服务器的动态IP，节省了中心服务器的进行认证，登录以及信息转发的网络耗费； 同时，云分支服务器的许多信息无需都存储在中心服务器上就能为用户通过互联网使用，节省了中心服务器的存储空间。

6.一种基于云分支服务器的数据更新装置，其特征在于，包括：

（1）中心服务器，将云分支服务器上传的数据汇总、分析,形成中心服务器的统一数据库，制定数据收集以及预处理策略，形成策略数据库，将所述策略下载至相应的云分支服务器；

（2）云分支服务器，用于实时接收数据并对数据进行预处理，同时更新本地数据库并上传；

（3）更新服务器：用于存储不同类别的数据内容,并由云分支服务器下载；

（4）根据权利要求6所述的一种基于云分支服务器的数据更新装置，其特征在于，所述云分支服务器包括：

数据收集模块，用于实时收集数据；

本地数据库模块，用于存储数据信息；

数据处理模块，用于对数据进行预处理，同时更新本地数据库，然后将本地预处理后的数据库及数据压缩、加密；

网络模块，用于将压缩、加密后的数据库及数据上传至中心服务器；以及从更新服务器下载数据收集及预处理策略以及新的数据；

（5）根据权利要求6所述的一种基于云分支服务器的数据更新装置，其特征在于，所述中心服务器包括：

数据分析模块，用于将云分支服务器上传的数据汇总、分析,制定数据收集以及预处理策略；

网络模块，用于接收云分支服务器的上传信息；以及向更新服务器下发策略信息和新数据；

（6）根据权利要求6所述的一种基于云分支服务器的数据更新装置，其特征在于，所述更新服务器包括：

数据存储、处理模块，用于将中心服务器下载的数据存储在本地，并生成数据库；

网络模块，用于接收中心服务器的信息；以及向云分支服务器发送信息。