CN105338107A - 一种据点运营同步管理系统及方法 - Google Patents

Abstract

本发明公开了一种据点运营同步管理系统及方法，据点运营同步管理系统包括：一第一服务器，提供一第一临时表组，所述第一服务器用于以第一预设周期采集复数个客户端的原始数据，将所述原始数据存储于所述第一临时表组中，并对所述原始数据进行处理以形成预设格式的文件并输出；一第二服务器，连接所述第一服务器，提供一第二临时表组和一历史表组，所述第二服务器用于以第二预设周期接收所述第一服务器发送的所述文件，对所述文件进行处理以导入所述第二临时表组中，并将所述第二临时表组中的所述原始数据导入所述历史表组中，根据所述原始数据生成同步日志信息并存储。

Description

一种据点运营同步管理系统及方法

技术领域

本发明涉及通信领域，尤其涉及一种据点运营同步管理系统及方法。

背景技术

移动互联网的飞速发展，促进了移动终端上APP应用的爆发式增涨，APP发布后的运营推广也越来越被移动互联网行业所重视。APP运营管理系统中所涉及的运营推广主要包括APP使用情况分析、APP流量监控分析、目标用户行为研究、APP日常更新及内容编辑、网络营销策划及推广等内容。

目前的基于互联网(WEB)的APP运营管理系统中，对用户使用APP的行为数据的统计大多是通过直接操作APP服务器(即据点服务器)的备份库来实现的，只是简单的统计APP的活跃用户(日活、月活)、新增用户、留存用户、在线用户以及一些像联网方式、终端类型等与用户安装APP的移动终端的相关信息的统计，系统中主要的功能是进行数据统计，只涉及到数据的查询，而不涉及数据的修改等其它操作。一般数据库都有主/从功能，从库即备份库是与APP服务端主库保持一致的，在主库数据毁坏后，可通过备份库里的数据还原。

综上所述，现有APP运营管理系统存在的问题仅涉及数据的查询操作，对运营管理系统的功能有一定的局限性，APP服务器的负担大。

发明内容

针对现有的APP运营管理系统存在的上述问题，现提供一种旨在实现可减轻据点服务器的压力，同时快速同步据点服务器中的数据内容的据点运营同步管理系统及方法。

具体技术方案如下：

一种据点运营同步管理系统，包括：

一第一服务器，提供一第一临时表组，所述第一服务器用于以第一预设周期采集复数个客户端的原始数据，将所述原始数据存储于所述第一临时表组中，并对所述原始数据进行处理以形成预设格式的文件并输出；

一第二服务器，连接所述第一服务器，提供一第二临时表组和一历史表组，所述第二服务器用于以第二预设周期接收所述第一服务器发送的所述文件，对所述文件进行处理以导入所述第二临时表组中，并将所述第二临时表组中的所述原始数据导入所述历史表组中，根据所述原始数据生成同步日志信息并存储。

优选的，所述原始数据包括四个信息类别分别为：用户行为信息、用户举报处理信息、审核信息和系统参数配置信息，每一信息类别对应所述第一临时表组中的一第一临时表、所述第二临时表组中的一第二临时表和所述历史表组中的一历史表。

优选的，所述第一服务器包括：

一采集单元，用于以所述第一预设周期采集复数个客户端的所述原始数据；

一第一存储单元，用以存储所述第一临时表组；

一第一识别单元，分别连接所述采集单元和所述第一存储单元，用以识别所述原始数据对应的信息类别，以将所述原始数据存储于与相应的信息类别对应的所述第一临时表中；

一第一处理单元，连接所述第一存储单元，用以分别对每一个所述第一临时表中的所述原始数据进行处理以形成预设格式的所述文件，并清空所述第一临时表中的所述原始数据；

一上传单元，连接所述第一处理单元，用以将所述文件发送至所述第二服务器。

优选的，所述第二服务器包括：

一同步单元，用于以所述第二预设周期同步接收所述第一服务器发送的所述文件；

一第二存储单元，用以存储所述第二临时表组和所述历史表组；

一第二识别单元，分别连接所述同步单元和所述第二存储单元，用以识别所述文件中的所述原始数据对应的信息类别，并将所述原始数据存储于与相应的信息类别对应的所述第二临时表中；

一第二处理单元，连接所述第二存储单元，用以过滤掉所述第二临时表中的无用信息，并将所述第二临时表中的所述原始数据存储于与所述原始数据信息类别对应的所述历史表，根据所述原始数据生成同步日志信息并存储。

优选的，所述同步单元采用AJAX机制同步接收所述第一服务器发送的所述文件。

优选的，所述第一服务器用于将所述原始数据存储于所述第一临时表组中的所述原始数据采用insert语句组织成对应的结构化查询语言以存入预设格式的所述文件中。

一种据点运营同步管理的方法，应用上述据点运营同步管理系统，包括下述步骤：

S1.所述第一服务器以第一预设周期采集复数个客户端的原始数据，将所述原始数据存储于所述第一临时表组中，并对所述原始数据进行处理以形成预设格式的文件并输出；

S2.所述第二服务器以第二预设周期接收所述第一服务器发送的所述文件，对所述文件进行处理以导入所述第二临时表组中，并将所述第二临时表组中的所述原始数据导入所述历史表组中，根据所述原始数据生成同步日志信息并存储。

优选的，所述原始数据包括四个信息类别分别为：用户行为信息、用户举报处理信息、审核信息和系统参数配置信息，每一信息类别对应所述第一临时表组中的一第一临时表、所述第二临时表组中的一第二临时表和所述历史表组中的一历史表。

优选的，所述步骤S1包括：

S11.所述第一服务器以所述第一预设周期采集复数个客户端的所述原始数据；

S12.所述第一服务器识别所述原始数据对应的信息类别，以将所述原始数据存储于与相应的信息类别对应的所述第一临时表中；

S13.所述第一服务器分别对每一个所述第一临时表中的所述原始数据进行处理以形成预设格式的所述文件，并清空所述第一临时表中的所述原始数据；

S14.所述第一服务器将所述文件发送至所述第二服务器。

优选的，所述步骤S2包括：

S21.所述第二服务器以所述第二预设周期同步接收所述第一服务器发送的所述文件；

S22.所述第二服务器识别所述文件中的所述原始数据对应的信息类别，并将所述原始数据存储于与相应的信息类别对应的所述第二临时表中；

S23.所述第二服务器过滤掉所述第二临时表中的无用信息，并将所述第二临时表中的所述原始数据存储于与所述原始数据信息类别对应的所述历史表，根据所述原始数据生成同步日志信息并存储。

上述技术方案的有益效果：

据点运营同步管理系统可定时同步第一服务器与第二服务器中的数据内容，以方便数据的查找等操作，采用的增量同步方式可以大大缩小第一服务器提供的文件的大小，进而缩短同步脚本的执行时间，同时也降低了文件在网络不稳定情况下上传失败需重传的概率。

据点运营同步管理的方法采用的同步方式可以大大缩小第一服务器提供的文件的大小，进而缩短同步脚本的执行时间，并方便数据的查找等操作，减轻了第一服务器的压力。

附图说明

图1为本发明所述的据点运营同步管理系统的一种实施例的模块图；

图2为本发明所述的据点运营同步管理的方法的一种实施例的方法流程图；

图3为本发明所述的据点运营同步管理的方法的另一种实施例的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

如图1所示，一种据点运营同步管理系统，包括：

一第一服务器1，提供一第一临时表组，第一服务器1用于以第一预设周期采集复数个客户端的原始数据，将原始数据存储于第一临时表组中，并对原始数据进行处理以形成预设格式的文件并输出；

一第二服务器2，连接第一服务器1，提供一第二临时表组和一历史表组，第二服务器2用于以第二预设周期接收第一服务器1发送的文件，对文件进行处理以导入第二临时表组中，并将第二临时表组中的原始数据导入历史表组中，根据原始数据生成同步日志信息并存储。

进一步地，第一服务器1为据点服务器，第二服务器2为运营管理服务器，第一预设周期和第二预设周期可以相同均为一天。

在本实施例中，据点运营同步管理系统可定时同步第一服务器1与第二服务器2中的数据内容，以方便数据的查找等操作，采用的增量同步方式可以大大缩小第一服务器1提供的文件的大小，进而缩短同步脚本的执行时间，同时也降低了文件在网络不稳定情况下上传失败需重传的概率。第二服务器2可以满足管理系统中各项数据统计功能以及对据点相关业务处理功能所涉及的数据的查询、修改等操作，方便管理系统业务功能的扩展。

在优选的实施例中，原始数据包括四个信息类别分别为：用户行为信息、用户举报处理信息、审核信息和系统参数配置信息，每一信息类别对应第一临时表组中的一第一临时表、第二临时表组中的一第二临时表和历史表组中的一历史表。

在本实施例中，第二服务器2可同步存储第一服务器1采集到的用户行为信息、用户举报处理信息、审核信息和系统参数配置信息。用户行为信息可包括客户端的活跃用户(日活、月活)、新增用户、留存用户、在线用户等，以及对据点客户端业务相关的用户行为的统计，如用户互动频率统计(收藏、喜欢)等，用于将存储在据点服务器中相关统计项的数据同步到运营管理服务器并进行处理后得到的。运营管理服务器还可以满足据点运营同步管理系统中涉及到与据点相关的业务功能处理的数据存储，例如用户举报的处理。

在优选的实施例中，第一服务器1包括：

一采集单元11，用于以第一预设周期采集复数个客户端的原始数据；

一第一存储单元12，用以存储第一临时表组；

一第一识别单元14，分别连接采集单元11和第一存储单元12，用以识别原始数据对应的信息类别，以将原始数据存储于与相应的信息类别对应的第一临时表中；

一第一处理单元13，连接第一存储单元12，用以分别对每一个第一临时表中的原始数据进行处理以形成预设格式的文件，并清空第一临时表中的原始数据；

一上传单元15，连接第一处理单元13，用以将文件发送至第二服务器2。

第一服务器1用于将原始数据存储于第一临时表组中的原始数据采用insert语句组织成对应的结构化查询语言以存入预设格式的文件中。

进一步地，预设格式的文件为结构化查询语言(StructuredQueryLanguage，sql)文件。

在本实施例中，据点服务器每天定时将运营管理服务器需要的数据以增量同步的方式从据点服务器的第一存储单元12中提取出来，并组织成对应的sql语句存于.sql文件中，以发送至运营管理服务器。

在优选的实施例中，第二服务器2包括：

一同步单元21，用于以第二预设周期同步接收第一服务器1发送的文件；

一第二存储单元22，用以存储第二临时表组和历史表组；

一第二识别单元23，分别连接同步单元21和第二存储单元22，用以识别文件中的原始数据对应的信息类别，并将原始数据存储于与相应的信息类别对应的第二临时表中；

一第二处理单元24，连接第二存储单元22，用以过滤掉第二临时表中的无用信息，并将第二临时表中的原始数据存储于与原始数据信息类别对应的历史表，根据原始数据生成同步日志信息并存储。

在本实施例中，定时增量同步时将同步时间和同步结果记录在日志文件中可以便于观察数据同步情况，在出现统计数据与据点服务器记录的数据不一致时也方便定位。

增量同步的具体过程为：运营管理服务器调用file_get_contents函数读取据点服务器上传到运营管理服务器上的增量生成的.sql文件，并使用foreach函数循环遍原始数据中各条记录的insert语句，然后调用mysql_query函数执行，将对应的数据被插入到insert语句所指定的第二临时表中。在.sql文件遍历完后，对第二临时表同步过来的数据进行处理，并过滤掉无用信息，将处理后的记录写入各个第二临时表对应的历史表里，并清空相应的第二临时表。

具体地，以user_inform_event是用于用户举报的第二临时表为例说明，第二临时表与据点服务器的用于记录用户举报信息的第一临时表的表结构一致。user_inform_event的表结构如下：

与之对应的举报的历史表的inform_info结构的如下：

历史表inform_info用于存储统计数据和业务处理的数据，其中前面几项数据类型与临时表保持一致，去掉了borad_id,informed_name这两个无关字段，最后一项status是用于处理用户举报业务时存储举报处理状态的。历史表中的数据是在数据同步时根据第二临时表user_inform_event中同步过来的数据进行处理并过滤掉无关记录后得到的。运营管理服务器可直接操作历史表。

在优选的实施例中，同步单元21采用AJAX(AsynchronousJavascriptAndXML)机制同步接收第一服务器1发送的文件。

运营管理服务器的语言是采用PHP编写的，PHP只能被用户触发，被调用，调用后会自动退出内存，没有常驻内存，就没有办法准确的定时处理，PHP定时执行任务一般是通过添加视窗操作系统(WINDOWS)任务计划或LINUX的Crontab工具设置周期性被执行的指令来实现的。这两种定时执行任务的实现方法均与操作系统有关，不利于系统的跨平台性。在本实施例中采用JavaScript的setinterval函数来定时异步运行数据同步脚本(即执行PHP同步脚本)，并记录数据同步日志信息，可支持跨平台使用。

本实施例采用JavaScript定时加AJAX机制，JavaScript中的setinterval函数可按照指定的周期(以毫秒计)来调用函数或计算表达式，函数中也采用JavaScript语句。AJAX是与服务器交换数据并更新部分网页的艺术，可以执行PHP脚本。

一种据点运营同步管理的方法，应用如上述的据点运营同步管理系统，包括下述步骤：

S1.第一服务器1以第一预设周期采集复数个客户端的原始数据，将原始数据存储于第一临时表组中，并对原始数据进行处理以形成预设格式的文件并输出；

S2.第二服务器2以第二预设周期接收第一服务器1发送的文件，对文件进行处理以导入第二临时表组中，并将第二临时表组中的原始数据导入历史表组中，根据原始数据生成同步日志信息并存储。

在本实施例中，据点运营同步管理的方法采用的同步方式可以大大缩小第一服务器1提供的文件的大小，进而缩短同步脚本的执行时间，并方便数据的查找等操作，减轻了第一服务器的压力。

在优选的实施例中，原始数据包括四个信息类别分别为：用户行为信息、用户举报处理信息、审核信息和系统参数配置信息，每一信息类别对应第一临时表组中的一第一临时表、第二临时表组中的一第二临时表和历史表组中的一历史表。

如图2所示，在优选的实施例中，步骤S1包括：

S11.第一服务器以第一预设周期采集复数个客户端的原始数据；

S12.第一服务器识别原始数据对应的信息类别，以将原始数据存储于与相应的信息类别对应的第一临时表中；

S13.第一服务器分别对每一个第一临时表中的原始数据进行处理以形成预设格式的文件，并清空第一临时表中的原始数据；

S14.第一服务器将文件发送至第二服务器。

进一步地，第一服务器为据点服务器，第二服务器为运营管理服务器；预设格式的文件为结构化查询语言(StructuredQueryLanguage，sql)文件。

在本实施例中，这里将数据处理全部放在了运营管理服务器完成，据点服务器只提供数据库记录的原始数据，可尽量减少数据同步给据点服务器带来的压力。据点服务器将第一临时表中的原始数据进行处理以形成.sql文件，并发送至运营管理服务器。

如图3所示，在优选的实施例中，步骤S2包括：

S21.第二服务器以第二预设周期同步接收第一服务器发送的文件；

S22.第二服务器识别文件中的原始数据对应的信息类别，并将原始数据存储于与相应的信息类别对应的第二临时表中；

S23.第二服务器过滤掉第二临时表中的无用信息，并将第二临时表中的原始数据存储于与原始数据信息类别对应的历史表，根据原始数据生成同步日志信息并存储。

在本实施例中，采用增量同步的方式同步据点服务器与运营管理服务器中的数据，在首次生成同步的.sql文件时需要包含全量的数据记录对应的insert语句，以后每次生成.sql文件时只需按时间包含当天入库的数据记录对应的insert语句。.sql文件是用来存储SQL脚本的文件，里面存放的是进行不同的数据库操作(增加、删除、修改)的sql语句，可通过数据库的相关命令执行文件中的sql语句即可在对应表中增加、删除或修改记录。例如对用户举报的处理(合理的举报进行同意操作并记录举报次数，不合理的举报则被驳回)，运营系统这边在每审核完一条用户举报后需记录每条举报处理的状态。

据点运营同步管理系统是对用户使用据点APP的情况进行统计，以了解该APP的下载次数、用户使用频率、用户参与度等情况，同时配合据点服务器完成一些业务处理功能，采用JS的定时机制，避免了使用WINDOWS任务或借助Linux的Crontab工具来触发PHP执行任务时对操作系统的依赖。可以采用以天为单位增量同步，大大减轻了据点服务器的负担，采用增量方式缩短了同步时间，使数据同步能在较短的时间内完成，同时也降低了.sql文件在网络不稳定情况下上传失败需重传的概率。在数据处理上，所有的数据处理均由据点运营管理端完成，据点服务器只需定时提供所需的原始记录数据，减轻据点服务器的压力。

据点运营同步管理是指网络营销体系中一切与据点APP的后期运作有关的工作。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种据点运营同步管理系统，其特征在于，包括：

一第一服务器，提供一第一临时表组，所述第一服务器用于以第一预设周期采集复数个客户端的原始数据，将所述原始数据存储于所述第一临时表组中，并对所述原始数据进行处理以形成预设格式的文件并输出；

一第二服务器，连接所述第一服务器，提供一第二临时表组和一历史表组，所述第二服务器用于以第二预设周期接收所述第一服务器发送的所述文件，对所述文件进行处理以导入所述第二临时表组中，并将所述第二临时表组中的所述原始数据导入所述历史表组中，根据所述原始数据生成同步日志信息并存储。

2.如权利要求1所述的据点运营同步管理系统，其特征在于，所述原始数据包括四个信息类别分别为：用户行为信息、用户举报处理信息、审核信息和系统参数配置信息，每一信息类别对应所述第一临时表组中的一第一临时表、所述第二临时表组中的一第二临时表和所述历史表组中的一历史表。

3.如权利要求2所述的据点运营同步管理系统，其特征在于，所述第一服务器包括：

一采集单元，用于以所述第一预设周期采集复数个客户端的所述原始数据；

一第一存储单元，用以存储所述第一临时表组；

一第一识别单元，分别连接所述采集单元和所述第一存储单元，用以识别所述原始数据对应的信息类别，以将所述原始数据存储于与相应的信息类别对应的所述第一临时表中；

一第一处理单元，连接所述第一存储单元，用以分别对每一个所述第一临时表中的所述原始数据进行处理以形成预设格式的所述文件，并清空所述第一临时表中的所述原始数据；

一上传单元，连接所述第一处理单元，用以将所述文件发送至所述第二服务器。

4.如权利要求2所述的据点运营同步管理系统，其特征在于，所述第二服务器包括：

一同步单元，用于以所述第二预设周期同步接收所述第一服务器发送的所述文件；

一第二存储单元，用以存储所述第二临时表组和所述历史表组；

一第二识别单元，分别连接所述同步单元和所述第二存储单元，用以识别所述文件中的所述原始数据对应的信息类别，并将所述原始数据存储于与相应的信息类别对应的所述第二临时表中；

一第二处理单元，连接所述第二存储单元，用以过滤掉所述第二临时表中的无用信息，并将所述第二临时表中的所述原始数据存储于与所述原始数据信息类别对应的所述历史表，根据所述原始数据生成同步日志信息并存储。

5.如权利要求4所述的据点运营同步管理系统，其特征在于，所述同步单元采用AJAX机制同步接收所述第一服务器发送的所述文件。

6.如权利要求1所述的据点运营同步管理系统，其特征在于，所述第一服务器用于将所述原始数据存储于所述第一临时表组中的所述原始数据采用insert语句组织成对应的结构化查询语言以存入预设格式的所述文件中。

7.一种据点运营同步管理的方法，应用如权利要求1-6任一所述据点运营同步管理系统，其特征在于，包括下述步骤：

S1.所述第一服务器以第一预设周期采集复数个客户端的原始数据，将所述原始数据存储于所述第一临时表组中，并对所述原始数据进行处理以形成预设格式的文件并输出；

S2.所述第二服务器以第二预设周期接收所述第一服务器发送的所述文件，对所述文件进行处理以导入所述第二临时表组中，并将所述第二临时表组中的所述原始数据导入所述历史表组中，根据所述原始数据生成同步日志信息并存储。

8.如权利要求7所述的据点运营同步管理的方法，其特征在于，所述原始数据包括四个信息类别分别为：用户行为信息、用户举报处理信息、审核信息和系统参数配置信息，每一信息类别对应所述第一临时表组中的一第一临时表、所述第二临时表组中的一第二临时表和所述历史表组中的一历史表。

9.如权利要求8所述的据点运营同步管理的方法，其特征在于，所述步骤S1包括：

S11.所述第一服务器以所述第一预设周期采集复数个客户端的所述原始数据；

S12.所述第一服务器识别所述原始数据对应的信息类别，以将所述原始数据存储于与相应的信息类别对应的所述第一临时表中；

S13.所述第一服务器分别对每一个所述第一临时表中的所述原始数据进行处理以形成预设格式的所述文件，并清空所述第一临时表中的所述原始数据；

S14.所述第一服务器将所述文件发送至所述第二服务器。

10.如权利要求8所述的据点运营同步管理的方法，其特征在于，所述步骤S2包括：

S21.所述第二服务器以所述第二预设周期同步接收所述第一服务器发送的所述文件；

S22.所述第二服务器识别所述文件中的所述原始数据对应的信息类别，并将所述原始数据存储于与相应的信息类别对应的所述第二临时表中；

S23.所述第二服务器过滤掉所述第二临时表中的无用信息，并将所述第二临时表中的所述原始数据存储于与所述原始数据信息类别对应的所述历史表，根据所述原始数据生成同步日志信息并存储。