CN104519103B - 网络数据的同步处理方法、服务器及相关系统 - Google Patents

Abstract

本申请公开了网络数据的同步处理方法、服务器及相关系统，包括：利用数据库层的文件复制操作，从数据源服务器的数据库同步源数据到本地数据库；针对同步到本地数据库的所述数据，执行物化视图刷新，其中针对每个视图采用原子刷新方式；根据本地数据库的数据，进行业务逻辑计算；存储所述业务逻辑计算结果，并将所述业务逻辑计算结果同步给业务服务器。利用本发明，可以提高对网络数据的传输效率和处理效率，提升计算机的数据处理性能。

Description

网络数据的同步处理方法、服务器及相关系统

技术领域

本申请涉及数据处理设备的数据处理技术领域，尤其涉及一种网络数据的同步处理方法、服务器及相关系统。

背景技术

互联网数据系统中，由于需要处理海量的数据，因此对于网络数据系统架构的搭建以及数据处理方式有了特殊的要求，即要求占用的资源尽量少，处理数据的效率要尽量高。

如图1是一种网络媒介信息处理系统的架构及数据处理流转示意图。网络媒介信息是一种在互联网系统的各种展示形式（如网页、客户端界面等）上发布的以数字代码为载体的各种信息。通常的网络媒介信息都对应有目标网页，用户点击了网络媒介信息即可跳转到对应的目标网页，目标网页的内容就会展现在用户面前。网络媒介信息处理展示技术最近几年发展非常迅猛，已经应用到许多产业领域。例如在互联网的广告处理展示领域中，所述互联网广告就是一种网络媒介信息。网络媒介信息处理展示技术中的一种主要技术是网络媒介信息投放控制技术。

如何有效地向特定的受众投放展示网络媒介信息，并对所展示的信息进行有效的管理，往往需要进行大量的数据统计、存储和数据计算，需要合理的网络数据系统架构以及数据处理方式。

如图1所示，其中商业智能（BI，Business Intelligence）服务器101是一种数据源服务器，用于从网络的上游系统中搜集广告数据、订单数据、客户数据、点击曝光等效果数据等等。所述网络媒介信息运营分析工具系统（BB）备机102是一种数据计算服务器，用于从BI服务器101每天全量同步数据，然后执行例行任务（JOB），刷新物化视图，基于BI服务器同步来的源数据进行BB业务相关的业务逻辑计算，完毕后将计算结果同步到所述BB主机103。所述BB主机103为一种业务服务器，用于运行多个业务程序，由于会存在业务争抢资源的情况，所有将BB的业务逻辑计算部分分离出来在专门BB备机102上进行计算，而BB主机103只用于响应用户请求。另外，还进一步设置WEB服务器104，用于将所有业务模块生成文件缓存，每天更新一次，用户请求先到达该WEB服务器104，从该WEB服务器104的缓存中查询请求结果，如果缓存未命中请求结果时再请求BB主机。另外，系统中还可以设置预览服务器105，用于同步BB备机102的数据，进行同步预览，用于迭代测试，其中设置预览数据同步开发环境，在迭代开始时执行，开发机器106可以在该开发环境中进行程序开发。

现有技术中，在海量数据环境下，通常采用甲骨文（ORACLE）数据库，且所述BI服务器101和BB备机102之间的数据同步采用开源软件KETTLE。KETTLE是一款基于JAVA的工具，主要用来完成数据抽取、转换、加载等工作（即ETL，Extraction-Transformation-Loading）。KETTLE是开源软件，入门门槛低，所以被广泛使用。Kettle为基于JAVA语言编写的软件，同时也基于可扩展标记语言（XML，Extensible Markup Language)，其模式是基于工作流的模式，分为ktr和kjb文件，即转换文件和任务文件，会指定连接的源端和目的端，以及各个操作步骤的前后顺序，执行原理是将从源端查询出源数据，将源数据放到临时表中，继而再插入到目的端数据库的目标表中，这样的操作在大数据量的情况下，会导致数据库网络传输量变的很大，影响同步数据的效率；另外，传输的过程是基于oracle的java数据库连接（JDBC，JavaDataBaseConnectivity），JDBC是一种用于执行SQL语句的Java应用程序编程接口（API），可以为多种关系数据库提供统一访问。但是oracle的JDBC在大数据量的时候，出现Java虚拟机内存泄漏（jvm core dump）的几率会变大，会分配使用大量的内存，会导致任务执行慢，数据同步效率低的问题。同时，现有技术的BB备机102在进行数据处理计算的过程中，采用的是较为基础的数据处理模式，效率低下，无法最大程度地发挥机器性能。

发明内容

有鉴于此，本发明的主要目的是提供一种网络数据的同步处理方法和服务器，以提高对网络数据的传输效率和处理效率，提升计算机的数据处理性能。

本发明的再一目的是提供一种网络媒介信息处理系统，以提高网络媒介信息处理系统对网络数据的传输效率和处理效率，提升网络媒介信息处理系统的数据处理性能。

本发明的技术方案是这样实现的：

一种网络数据的同步处理方法，包括：

利用数据库层的文件复制操作，从数据源服务器的数据库同步源数据到本地数据库；

针对同步到本地数据库的所述数据，执行物化视图刷新，其中针对每个视图采用原子刷新方式；

根据本地数据库的数据，进行业务逻辑计算；

存储所述业务逻辑计算结果，并将所述业务逻辑计算结果同步给业务服务器。一种数据计算服务器，包括：

第一同步模块，用于利用数据库层的文件复制操作，从数据源服务器的数据库同步源数据到本地数据库；

物化模块，用于针对同步到本地数据库的所述数据，执行物化视图刷新，其中针对每个视图采用原子刷新方式；

计算模块，用于根据本地数据库的数据，进行业务逻辑计算；

存储模块，用于存储所述业务逻辑计算结果;

第二同步模块，用于将所述业务逻辑计算结果同步给业务服务器。

一种网络媒介信息处理系统，包括：商业智能BI服务器、网络媒介信息运营分析工具系统BB主机，所述BI服务器用于提供网络媒介信息的源数据；所述BB主机用于响应用户请求，从所述BB备机读取请求的数据；该网络媒介信息处理系统还包括BB备机，该BB备机包括上述的数据计算服务器；其中，所述BI服务器为所述数据源服务器，所述BB主机为所述业务服务器。

与现有技术相比，本发明在同步数据时，在数据源服务器的数据库和本地数据库之间，采用数据库层的文件复制操作进行数据同步，而不是采用现有的外部工具的方式进行数据同步，数据不必再经过中间的临时表，而是实现端对端的数据库文件复制操作，提高了数据传输效率；同时在本地数据库对每个视图采用原子刷新方式进行物化视图刷新，从而可以避免有个别视图刷新失败导致整个物化视图刷新过程失败的问题，提升了数据的处理效率。

附图说明

图1为一种网络媒介信息处理系统的架构及数据处理流转示意图；

图2为本发明所述网络数据的同步处理方法的一种流程图；

图3为本发明所述数据计算服务器的一种组成示意图；

图4为本发明所述一种网络媒介信息处理系统的组成示意图；

图5为所述网络媒介信息处理系统的又一种组成示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图2为本发明所述网络数据的同步处理方法的一种流程图，参见图2，该方法主要包括：

步骤201、利用数据库层的文件复制操作，从数据源服务器的数据库同步源数据到本地数据库。

在一种具体实施方式中，在如图1所示网络媒介信息处理系统的架构中，所述数据源服务器例如可以是图1中所述的BI服务器，本发明的方法主要由图1中的BB备机执行，本发明方法中的本地就是指BB备机。在BI服务器上和BB备机上都安装有数据库，例如常用的ORACLE数据库或微软的SQLServer数据库等。

如果所述数据源服务器的数据库和本地数据库上安装ORACLE数据库，则在一种具体实施方式中，所述数据库层的文件复制操作为：ORACLE数据库的DBlink数据同步操作。所述DBlink数据同步方式是指：当用户要跨本地数据库，访问另外一个数据库表中的数据时，本地数据库中必须创建了远程数据库的dblink，通过dblink本地数据库可以像访问本地数据库一样访问远程数据库表中的数据。所述dblink是一个数据库到另一个数据库的路径的对象，dblink允许用户查询远程表及执行远程程序,由于避免了中间临时表的数据中转，因此速度优于现有技术所采用的KETTLE方式，提高了网络数据的传输效率。

微软的SQL Server数据库也有DBlink的同步操作方式，其功能和ORACLE数据库中DBlink类似。因此在另一种实施例中，所述数据库为SQLServer数据库，所述数据库层的文件复制操作为：SQL Server数据库的DBlink数据同步操作。

如果所述数据源服务器的数据库和本地数据库上安装ORACLE数据库，则在另一种具体实施方式中，所述数据库层的文件复制操作为：ORACLE数据库的数据泵的同步操作。所述数据泵的同步方式是ORACLE数据库的一种同步机制，类似从数据库的数据文件级别进行端到端的拷贝，是ORACLE数据库提供的更新、更快、更灵活的数据导入、导出工具，由于避免了中间临时表的数据中转，因此其速度也优于现有技术所采用的KETTLE方式。

另外，在另一种具体实施例中，在进行所述数据同步时，还可以进一步包括：按照业务类型设置各业务源数据的同步时序，在同一时间只同步一个业务类型的源数据。这是因为，数据源服务器的下游系统有很多，为防止同一时间数据源服务器的负载压力过大，所以设置时序来保证同一时间拉取数据的下游业务只有一个，从而可以进一步保证数据源服务器的稳定性。

步骤202、针对同步到本地数据库的所述数据，执行物化视图刷新，其中针对每个视图采用原子刷新方式。

所述视图是指：计算机数据库中的虚拟表，其内容由查询定义。同真实的表一样，视图包含一系列带有名称的列和行数据。但是，视图并不在数据库中以存储的数据值集形式存在。行和列数据来自由定义视图的查询所引用的表，并且在引用视图时动态生成。

所述物化视图是指：用于预先计算并保存表连接或聚集等耗时较多的操作的结果，这样，在执行查询时，就可以避免进行这些耗时的操作，从而快速的得到结果。物化视图有很多方面和索引很相似：使用物化视图的目的是为了提高查询性能；物化视图对应用透明，增加和删除物化视图不会影响应用程序中SQL语句的正确性和有效性；物化视图需要占用存储空间；当基表发生变化时，物化视图也应当刷新。

所述物化视图的原子刷新方式是指：在刷新一组物化视图的时候，整个刷新作为一个事物，如果其中一个物化视图刷新失败，那么这一组物化视图都不会刷新。即一个物化视图刷新失败了不影响其它的提交，可以解决之前有个别视图刷新失败导致整个物化视图刷新过程失败的问题，从而可以提升数据的处理效率。

步骤203、根据本地数据库的数据，进行业务逻辑计算。

在所述BB备机进行业务逻辑计算时，本发明还可以具体采用以下几种优选实施例中的优选方式进一步提高在进行业务逻辑计算时的处理效率，提高本地计算机的数据处理性能。

在一种优选实施例中，在进行业务逻辑计算时，该方法进一步包括：将本地数据库的运行模式设置为非归档模式。

例如对于ORACLE数据库来说，Oracle数据库有联机重做日志，这个日志是记录对数据库所做的修改，比如插入，删除，更新数据等，对这些操作都会记录在联机重做日志里。一般数据库至少要有2个联机重做日志组。当一个联机重做日志组被写满的时候，就会发生日志切换，这时联机重做日志组2成为当前使用的日志，当联机重做日志组2写满的时候，又会发生日志切换，去写联机重做日志组1，就这样反复进行。

如果数据库处于非归档模式，联机日志在切换时就会丢弃.而在归档模式下，当发生日志切换的时候，被切换的日志会进行归档。比如，当前在使用联机重做日志1，当1写满的时候，发生日志切换，开始写联机重做日志2，这时联机重做日志1的内容会被拷贝到另外一个指定的目录下。这个目录叫做归档目录，拷贝的文件叫归档重做日志。

由于oracle数据库本身的日志机制很完善，会写入很多日志，一定程度上影响机器性能，故将该数据库的运行模式更改为非归档模式，就可以大幅度减少日志写入，提升数据库计算机的数据处理性能。

当然，如果采用的是其它数据库，其工作模式也划分为归档模式和非归档模式，在本实施例中对于其它数据库，也可以将其运行模式设置为非归档模式。

在另一种优选实施例中，在所述进行业务逻辑计算时，该方法进一步包括：确定本地计算设备的CPU核数n，分配CPU中的n-1个核用于并行进行所述业务逻辑计算。

采用本实施例，从而可以在CPU层面，从现有技术的单核计算，改成本发明的多核并行计算，基于目前服务器的多核特性，采用核数减1的并行度方案来完成并行查询和插入的计算，实验数据标明，本地计算设备的执行性能提升30%，另外一个空余的核来保证CPU各个核的时序及统筹安排资源。具体的分配CPU核数的方法，可以采用结构化查询语言（SQL，Structured Query Language）语句，通过相应的SQL指令对本地数据库进行设置分配，使得CPU的n-1个核用于数据库的并行业务逻辑计算。

步骤204、存储所述业务逻辑计算结果，并将所述业务逻辑计算结果同步给业务服务器。

在一种优选的实施例中，本步骤中所述存储所述业务逻辑计算结果，具体包括：

a、令数据库表中的索引失效；

b、向数据库表中插入所述业务逻辑计算结果数据；

c、插入完毕后重新建立数据库表的索引。

之所以采用本实施例的存储方式，是因为在向数据库表中插入数据时，去同步更新数据库表的索引要比重建索引更会消耗存储器上的输入输出（IO）资源，因此采用本实施例的方法，可以降低对在本地数据计算服务器的存储器上的IO资源的消耗，从而可以进一步提高本地数据计算机服务器的数据处理效率和性能。

在存储万所述业务逻辑计算结果之后，可将所述业务逻辑计算结果同步给业务服务器，业务服务器如图1所述的BB主机103。

与上述方法对应，本发明还公开了一种数据计算服务器，在一种具体实施例中，例如在如图1所示网络媒介信息处理系统的架构中，本发明所述的数据计算服务器为图1所示的BB备机，所述数据源服务器例如可以是图1中所述的BI服务器，所述业务服务器可以是图1中所述的BB主机。

图3为本发明所述数据计算服务器的一种组成示意图。参见图3，该数据计算服务器300具体包括：

第一同步模块301，用于利用数据库层的文件复制操作，从数据源服务器的数据库同步源数据到本地数据库。

物化模块302，用于针对同步到本地数据库的所述数据，执行物化视图刷新，其中针对每个视图采用原子刷新方式。

计算模块303，用于根据本地数据库的数据，进行业务逻辑计算。

存储模块304，用于存储所述业务逻辑计算结果。

第二同步模块305，用于将所述业务逻辑计算结果同步给业务服务器。

在一种优选实施例中，所述数据库为ORACLE数据库，所述第一同步模块301所用的数据库层的文件复制操作为：ORACLE数据库的DBlink数据同步操作。所述dblink是一个数据库到另一个数据库的路径的对象，由于避免了中间临时表的数据中转，因此速度优于现有技术所采用的KETTLE方式，提高了网络数据的传输效率。

在另一种优选实施例中，所述数据库为ORACLE数据库，所述第一同步模块301所用的数据库层的文件复制操作为：ORACLE数据库的数据泵的同步操作。数据泵是ORACLE数据库提供的更新、更快、更灵活的数据导入、导出工具，由于避免了中间临时表的数据中转，因此其速度也优于现有技术所采用的KETTLE方式。

在一种优选实施例中，所述第一同步模块301进一步用于：按照业务类型设置各业务源数据的同步时序，在同一时间只同步一个业务类型的源数据。通过这种设置，可以通过设置时序来保证同一时间拉取数据的下游业务只有一个，从而可以进一步保证数据源服务器的稳定性。

在一种优选实施例中，所述计算模块303进一步用于：在进行业务逻辑计算时，将本地数据库的运行模式设置为非归档模式，从而可以进一步提高数据计算服务器300的数据处理效率。

具体的，在采用ORACLE的实施例中，由于oracle数据库本身的日志机制很完善，会写入很多日志，一定程度上影响机器性能，故将该数据库的运行模式更改为非归档模式，就可以大幅度减少日志写入，提升数据库计算机的数据处理性能。

当然，如果实施例中采用的是其它数据库，其工作模式也划分为归档模式和非归档模式，在本实施例中对于其它数据库，也可以将其运行模式设置为非归档模式。

在一种优选实施例中，所述计算模块303进一步用于：在进行业务逻辑计算时，确定本地计算设备的CPU核数n，分配CPU中的n-1个核用于并行进行所述业务逻辑计算。通过这种CPU核数的并行计算，可以进一步提高数据计算服务器300的数据处理效率。

在一种优选实施例中，所述存储模块304具体用于：令数据库表中的索引失效；向数据库表中插入所述业务逻辑计算结果数据；插入完毕后重新建立数据库表的索引。存储模块304之所以采用本实施例的存储方式，是因为在向数据库表中插入数据时，去同步更新数据库表的索引要比重建索引更会消耗存储器上的输入输出（IO）资源，因此采用本实施例，可以降低对在本地数据计算服务器300的存储器上的IO资源的消耗，从而可以进一步提高本数据计算服务器300的数据处理效率和性能。

在存储万所述业务逻辑计算结果之后，可将所述业务逻辑计算结果同步给业务服务器，业务服务器如图1所述的BB主机103。

本发明还公开了一种网络媒介信息处理系统，如图4所示，该系统至少包括：商业智能（BI）服务器401、网络媒介信息运营分析工具系统（BB）主机403，所述BI服务器401用于提供网络媒介信息的源数据；所述BB主机403用于响应用户请求，从所述BB备机读取请求的数据；

如图4所示，所述处理系统还包括BB备机402，该BB备机402包括上述数据计算服务器300的任一项实施例所述的数据计算服务器；其中，所述BI服务器401为所述数据源服务器，所述BB主机403为所述业务服务器。

图5为所述网络媒介信息处理系统的又一种组成示意图，参见图5，在该实施例中，该处理系统还进一步包括：

WEB服务器404，用于将BB主机的数据缓存在本地，用户请求先到达该WEB服务器，该WEB服务器从本地的缓存中查询请求结果，如果缓存命中请求结果则将请求结果返回给用户，如果缓存未命中请求结果时请求BB主机查询请求结果。这样可以缓解BB主机403的访问压力。

在进一步的实施例中，该处理系统还可以进一步包括：预览服务器405，用于同步所述BB备机的数据，进行同步预览和迭代测试，其中设置预览数据同步开发环境，在迭代开始时执行，开发机器406可以在该开发环境中进行程序开发。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述各实施例的功能模块可以位于一个终端或网络节点，或者也可以分布到多个终端或网络节点上。

另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备（如硬盘和或内存）中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质（如纸带等）、磁存储介质（如软盘、硬盘、闪存等）、光存储介质（如CD-ROM等）、磁光存储介质（如MO等）等。

因此本发明还公开了一种存储介质，其中存储有数据处理程序，该数据处理程序用于执行本发明上述方法的任何一种实施例。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (17)

1.一种网络数据的同步处理方法，其特征在于，包括：

利用数据库层的文件复制操作，从数据源服务器的数据库同步源数据到本地数据库；

针对同步到本地数据库的所述数据，执行物化视图刷新，其中针对每个视图采用原子刷新方式；

根据本地数据库的数据，进行业务逻辑计算；

存储所述业务逻辑计算结果，并将所述业务逻辑计算结果同步给业务服务器。

2.根据权利要求1所述的方法，其特征在于，所述数据库为ORACLE数据库或SQL Server数据库，所述数据库层的文件复制操作为：ORACLE数据库或SQL Server数据库的DBlink数据同步操作。

3.根据权利要求1所述的方法，其特征在于，所述数据库为ORACLE数据库，所述数据库层的文件复制操作为：ORACLE数据库的数据泵的同步操作。

4.根据权利要求1所述的方法，其特征在于，在进行文件复制操作时，进一步包括：

按照业务类型设置各业务源数据的同步时序，在同一时间只同步一个业务类型的源数据。

5.根据权利要求1所述的方法，其特征在于，所述进行业务逻辑计算时，该方法进一步包括：

将本地数据库的运行模式设置为非归档模式。

6.根据权利要求1所述的方法，其特征在于，所述进行业务逻辑计算时，该方法进一步包括：

确定本地计算设备的CPU核数n，分配CPU中的n-1个核用于并行进行所述业务逻辑计算。

7.根据权利要求1所述的方法，其特征在于，所述存储所述业务逻辑计算结果，具体包括：

令数据库表中的索引失效；

向数据库表中插入所述业务逻辑计算结果数据；

插入完毕后重新建立数据库表的索引。

8.一种数据计算服务器，其特征在于，包括：

第一同步模块，用于利用数据库层的文件复制操作，从数据源服务器的数据库同步源数据到本地数据库；

物化模块，用于针对同步到本地数据库的所述数据，执行物化视图刷新，其中针对每个视图采用原子刷新方式；

计算模块，用于根据本地数据库的数据，进行业务逻辑计算；

存储模块，用于存储所述业务逻辑计算结果；

第二同步模块，用于将所述业务逻辑计算结果同步给业务服务器。

9.根据权利要求8所述的服务器，其特征在于，所述数据库为ORACLE数据库或SQLServer数据库，所述第一同步模块所用的数据库层的文件复制操作为：ORACLE数据库或SQLServer数据库的DBlink数据同步操作。

10.根据权利要求8所述的服务器，其特征在于，所述数据库为ORACLE数据库，所述第一同步模块所用的数据库层的文件复制操作为：ORACLE数据库的数据泵的同步操作。

11.根据权利要求8所述的服务器，其特征在于，所述第一同步模块进一步用于：按照业务类型设置各业务源数据的同步时序，在同一时间只同步一个业务类型的源数据。

12.根据权利要求8所述的服务器，其特征在于，所述计算模块进一步用于：在进行业务逻辑计算时，将本地数据库的运行模式设置为非归档模式。

13.根据权利要求8所述的服务器，其特征在于，所述计算模块进一步用于：在进行业务逻辑计算时，确定本地计算设备的CPU核数n，分配CPU中的n-1个核用于并行进行所述业务逻辑计算。

14.根据权利要求8所述的服务器，其特征在于，所述存储模块具体用于：令数据库表中的索引失效；向数据库表中插入所述业务逻辑计算结果数据；插入完毕后重新建立数据库表的索引。

15.一种网络媒介信息处理系统，包括：商业智能BI服务器、网络媒介信息运营分析工具系统BB主机，所述BI服务器用于提供网络媒介信息的源数据；所述BB主机用于响应用户请求，从BB备机读取请求的数据；

其特征在于，还包括BB备机，该BB备机包括如权利要求8至14任一项所述的数据计算服务器；其中，所述BI服务器为所述数据源服务器，所述BB主机为所述业务服务器。

16.根据权利要求15所述的系统，其特征在于，该系统还进一步包括：

WEB服务器，用于将BB主机的数据缓存在本地，用户请求先到达该WEB服务器，该WEB服务器从本地的缓存中查询请求结果，如果缓存命中请求结果则将请求结果返回给用户，如果缓存未命中请求结果时请求BB主机查询请求结果。

17.根据权利要求16所述的系统，其特征在于，该系统还进一步包括：

预览服务器，用于同步所述BB备机的数据，进行同步预览和迭代测试。