CN103870977A - 移动广告平台数据同步方法及其系统 - Google Patents

Abstract

本发明公开了一种移动广告平台数据同步方法及其系统，其中该方法包括：步骤一，移动广告平台数据同步系统监听第一移动广告平台发出的数据更新通知，获取需要同步的数据；步骤二，移动广告平台数据同步系统根据该数据更新通知判断需要同步的数据的类型，根据不同类型对需要同步的数据设置不同的同步策略；步骤三，移动广告平台数据同步系统根据不同类型按照对应的同步策略将需要同步的数据发送至第二移动广告平台，以实现移动广告平台之间的数据同步。本发明能够根据不同的数据类型进行分类数据同步，优化系统资源配置，提高系统响应速度，并可以针对系统的缓存数据进行合理化的数据同步。

Description

移动广告平台数据同步方法及其系统

技术领域

本发明涉及移动广告平台数据同步技术，特别是涉及一种移动广告平台数据同步方法及其系统。

背景技术

现今市面上的广告平台追求的特性主要是：灵活发布、专业审核、精准投放、完善报表、海量投放等，这些特性的实现需要很多基础的技术支持，这其中最重要的是同步数据技术。

现在出现的数据同步技术，主要是针对数据及数据库层面的数据同步，在进行数据同步之前，需要先整理好数据之间的关系和逻辑，再通过复杂的配置，使用同步软件进行同步。但是当其中的一个系统中存在缓存时，数据就无法及时的更新同步了，而且现在出现的数据同步技术不针对数据类型进行区分，导致在同步数据时一视同仁，无法达到最优化的同步性能，从而导致系统出现响应速度慢、可用性差等结果，因此移动广告平台数据同步技术的出现就是为了解决此类问题。

现有的同步技术大多采用数据库数据同步的方式，没有针对数据的不同类型采取相应的同步策略，所有数据一视同仁，这就导致系统出现响应速度慢、可用性差等结果。而且当多个系统中存在缓存时，系统不能够迅速的做出反应，只能等待缓存失效后，用户的数据才能够更新，导致用户体验十分糟糕。现有技术的缺点具体体现在以下几点：

1，绝大多数数据同步技术针对的对象是元数据，未对数据进行分析并分类，导致在数据同步时未加以区分，没有达到按需同步；

2，不支持跨平台；

3，不支持跨存储格式；

4，不支持跨协议；

5，配置繁琐，易用性差；

6，信息时效性差，拖延反应系统整体信息的实际状况；

7，数据交换过程中由于数据格式转换、文件抄写、网络传递等多个环节产生的误差，可能造成数据在各业务系统中的多重版本；

8，通过统一数据平台同时进行大量的数据交换对网络、平台造成压力，影响系统运行；

9，无法同步缓存中的数据。

因此针对如上缺陷，有必要提出一种移动广告平台数据同步方法，来针对不同的数据类型，采取不同的同步方式，提高系统运行效率，极大的改善了系统和用户之间的互动性，用户在移动广告平台中进行设置后，系统能够自动识别用户设置的数据类型，并采取相应的同步数据方式，使用户在第一时间内得到响应，改善了用户体验。

发明内容

本发明的目的在于提供一种移动广告平台数据同步方法及其系统，用于解决现有技术中不能针对数据的不同类型采取相应的同步策略的缺陷。

为了实现上述目的，本发明提供一种移动广告平台数据同步方法，用于实现移动广告平台之间的数据同步，其特征在于，该方法包括：

步骤一，移动广告平台数据同步系统监听第一移动广告平台发出的数据更新通知，获取需要同步的数据；

步骤二，移动广告平台数据同步系统根据该数据更新通知判断需要同步的数据的类型，根据不同类型对需要同步的数据设置不同的同步策略；

步骤三，移动广告平台数据同步系统根据不同类型按照对应的同步策略将需要同步的数据发送至第二移动广告平台，以实现移动广告平台之间的数据同步。

所述的移动广告平台数据同步方法，其中，所述步骤一中，包括：

所述第一移动广告平台以HTTP协议的形式发出该数据更新通知。

所述的移动广告平台数据同步方法，其中，所述步骤三中，包括：

当需要同步的数据的类型为状态类数据和金额类数据，移动广告平台数据同步系统将状态类数据和金额类数据即时同步给所述第二移动广告平台，当需要同步的数据的类型为信息类数据时，将信息类数据延时批量同步给所述第二移动广告平台。

所述的移动广告平台数据同步方法，其中，所述步骤三中，包括：

移动广告平台数据同步系统采用消息队列的方式实现数据同步。

所述的移动广告平台数据同步方法，其中，所述步骤三中，包括：

当数据同步失败时，移动广告平台数据同步系统建立一队列，将失败的同步信息记录到该队列中，并按照一定时间间隔进行多次同步重试处理，若多次同时重试后仍不能同步成功，则记录失败信息，进行灾备方案备份处理，当所述第一移动广告平台的系统正常后，首先恢复灾备方案备份的记录，然后继续执行同步。

所述的移动广告平台数据同步方法，其中，所述第一移动广告平台和/或所述第二移动广告平台包括广告门户、广告管理平台、广告服务平台、运营监控平台、业务统计分析平台之间的数据同步。

为了实现上述目的，本发明提供一种移动广告平台数据同步系统，用于实现移动广告平台之间的数据同步，其特征在于，包括：

通知监听模块，用于监听第一移动广告平台发出的数据更新通知，获取需要同步的数据；

类型判断模块，连接所述通知监听模块，用于根据该数据更新通知判断需要同步的数据的类型；

策略设置模块，连接所述类型判断模块，用于根据不同类型对需要同步的数据设置不同的同步策略；

数据同步模块，连接所述策略设置模块，用于根据需要同步的数据的类型按照对应的同步策略将需要同步的数据发送至第二移动广告平台，以实现移动广告平台之间的数据同步。

所述的移动广告平台数据同步系统，其中，所述第一移动广告平台以HTTP协议的形式发出该数据更新通知。

所述的移动广告平台数据同步系统，其中，所述策略设置模块当需要同步的数据的类型为状态类数据和金额类数据，设置同步策略为即时同步方式；当需要同步的数据的类型为信息类数据时，设置同步策略为延时批量同步方式。

所述的移动广告平台数据同步系统，其中，所述数据同步模块采用消息队列的方式实现数据同步。

所述的移动广告平台数据同步系统，其中，所述数据同步模块当数据同步失败时，建立队列，将失败的同步信息记录到该队列中，并按照一定时间间隔进行多次同步重试处理，若多次同时重试后仍不能同步成功，则记录失败信息，进行灾备方案备份处理，当所述第一移动广告平台的系统正常后，首先恢复灾备方案备份的记录，然后继续执行同步。

所述的移动广告平台数据同步系统，其中，所述第一移动广告平台和/或所述第二移动广告平台包括：广告门户、广告管理平台、广告服务平台、运营监控平台、业务统计分析平台。

与现有技术相比，本发明的有益技术效果在于：

本发明移动广告平台数据同步方法通过简单、灵活的配置，可以实现跨平台、跨应用、跨数据库的数据同步。不同于其他数据同步技术，本发明采用数据类型区分的实现方式，能够根据不同的数据类型进行分类数据同步，优化系统资源配置，提高系统响应速度，并可以针对系统的缓存数据进行合理化的数据同步。本发明可对如下数据类型进行分类数据同步：

(1)信息类：可将信息类数据在系统间高效的同步，由于信息类数据的实时性不是很高，所以针对信息类数据，本发明采用定时批量同步，提高同步的效率，以达到该类数据高效、准确的同步要求。

(2)状态类：可将状态类数据在系统间实时的同步，当状态类数据进行更改后，系统会即时的发送消息给同步数据模块，由同步数据模块即时的在系统之间进行数据的同步，以达到该类数据实时、准确的同步要求。

(3)金额类：可将金额类数据在系统间实时的同步，当金额类数据进行更改后，系统会即时的发送消息给同步数据模块，由同步数据模块即时的在系统之间进行数据的同步，并即时同步系统缓存信息，以达到该类数据实时、高效、准确的同步要求。

本发明针对不同的数据类型，采取不同的同步方式，提高了系统运行效率，极大地改善了系统和用户之间的互动性，用户在移动广告平台中进行设置后，系统能够自动识别用户设置的数据类型，并采取相应的同步数据方式，使用户在第一时间内得到响应，改善了用户体验。

附图说明

图1是本发明的移动广告平台数据同步系统结构图；

图2是本发明的移动广告平台数据同步方法流程图。

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

如图1所示，是本发明的移动广告平台数据同步系统结构图。该系统结构是手机广告平台数据同步系统结构图，下面对该系统结构的各组件的功能进行描述。

本发明移动广告平台数据同步系统（简称数据同步系统20）可以在多个系统和应用之间进行数据的同步，该数据同步系统20使用消息通知机制可以跨平台、跨应用、跨数据库实现数据的同步，并且具有实时同步、灵活配置、简便操作、同步迅捷等优点。

绝大多数的广告平台包括多个子系统，平台的核心数据类型包括了多种数据类型。这些不同的数据类型，对数据同步的要求又是各不相同的。如何能够针对不同的数据类型，在不同的子系统之间进行平滑的数据同步成为了一个关键的问题。

本发明移动广告平台服务器端包含5个主要的子系统：广告门户、广告管理平台、广告服务平台、运营监控平台、业务统计分析平台。在这5个子系统中都使用到数据缓存技术，当其中的一个子系统对数据做了更新后，其他子系统的数据更新就成为了必须解决的问题，为了解决这个问题，提出了移动广告平台数据同步系统20。

在本发明移动广告平台中核心数据包含了以下几种类型：

(1)信息类：包括广告的名称、广告的周期、广告内容等。

(2)状态类：包括广告审批状态、广告状态等。

(3)金额类：包括广告每日预算、总预算、会员账户信息等。

在本发明移动广告平台中核心数据的同步要求：

(1)信息类：由于信息类数据，在系统中的比重较大，数据量较多，因此高效率的同步数据成为了该类信息的重要同步要求。此类数据在系统中的同步要求是高效、准确。

(2)状态类：虽然状态类数据的数据量较小，但是由于状态类数据的更改通常会影响全局系统的运行，所以实时更新是状态类数据的同步要求。此类数据在系统中的同步要求是实时、准确。

(3)金额类：金额类的数据，数据量大，更改频繁，是用户的重要信息，因此此类数据的数据同步要求比较严格，此类数据在系统中的同步要求是实时、高效、准确。

在系统需要数据同步时，由其中一个系统发送同步消息到数据同步系统20，数据同步系统20经过数据类型判断，如果是信息类数据，则更新相应数据信息，等待系统定时自动批量同步，如果是状态或金额类数据，则更新相应数据信息，并主动更新其他系统相关数据内容和缓存信息，从而达到系统间的数据同步。

结合图1所示，该数据同步系统20实现了移动广告平台10、移动广告平台30之间的数据同步，该数据同步系统20具体包括：

通知监听模块21，用于监听移动广告平台10发出的数据更新通知，获取需要同步的数据；

类型判断模块22，连接通知监听模块21，用于根据该数据更新通知判断需要同步的数据的类型；

策略设置模块23，连接类型判断模块22，用于根据不同类型对需要同步的数据设置不同的同步策略；

数据同步模块24，连接策略设置模块23，用于根据需要同步的数据的类型按照对应的同步策略将需要同步的数据发送至移动广告平台30，从而实现移动广告平台10、移动广告平台30之间的数据同步。

进一步地，移动广告平台10以HTTP协议的形式发出数据更新通知。采用HTTP协议可以达到通用的目的，实现跨协议。

进一步地，类型判断模块22解析数据更新通知，得到需要同步的数据的格式，根据格式区分需要同步的数据的类型。

进一步地，策略设置模块23当需要同步的数据的类型为状态类数据和金额类数据，设置同步策略为即时同步方式；当需要同步的数据的类型为信息类数据时，设置同步策略为延时批量同步方式。

进一步地，数据同步模块24采用消息队列的方式实现数据同步。消息队列根据数据的类型分先后传递顺序进行传递，对状态类数据和金额类数据（优先级别高）优先传递，对信息类数据（优先级别低）会延时批量传递。通过进行优先级排序，同步信息的时效性增强。

进一步地，数据同步模块24当数据同步失败时，建立队列，将失败的同步信息记录到该队列中，并按照一定时间间隔进行多次同步重试处理，若多次同时重试后仍不能同步成功，则记录失败信息，进行灾备方案备份处理，当移动广告平台10的系统正常后，首先恢复灾备方案备份的记录，然后继续执行同步。

进一步地，数据同步系统20还设置一消息通道管理模块（图中未示出），用于通过消息通道对消息队列的信息进行管理，对发送方和接收方进行管理，例如：可以添加和删除消息通道中的信息，添加和删除接收方等。

进一步地，数据同步系统20还设置一同步服务管理模块（图中未示出），用于通过同步通信管道提供了一系列的服务，例如：日志功能、灾难备份功能等。

进一步地，移动广告平台10和/或移动广告平台30包括：广告门户、广告管理平台、广告服务平台、运营监控平台、业务统计分析平台。

如图2所示，是本发明的移动广告平台数据同步方法流程图。结合图1，该数据同步方法流程是由数据同步系统20完成的，具体步骤包括：

步骤200，程序开始；

步骤201，监听数据更新通知，判断是否有新的数据更新通知，若存在，本发明移动广告平台数据同步系统20从广告门户和广告管理平台收到数据更新通知，并进入下一步，否则继续监听数据更新通知；

该步骤中，数据更新通知的方式采用HTTP的协议形式，以提高手机广告平台数据同步的适用范围。

步骤202，本发明移动广告平台数据同步系统20，判断更新数据类型，按类别进行区分，类别包含：信息类数据、状态类数据和金额类数据；

该步骤中，数据类型的区分，是按照管理人员在本发明移动广告平台数据同步系统配置的内容进行区分。

步骤203，按照已区分的数据类型，对其分别采用不同的同步策略，将状态类数据和金额类数据即时同步给监听者（广告服务平台等），将信息类数据延时批量同步给监听者（广告服务平台等）。当需要同步其他系统的缓存时，本发明移动广告平台数据同步方法会调用缓存同步模块，将需要同步的缓存取出，并更新相应的缓存信息。

该步骤中，以上只是描述了默认的同步策略，该方法的另一个优点就是，可以灵活配置各种数据类型的同步策略，也可以混合使用同步策略。

步骤204，判断数据同步是否成功，若同步成功，进入下一步骤，若同步失败，本发明移动广告平台数据同步系统20会建立一个队列，将失败的同步信息记录到队列中，由另外的程序进行多次同步重试（由系统自动执行，执行方式按照一定时间间隔执行），如果多次重试后还不能同步成功，则将失败信息记录下来，进行灾备方案备份处理，并调用该移动广告平台数据同步系统20的消息通知模块25，通知系统管理人员同步失败。当移动广告平台数据同步系统监听到数据同步可以正常执行后，首先恢复灾备方案备份的记录，然后继续执行数据同步。这样就保证了同步异常时的数据的准确性，不会出现由于意外原因导致的数据丢失情况。关于多次同步的次数、时间间隔等信息可以在本发明移动广告平台数据同步系统20中配置。

步骤205，将成功的同步信息，在日志中记录下来，程序结束。

本发明提出的移动广告平台中所使用的数据同步技术（包括协议、实现架构等相关技术），数据同步技术可以在多个后台系统之间进行数据同步，同步的数据不仅包括数据库中的持久化内容，还包括系统缓存中的数据信息，该技术易于理解和使用，采用跨协议的消息通知机制，并且支持跨平台、跨协议、跨存储格式。

本发明提出的移动广告平台数据同步方法，将不同系统之间的同步数据问题提取出来并进行有效解决，将系统之间的数据同步操作变得灵活、简化，将数据同步所产生的不良影响（如：系统响应缓慢、可用性差等）消除或减小到最低水平，将数据同步的适用范围提高到跨平台、跨应用、跨协议、跨存储格式的高度。

本发明可以减化数据同步时的操作步骤，具有同步异常处理机制。当采用该技术后，复杂的数据同步可以变得简单、可控，减少了系统维护的工作量，提高了系统的响应速度，加强了用户的体验，使系统的可用性得到大幅的提升。本发明移动广告平台数据同步方法的主要优点包括：

1，可以对数据进行分析并分类，根据不同的数据类型进行不同方式的同步，真正达到按需同步；

2，支持跨平台；

3，支持跨存储格式；

4，支持跨协议；

5，配置简单，易于使用，减少了系统维护的工作量；

6，信息时效性强，实时的反映系统整体信息的实际状况；

7，支持灾备恢复，当数据同步系统或其他系统发生重大故障后，该技术可以恢复设备的数据，使所有同步的系统数据保持一致性；

8，该技术耗费资源小，且单独架设，真正实现了对原系统的“零影响”；

9，可以同步各系统缓存中的数据。

本发明已经实际地应用于移动广告平台，借助loadrunner等测试软件，关于数据同步性能方面，通过以下几项测试：

1）在单机测试服务器上，借助loadrunner模拟2万个用户，连续7×24小时的不间断运行，运行过程中无任何异常现象出现；

2）负载及压力测试，借助loadrunner模拟200个并发，连续同步数据1000000次，运行过程中无任何异常现象出现；

3）同步数据异常后，记录并恢复灾备数据，运行过程中无任何异常现象出现。

移动广告平台数据同步技术已经在线运营，经过用户的实际使用。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (12)

1.一种移动广告平台数据同步方法，用于实现移动广告平台之间的数据同步，其特征在于，该方法包括：

步骤一，移动广告平台数据同步系统监听第一移动广告平台发出的数据更新通知，获取需要同步的数据；

步骤二，移动广告平台数据同步系统根据该数据更新通知判断需要同步的数据的类型，根据不同类型对需要同步的数据设置不同的同步策略；

步骤三，移动广告平台数据同步系统根据不同类型按照对应的同步策略将需要同步的数据发送至第二移动广告平台，以实现移动广告平台之间的数据同步。

2.根据权利要求1所述的移动广告平台数据同步方法，其特征在于，所述步骤一中，包括：

所述第一移动广告平台以HTTP协议的形式发出该数据更新通知。

3.根据权利要求1所述的移动广告平台数据同步方法，其特征在于，所述步骤三中，包括：

当需要同步的数据的类型为状态类数据和金额类数据，移动广告平台数据同步系统将状态类数据和金额类数据即时同步给所述第二移动广告平台，当需要同步的数据的类型为信息类数据时，将信息类数据延时批量同步给所述第二移动广告平台。

4.根据权利要求1、2或3所述的移动广告平台数据同步方法，其特征在于，所述步骤三中，包括：

移动广告平台数据同步系统采用消息队列的方式实现数据同步。

5.根据权利要求1、2或3所述的移动广告平台数据同步方法，其特征在于，所述步骤三中，包括：

当数据同步失败时，移动广告平台数据同步系统建立一队列，将失败的同步信息记录到该队列中，并按照一定时间间隔进行多次同步重试处理，若多次同时重试后仍不能同步成功，则记录失败信息，进行灾备方案备份处理，当所述第一移动广告平台的系统正常后，首先恢复灾备方案备份的记录，然后继续执行同步。

6.根据权利要求1、2或3所述的移动广告平台数据同步方法，其特征在于，所述第一移动广告平台和/或所述第二移动广告平台包括广告门户、广告管理平台、广告服务平台、运营监控平台、业务统计分析平台之间的数据同步。

7.一种移动广告平台数据同步系统，用于实现移动广告平台之间的数据同步，其特征在于，包括：

通知监听模块，用于监听第一移动广告平台发出的数据更新通知，获取需要同步的数据；

类型判断模块，连接所述通知监听模块，用于根据该数据更新通知判断需要同步的数据的类型；

策略设置模块，连接所述类型判断模块，用于根据不同类型对需要同步的数据设置不同的同步策略；

数据同步模块，连接所述策略设置模块，用于根据需要同步的数据的类型按照对应的同步策略将需要同步的数据发送至第二移动广告平台，以实现移动广告平台之间的数据同步。

8.根据权利要求7所述的移动广告平台数据同步系统，其特征在于，所述第一移动广告平台以HTTP协议的形式发出该数据更新通知。

9.根据权利要求7所述的移动广告平台数据同步系统，其特征在于，所述策略设置模块当需要同步的数据的类型为状态类数据和金额类数据，设置同步策略为即时同步方式；当需要同步的数据的类型为信息类数据时，设置同步策略为延时批量同步方式。

10.根据权利要求7、8或9所述的移动广告平台数据同步系统，其特征在于，所述数据同步模块采用消息队列的方式实现数据同步。

11.根据权利要求7、8或9所述的移动广告平台数据同步系统，其特征在于，所述数据同步模块当数据同步失败时，建立队列，将失败的同步信息记录到该队列中，并按照一定时间间隔进行多次同步重试处理，若多次同时重试后仍不能同步成功，则记录失败信息，进行灾备方案备份处理，当所述第一移动广告平台的系统正常后，首先恢复灾备方案备份的记录，然后继续执行同步。

12.根据权利要求7、8或9所述的移动广告平台数据同步系统，其特征在于，所述第一移动广告平台和/或所述第二移动广告平台包括：广告门户、广告管理平台、广告服务平台、运营监控平台、业务统计分析平台。

Images