CN105871815A - 一种数据传输方法及装置 - Google Patents

Abstract

本发明涉及通信领域，提供了一种数据传输方法及装置，其中，该方法包括：从第一站点接收第一数据；获取第二站点的数据处理协议；根据该数据处理协议将从第一站点接收到的第一数据发送至第二站点；其中，该数据处理协议为第二站点配置的接收来自第一站点的数据的协议，即通过数据处理协议可以实现数据在多站点之间的传输，而不需要更改原始程序代码。通过本发明解决了现有技术中需要对原始的程序代码进行变更才能实现数据在不同站点的传输，编程难度较高，调试运行复杂的问题，从而提高了多站点之间进行数据传输的效率和准确率。

Description

一种数据传输方法及装置

技术领域

本发明涉及通信领域，具体涉及一种数据传输方法及装置。

背景技术

数据的传输过程(例如：视频数据、专辑数据等)往往需要在多个站点之间进行，然而站点与站点之间对数据的传输方式并不相同，例如海外站点数据运营方式与中国站点是不同的，美国站点的数据内容在中国站点是不可见的，其数据库也是单独部署的，而且海外不同站点对于同步的数据要求也不一样。

针对上述现象，当数据在不同站点进行传输时，需要对数据处理协议进行变更。在现有技术中，对数据处理协议的变更需要对原始的程序代码进行更改，每次代码的更新都需要进行版本调试等操作，编程难度较高，调试运行复杂。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中需要对原始的程序代码进行变更才能实现数据在不同站点的传输，编程难度较高，调试运行复杂的问题，从而提供了一种数据传输方法及装置。

根据本发明的一个方面，提供了一种数据传输方法，包括：从第一站点接收第一数据；获取第二站点的数据处理协议；根据所述数据处理协议将所述第一数据发送至所述第二站点；其中，所述数据处理协议为所述第 二站点配置的接收来自所述第一站点的数据的协议。

可选地，从第一站点接收第一数据包括：通过消息中间件从所述第一站点接收第二数据；对所述第二数据进行解析，得到解析结果；根据所述解析结果通过所述消息中间件从所述第一站点接收所述第一数据。

可选地，获取第二站点的数据处理协议包括：从数据库中查询所述第二站点的数据处理协议；其中，所述数据库存储有各个站点对数据进行传输的协议。

可选地，在所述第二站点接收到所述第一数据之后包括：每隔第一预定时间通过比较器检测所述第一数据是否正确，在判断结果是否的情况下，再次将所述第一数据同步至所述第二站点；或者，每隔第二预定时间判断所述第一数据是否分发异常，在判断结果为是的情况下，再次将所述第一数据分发至所述第二站点。

可选地，所述数据处理协议包括以下至少之一：数据源配置信息、消息队列MQ配置信息、数据分发规则、数据同步规则、对指定数据进行指定处理的规则。

根据本发明的另一个方面，还提供了一种数据传输装置，包括：接收模块，用于从第一站点接收第一数据；获取模块，用于获取第二站点的数据处理协议；发送模块，用于根据所述数据处理协议将从所述第一站点接收到的所述第一数据发送至所述第二站点；其中，所述数据处理协议为所述第二站点配置的接收来自所述第一站点的数据的协议。

可选地，所述接收模块包括：第一接收单元，用于通过消息中间件从所述第一站点接收第二数据；解析单元，用于对所述第二数据进行解析，得到解析结果；第二接收单元，用于根据所述解析结果通过所述消息中间件从所述第一站点接收所述第一数据。

可选地，所述获取模块还用于从数据库中查询所述第二站点的数据处理协议；其中，所述数据库存储有各个站点对数据进行传输的协议。

可选地，所述装置还包括：第一处理模块，用于在所述第二站点接收到所述第一数据之后，每隔第一预定时间通过比较器检测所述第一数据是否正确，在判断结果是否的情况下，再次将所述第一数据同步至所述第二站点；或者，第二处理模块，用于在所述第二站点接收到所述第一数据之后，每隔第二预定时间判断所述第一数据是否分发异常，在判断结果为是的情况下，再次将所述第一数据分发至所述第二站点。

可选地，所述数据处理协议包括以下至少之一：数据源配置信息、消息队列MQ配置信息、数据分发规则、数据同步规则、对指定数据进行指定处理的规则。

通过本发明实施例，采用从第一站点接收第一数据；获取第二站点的数据处理协议；根据该数据处理协议将从第一站点接收到的第一数据发送至第二站点；其中，该数据处理协议为第二站点配置的接收来自第一站点的数据的协议。即，每接收一次数据，只需要根据第二站点配置的数据处理协议编写配置信息，如配置文件或配置脚本等，不需要进行代码的调试，相比于现有技术中，数据在不同站点传输的过程中，每接收一次数据，都 需要对站点的原始程序代码如JAVA代码进行更改和调试，才能得到此次数据的处理方式，，本发明解决了现有技术中需要对原始的程序代码进行变更才能实现数据在不同站点的传输，编程难度较高，调试运行复杂的问题，从而提高了多站点之间进行数据传输的效率和准确率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的数据传输方法的一个流程图；

图2是根据本发明实施例的数据传输方法的另一个流程图；

图3是根据本发明实施例的数据传输装置的结构框图；

图4是根据本发明实施例的接收模块的一个结构框图；

图5是根据本发明实施例的接收模块的另一个结构框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

实施例1

在本实施例中提供了一种数据传输方法，如图1所示，该流程包括如下步骤：

步骤S102，从第一站点接收第一数据；

步骤S104，获取第二站点的数据处理协议；

步骤S106，根据该数据处理协议将从第一站点接收到的第一数据发送至第二站点；其中，该数据处理协议为第二站点配置的接收来自第一站点的数据的协议。

通过上述步骤，第一站点在将数据分发到第二站点的过程中，第一站点可以根据第二站点配置的数据处理协议将数据分发至第二站点，每接收一次数据，只需要根据第二站点配置的数据处理协议编写配置信息，如配置文件或配置脚本等，不需要进行代码的调试，相比于现有技术中，数据在不同站点传输的过程中，每接收一次数据，都需要对站点的原始程序代码如JAVA代码进行更改和调试，才能得到此次数据的处理方式，上述步骤解决了现有技术中需要对原始的程序代码进行变更才能实现数据在不同站点的传输，编程难度较高，调试运行复杂的问题，从而提高了多站点之间进行数据传输的效率和准确率。

在一个具体的可选实施例中，提供了各个站点的配置数据处理协议的 方法，通过根据第二站点中数据处理的方式来动态调整第一站点的配置，从而进行数据的处理和分发。本实施例中主要通过技术栈来对第一站点的配置进行动态调整，其中，技术栈主要包括：swiftq消息队列组件(支持点对点，广播消息方式)，Spring动态注入技术，Mybatis数据库持久化技术构架。基于上述技术以及定制开发的注册器，能够非常灵活的支持多站点不同处理方式的数据的处理和分发。

上述步骤S102中涉及到从第一站点接收第一数据，在一个可选实施例中，通过消息中间件从第一站点接收第二数据，该第二数据为与第一数据相关的数据，例如为第一数据的属性信息，包括：第一数据的文件名、第一数据的大小、第一数据的加密信息等。对第二数据进行解析，得到解析结果，根据该解析结果通过消息中间件从第一站点接收第一数据。也就是说，第一次从消息中间件接收到的数据并不是要分发至第二站点的数据，而是首先对接收到的第二数据进行解析，根据解析结果从消息中间件中去获取第一数据。从而提高了接收数据的准确性。

上述步骤S104涉及到获取第二站点的数据处理协议，需要说明的是，可以通过多种方式获取到第二站点的数据处理协议，下面对此进行举例说明。在一个可选实施例中，从数据库中查询第二站点的数据处理协议；其中，该数据库存储有各个站点对数据进行传输的规则。

在一个可选实施例中，在第二站点接收到第一数据之后，每隔第一预定时间(例如第一预定时间可以为30分钟)通过比较器检测该第一数据是否正确，在判断结果是否的情况下，再次将该第一数据同步至第二站点。 在另一个可选实施例中，每隔第二预定时间(例如第二预定时间可以为45分钟)判断第一数据是否分发异常，在判断结果为是的情况下，再次将第一数据分发至该第二站点。具体地，在一个可选实施例中，在第二站点接收到第一数据之后，通过数据分发补全机制对接收的第一数据的正确性进行检测包括：(1)数据内容同步补全定时任务，每隔30分钟通过比较器来对比同步到各站点的数据内容是否正确，如果不正确自动执行同步规则修补数据。(2)消息发送异常定时任务，每隔45分钟检测一次是否存在消息发送异常情况，如果存在则做个标记，然后重新将消息补发。

在一个具体的可选实施例中，该数据库位于第一站点侧。该数据库包括数据库表，该数据库表主要是站点信息表，存储了每个站点(例如：中国香港(hk)，美国(us)，中国台湾(tw)等)的站点信息，其中，第一数据包括以下至少之一：视频数据和/或专辑数据。每个站点的站点信息包括：视频同步/分发规则、专辑同步/分发规则、视频同步/可忽略属性、专辑同步/可忽略属性，视频/专辑扩展规则。例如，中国香港站点的站点信息包括：满足中国香港本地化运营方式以及产品具体需求的视频/专辑同步规则、满足中国香港本地化运营方式以及产品具体需求的视频/专辑分发规则、满足中国香港本地化运营方式以及产品具体需求的视频/专辑可忽略属性、满足中国香港本地化运营方式以及产品具体需求的视频/专辑扩展规则。

在另一个可选实施例中，上述数据处理协议包括以下至少之一：数据源配置信息、消息队列MQ配置信息、数据分发规则、数据同步规则、对指 定数据进行指定处理的规则。具体地，(1)数据库配置信息：每个站点有自己配置的数据库配置信息，数据库配置信息中的us代表美国等，后续新增国家站点，可通过类似配置进行扩展，数据库配置信息的目的是将处理后的数据正确分发(插入)到对应数据库中；(2)消息队列MQ配置信息：每个站点有自己配置的消息队列MQ配置信息，消息队列MQ配置信息中的us代表美国，后续新增国家站点，可通过类似配置进行扩展，消息队列MQ配置信息的目的是在不同站点可以将业务数据处理的消息分发到对应站点的业务线，比如中国香港的数据只将业务消息发送到中国香港站，不会发送给美国站；(3)数据分发规则可定义为：全部分发、部分分发(少部分属性做同步/不同步处理)、不分发；(4)数据同步规则作用通常是将数据同步至对应站点数据库中，或者将数据同步到对应站点业务线；(5)扩展规则(相当于上述对指定数据进行指定处理的规则)作用通常是不同站点有特殊数据需要处理时使用。通过上述(1)-(5)中至少之一的规则可以将来自第一站点的数据分发至第二站点。

下面以上述第一站点为大陆站点，第二站点为海外站点为例进行说明。图2是根据本发明实施例的数据传输方法的另一个流程图，如图2所示，该流程包括如下步骤：

步骤S202，消息中心从大陆数据库接收数据；

步骤S204，数据分发中心对从消息中心接收到的数据进行解析；

步骤S206，数据分发中心从数据库中查询海外站点的同步规则、扩展规则接口、查询分发规则接口；

步骤S208，根据查询到的上述规则将数据分发至海外站点。

综上所述，程序中通过Spring IOC动态注入技术加载配置统一进行初始化任务，加载数据库配置规则信息，动态注册数据源处理器、MQ队列消息处理器、业务服务处理器得到各个站点之间进行数据传输的规则。为每个站点初始化服务管理类(比如视频和专辑的处理服务类)，每个站点信息中都包含对应的数据源配置信息、消息队列MQ配置信息、(视频和专辑)分发规则、同步规则、扩展规则。当需要新增一个站点时，只需要在配置文件和数据库站点表中新增站点相关信息，并配置好分发和同步规则，如果有特殊处理的数据配置好扩展规则即可。通过Mybatis持久化技术根据规则将数据自动推送到各站点数据库中。程序上无需在可扩展标记语言(Extensible Markup Language，简称为XML)配置文件中增加冗余的站点配置信息，也无需重新开发新增站点的数据分发规则、数据同步规则等，通过从数据库中查询对应站点的数据处理规则即可实现数据的分发。

实施例2

在本实施例中还提供了一种数据传输装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

如图3所示，数据传输装置包括：接收模块32，用于从第一站点接收第一数据；获取模块34，用于获取第二站点的数据处理协议；发送模块36， 用于根据该数据处理协议将从第一站点接收到的第一数据发送至第二站点；其中，该数据处理协议为第二站点配置的接收来自第一站点的数据的协议。

通过上述装置解决了现有技术中需要对原始的程序代码进行变更才能实现数据在不同站点的传输，编程难度较高，调试运行复杂的问题，从而提高了多站点之间进行数据传输的效率和准确率。

如图4所示，接收模块32包括：第一接收单元322，用于通过消息中间件从第一站点接收第二数据；解析单元324，用于对第二数据进行解析，得到解析结果；第二接收单元326，用于根据该解析结果通过消息中间件从第一站点接收第一数据。

可选地，获取模块43还用于从数据库中查询该第二站点的数据处理协议；其中，该数据库存储有各个站点对数据进行传输的协议。

如图5所示，该装置还包括：第一处理模块52，用于在第二站点接收到第一数据之后，每隔第一预定时间通过比较器检测该第一数据是否正确，在判断结果是否的情况下，再次将第一数据同步至第二站点；或者，第二处理模块54，用于在第二站点接收到第一数据之后，每隔第二预定时间判断该第一数据是否分发异常，在判断结果为是的情况下，再次将第一数据分发至第二站点。

可选地，上述数据处理协议包括以下至少之一：数据源配置信息、MQ队列配置信息、数据分发规则、数据同步规则、对指定数据进行指定处理 的规则。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机 实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种数据传输方法，其特征在于，包括：

从第一站点接收第一数据；

获取第二站点的数据处理协议；

根据所述数据处理协议将所述第一数据发送至所述第二站点；其中，所述数据处理协议为所述第二站点配置的接收来自所述第一站点的数据的协议。

2.根据权利要求1所述的方法，其特征在于，从第一站点接收第一数据包括：

通过消息中间件从所述第一站点接收第二数据；

对所述第二数据进行解析，得到解析结果；

根据所述解析结果通过所述消息中间件从所述第一站点接收所述第一数据。

3.根据权利要求1所述的方法，其特征在于，获取第二站点的数据处理协议包括：

从数据库中查询所述第二站点的数据处理协议；其中，所述数据库存储有各个站点对数据进行传输的协议。

4.根据权利要求1所述的方法，其特征在于，在所述第二站点接收到所述第一数据之后包括：

每隔第一预定时间通过比较器检测所述第一数据是否正确，在判断结果是否的情况下，再次将所述第一数据同步至所述第二站点；或者，

每隔第二预定时间判断所述第一数据是否分发异常，在判断结果为是的情况下，再次将所述第一数据分发至所述第二站点。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述数据处理协议包括以下至少之一：数据源配置信息、消息队列MQ配置信息、数据分发规则、数据同步规则、对指定数据进行指定处理的规则。

6.一种数据传输装置，其特征在于，包括：

接收模块，用于从第一站点接收第一数据；

获取模块，用于获取第二站点的数据处理协议；

发送模块，用于根据所述数据处理协议将从所述第一站点接收到的所述第一数据发送至所述第二站点；其中，所述数据处理协议为所述第二站点配置的接收来自所述第一站点的数据的协议。

7.根据权利要求6所述的装置，其特征在于，所述接收模块包括：

第一接收单元，用于通过消息中间件从所述第一站点接收第二数据；

解析单元，用于对所述第二数据进行解析，得到解析结果；

第二接收单元，用于根据所述解析结果通过所述消息中间件从所述第一站点接收所述第一数据。

8.根据权利要求6所述的装置，其特征在于，所述获取模块还用于从数据库中查询所述第二站点的数据处理协议；其中，所述数据库存储有各个站点对数据进行传输的协议。

9.根据权利要求6所述的方法，其特征在于，所述装置还包括：

第一处理模块，用于在所述第二站点接收到所述第一数据之后，每隔第一预定时间通过比较器检测所述第一数据是否正确，在判断结果是否的情况下，再次将所述第一数据同步至所述第二站点；或者，

第二处理模块，用于在所述第二站点接收到所述第一数据之后，每隔第二预定时间判断所述第一数据是否分发异常，在判断结果为是的情况下，再次将所述第一数据分发至所述第二站点。

10.根据权利要求6至9中任一项所述的装置，其特征在于，所述数据处理协议包括以下至少之一：数据源配置信息、消息队列MQ配置信息、数据分发规则、数据同步规则、对指定数据进行指定处理的规则。