CN106790320A - 一种多应用系统间数据推送的方法 - Google Patents

Abstract

本发明公开了一种多应用系统间数据推送的方法，该方法在预置的多个数据存储区处理线程，将二次编码后的数据存储区数据与预置的数据信号类型数据库进行比对，确定所述数据存储区数据的类型值，根据类型值将所述数据包分别输入多个数据存储区，使每个数据存储区对应一个数据包处理线程，按照对数据包的操作设置数据包处理线程，及按照对数据包的操作将所述数据分别输入到相应的数据存储区，将处理后的数据包送到输出数据存储区中发送，将所述新的同步数据插入到准备发送的数据流中排队。

Description

一种多应用系统间数据推送的方法

技术领域

本发明涉及一种多应用系统间数据推送的方法。

背景技术

基于总线结构的电子商务系统在每个应用系统间数据推送的方法间的数据传输时，需要面对超大并发的数据传送要求。需要各个系统或系统构件节点具有分布的特性，从而辅助完成所述数据消息的传输。所述参数就是同步参数。各个节点的这些同步参数必须相同才能保证数据传输的正确。实际中，这些同步参数可能是变化的，因此需要在各个节点间实现同步数据的传输操作，尤其是这些同步参数在数据传输过程中发生变化时，更需要及时完成同步数据段同步操作。现有的跨系统间或系统构件间的信号传递的方法无论是优先级队列的分配还是受到系统本身资源最大承载阀值限制的，由于数据的调度、二次编码等处理操作消耗的资源较多，使得大量相同类型的数据和信号要多次及多位置处理，从而导致并发性能的严重下降。

图1是一个具体的数据传输系统的结构框图。图1中，包括网络13和通过网络13互联的多个终端11，以及还包括设置在所述网络13和所述终端11之间的数据传输装置12、14。在这个数据传输系统中，终端11不再按照传统的方式通过网络13直接互联，而是在中间增加了数据传输装置12、14。事实上，终端11与数据传输装置12、14之间也许直接连接，也许通过另外的网络，例如局域网连接，数据传输装置12与网络13之间也是如此。图1中，每一个数据传输装置12，都连接着与其逻辑上或物理上相对靠近的终端11，也就是说，终端11通过网络13向另一个终端11发送的数据需要经过数据传输装置12。而数据传输装置12的作用在于对要传输的数据进行编码以减少通过网络13实际传输的数据量，从而达到数据传输加速的作用，而接收端的数据传输装置12相应地要对接收到的数据进行解码。为此，在每一个数据传输装置12中都有一个用于编码和解码的数据库，用于存储编码和解码参数，而且不同数据传输装置12中的数据库的内容是相同的，否则就无法实现正常的编码和解码。

为实现各个多应用系统间数据推送的方法中数据的同步，在图1所述的系统，还包括至少一个同步服务器15，用于同步所述数据传输装置12、14中的数据库的存储内容。同步的方法可以有很多，例如，任何一个数据传输装置12或14中的数据库的内容例如由于学习而发生变化时，可以将变化的内容传输至同步服务器15中，然后在网络空闲或利用专用的信道由所述同步服务器整理完毕同步的内容后再向其它的数据传输装置发送变化的数据部分和具体的指令，指示相应的数据传输装置调整相应的数据库的内容。

由于要在数据传输完毕后才能进行数据的同步操作，使同步操作与数据传输相分离，导致了较大的数据同步因为信道的最大稳定性并发限制而造成的系统异常。

发明内容

本发明要解决的技术问题在于，提供一种传输延时较小的多应用系统间数据推送的方法。

具体说，本发明提供的多应用系统间数据推送的方法，包括步骤：

预置的多个数据存储区处理线程，对数据处理区存储的待处理数据二次编码；将二次编码后的数据存储区数据与预置的数据信号类型数据库进行比对，确定所述数据存储区数据的类型值；根据所述类型值将所述数据包分别输入多个数据存储区，使每个数据存储区对应一个数据包处理线程；利用所述数据包处理线程处理对应数据存储区中的数据包；按照对数据包的操作设置数据包处理线程，以及按照对数据包的操作将所述数据分别输入到相应的数据存储区；将处理后的数据包送到输出数据存储区中发送，并获取新的同步数据信号类型；将所述新的同步数据插入到准备发送的数据流中排队。

所述数据排队流是基于SOA面向服务的系统构件或集成在ESB总线上独立的应用业务系统之间的消息控制单元中的消息队列。

按照数据包发送的目的地址设置数据包处理线程，及按照数据包的目的地址将所述数据包分别输入到相应的数据存储区，利用所述数据包处理线程处理对应数据存储区中的数据包进行转码操作；按照对数据包的操作设置数据包处理线程，并将所述数据包按照预知的规则进行转码后的数据分别输入到相应的数据存储区，将处理后的数据包送到输出数据存储区中发送，并获取新的同步数据信号类型。

还包括，所述的数据包转码操作，包括插入数据包的输入接口单元码、插入数据包的指针地址单元码、插入数据类型标识码、插入数据输出单元码、插入输出数据存储区位置码和对数据指令段的重组；数据存储单元，用于存储预先设置的多个数据包处理线程的处理时序规则，所述数据包处理线程与所述数据存储区相关联，从所述数据包输入接口单元接收数据，将所述数据分别推送到多个数据存储区。

所述数据包集成了应用系统间、应用模块或构件内部互操作的指令集，并且利用传输控制协议或互联网协议打包所述数据流中的数据。

设置处理数据信号的线程池，该线程池处理系统间数据的发送和接收；所述线程池中集合了多个数据包处理线程；设置信号类型适配程序，根据已有的信号类型数据库，判断信号类型；将所述数据包分别输入多个数据存储区或消息队列控制区，使每个数据存储区对应一个数据包处理线程；将所述数据包处理线程处理对应数据存储区中的数据包，按照对数据包的操作设置数据包处理线程，并且按照对数据包的操作将所述数据分别输入到相应的数据存储区；利用上述的信号类型适配程序，将所述数据存储区或存储区中的数据按照类型进行再编码，将编码后的数据通过任何的通信协议进行广播传送；将所述新的同步数据打包为独立的数据包插入到数据流中。

还包括，压缩所述同步数据包或者包含所述同步数据的数据流；设置处理数据信号的线程池，该线程池处理系统间数据的发送和接收；所述线程池中集合了多个数据包处理线程；设置信号类型适配程序，根据已有的信号类型数据库，判断信号类型；将所述数据包 分别输入多个数据存储区或数据缓冲区或数据存储区或消息队列控制区，使每个数据缓冲区或数据存储区或消息队列控制区对应一个数据包处理线程；将所述数据包处理线程处理对应数据缓冲区或数据存储区或消息队列控制区中的数据包，按照对数据包的操作设置数据包处理线程，并且按照对数据包的操作将所述数据分别输入到相应的数据存储区；利用上述的信号类型适配程序，将所述数据存储区或缓冲区或数据存储区或消息队列控制区中的数据按照类型进行再编码。

还包括，设置多个数据包处理线程；接收数据包，将所述数据包分别输入多个数据缓冲区或数据存储区或消息队列控制区，使每个数据缓冲区或数据存储区或消息队列控制区对应一个数据包处理线程；利用所述数据包处理线程处理对应数据缓冲区或数据存储区或消息队列控制区中的数据包；将处理后的数据包送到输出数据缓冲区或数据存储区或消息队列控制区中发送；数据包发送的目的地址和端口号设置数据包处理线程，按照数据包的目的地址和端口号将所述数据包分别输入到相应的数据缓冲区或数据存储区或消息队列控制区或数据存储区及识别所述数据包的数据类型；按照对数据包的操作设置数据包处理线程，及按照对数据包的操作将所述数据分别输入到相应的数据存储区。

还包括设置处理数据信号的线程池，该线程池处理系统间数据的发送和接收；所述线程池中集合了多个数据包处理线程；设置信号类型适配程序，根据已有的信号类型数据库，判断信号类型；将所述数据包分别输入多个数据存储区或数据缓冲区或数据存储区或消息队列控制区，使每个数据缓冲区或数据存储区或消息队列控制区对应一个数据包处理线程；将所述数据包处理线程处理对应数据缓冲区或数据存储区或消息队列控制区中的数据包，按照对数据包的操作设置数据包处理线程，并且按照对数据包的操作将所述数据分别输入到相应的数据存储区；利用上述的信号类型适配程序，将所述数据存储区或缓冲区或数据存储区或消息队列控制区中的数据按照类型进行再编码；将编码后的数据通过任何的通信协议进行广播传送；设置多个数据包处理线程；接收数据包，将所述数据包分别输入多个数据缓冲区或数据存储区或消息队列控制区，使每个数据缓冲区或数据存储区或消息队列控制区对应一个数据包处理线程；利用所述数据包处理线程处理对应数据缓冲区或数据存储区或消息队列控制区中的数据包；将处理后的数据包送到输出数据缓冲区或数据存储区或消息队列控制区中发送。

还包括，设置多个数据同步广播发送线程，用于将输出数据缓冲区或数据存储区或消息队列控制区或存储区中的数据通过不同的数据信道广播发送。

附图说明

图1是一个数据传输系统的结构框图；

图2是本发明的一个实施例流程图；

图3是图1所示系统采用的数据传输装置框图；

图4(1)、图4(2)是数据包流的简要图示。

具体实施方式

下面：结合附图对本发明的具体实施方案进一步说明。参考图2，图2所示的例子包括三个步骤，首先，在数据处理过程中产生了新的同步数据(步骤21)，然后在步骤22取得新的同步数据，在步骤23将所述新的同步数据打包插入到正在发送的数据流中发送。更进一步，将所述新的数据包采用任何一种压缩方法压缩后插入到所述数据流中，或者将插入数据包的数据流要所后发送。

在不同的实施例中，可以将新的同步数据插入到正在发送的数据流的尾部发送，也可以将所述新的同步数据插入到正在发送的数据流的当前位置发送，或者将所述新的同步数据插入到正在发送的数据流中使用所述新的同步数据的数据部分的前面发送。在本实施例中，利用传输控制协议或互联网协议打包所述数据流中的数据。

在图1所示的系统中，所述数据传输装置12、14都具有类似图3所示的结构。这是数据传输装置的一个具体实施例框图。图3所述装置包括第一标签集成单元31、第一数据库32、数据段分割单元33、数据编码单元34、数据发送单元35。第一标签集成单元31，用于获取满足数据应用领域的第一数据特性要求的数据段，为所述数据段分配对应的引用标签，将所述引用标签与所述数据段绑定后存入第一数据库32。输入的数据流，用数据段分割单元33，从数据流的一端开始，按照一定的原则，截取出一个或多个数据段。这些数据段如果与第一数据库32中存储的数据段相同，就可以利用与该数据段绑定的标签完成数据的编码传输。于是，使用数据编码单元34，将数据段分割单元33的数据分割结果输入给所述数据编码单元34，所述数据编码单元34在所述第一数据库32中，查找数据段分割单元输出的数据段对应的应用标签，查找结果被送入数据发送单元35，由其用所述引用标签代替数据段分割单元截取的数据段，与数据流中剩余的数据组装为新的数据流发送。然而，数据段分割单元33取出的数据段可能在第一数据库32并不存在，而该数据段可能具有较高的重复概率，因此，在第一判断单元76判断数据段分割单元73分割出的数据段具有较高的重复概率后，就将这样每一个未出现在所述第一数据库72中且满足某种数据特性要求，例如高重复概率的数据段，都要为所述数据段设置其引用标签，并与其绑定后存储在所述第一数据库72，当然也要计算出其对应的散列值存储入相应的记录。由此，在第一数据库72中就形成了新的同步数据，这些新的同步数据就需要同步到其它的数据传输装置中。

采用多线程处理的方式，充分利用系统的资源并行处理待发送的数据包，从而能够减少数据发送的延迟。具体的实施例可以参考图3。按照图3，为了实现对数据包的并发处理，需要预先设置多个数据包处理线程，当所述设置的线程的个数与要处理的任务数量相适应时，能够充分利用系统的资源。在本实施例中，由于要处理的数据包存储在不同的数据缓冲区或数据存储区或消息队列控制区中，因此预先设置的数据包处理线程的个数与数据缓冲区或数据存储区或消息队列控制区的个数相同。事实上，所述数据包处理线程的个数与数据缓冲区或数据存储区或消息队列控制区的个数不相同，使一个数据包处理线程处理两个数据缓冲区或数据存储区或消息队列控制区的数据包，或者，使二个数据包处理线程处理一个数据缓冲区或数据存储区或消息队列控制区的数据包，等等，也能够实现本发明。

以所述预先设置的多个数据包处理线程为基础，就可以在步骤31接收数据包，然后在步骤32将所述接受大数据包分别输入多个数据缓冲区或数据存储区或消息队列控制区中对应数据缓冲区或数据存储区或消息队列控制区，使每个数据缓冲区或数据存储区或消息队列控制区对应一个数据包处理线程；最后在步骤33由所述数据包处理线程处理其对应的队列中的数据包。在本例中，为了提高数据包的发送效率，将具有相同目的地址的数据包采用同一个的数据包发送线程处理，因此，按照数据包发送的目的地址设置数据包处理线程，以及，按照数据包的目的地址将所述数据包分别输入到相应的队列。

由于缓冲区或数据存储区或消息队列控制区的最本质的任务是暂存等待处理的数据，因此，其设置的关键在于兼顾使用的灵活性、效率以及数据处理的需求，因此缓冲区或数据存储区或消息队列控制区的数量和每个缓冲区或数据存储区或消息队列控制区的容量应当根据系统的数据处理需求设置，例如，当系统的突发数据量较少时，每个缓冲区或数据存储区或消息队列控制区的容量可以小一些，数量也可以少一些；而在数据的种类或等级较多时，缓冲区或数据存储区或消息队列控制区的数量可以多一些，此时缓冲区或数据存储区或消息队列控制区的容量要根据突发数据量或数据的平均暂存时间设置，等等。因此，本实施例设置两个以上的缓冲区或数据存储区或消息队列控制区。在本发明的实施例中，哪个缓冲区或数据存储区可以为新的当前缓冲区或数据存储区受当前缓冲区或数据存储区的状态和其在队列中的位置有关系。如果一个被指定的新的当前缓冲区或数据存储区状态不为空，说明其中的数据尚未处理完成，此时顺序指定下一个缓冲区或数据存储区为当前缓冲区或数据存储区。当前缓冲区或数据存储区的控制最好由一个单独的进程控制。

其次，为了有效使用缓冲区或数据存储区或消息队列控制区，使缓冲区或数据存储区或消息队列控制区之间具有独立和组合双重性质，需要要对所述多个缓冲区或数据存储区或消息队列控制区进行有效的管理。本实施例将所述缓冲区或数据存储区或消息队列控制区组织成一个环形队列(在本发明的另一个实施例中，将所述缓冲区或数据存储区或消息队列控制区组织成一个先进先出队列)，因此在本步骤还设置用于指示和标识所述缓冲区或数据存储区或消息队列控制区的数据表，用于对所述缓冲区或数据存储区或消息队列控制区进行管理。在所述数据表中至少设置用于标识缓冲区或数据存储区或消息队列控制区的名称字段，用于作为指向该缓冲区或数据存储区或消息队列控制区的地址指针字段，以及指向所述缓冲区或数据存储区或消息队列控制区当前单元的、用于管理所述缓冲区或数据存储区或消息队列控制区的存储单元字段。在本发明的另外的实施例中，数据表设置为两个，分别用于缓冲区或数据存储区或消息队列控制区的静态和动态管理。实际上，将所述缓冲区或数据存储区或消息队列控制区组织成一个队列进行管理也是通过对所述数据表的操作实现的。

按照本发明，最好将所述新的同步数据打包为独立的数据包插入到数据流数据形成数据包流中。尽管可以通过标识和长度等特殊标记参数将新的同步数据和数据流的数据混合打包，但这样会增加传输的数据量或消耗过多的解码时间或者增加数据加码的复杂度。此时，数据发送单元35发出的数据即包括引用标签或组标签，还包括新的同步数据。图4是 对数据发送单元35数据包流的简要图示，图4(1)中，同步数据的数据包42在数据包流41的中部，而图4(2)中，同步数据的数据包42则在数据包流41的尾部。

本发明提供的另一种多应用系统间数据推送的方法，包括：

获取新的同步数据；

将所述新的同步数据插入到最近待发送的数据流中发送。

其中，所述最近待发送的数据流是指不影响所述同步数据使用的数据流。例如，存储区中有数据流A、B、C，当前数据流为数据流X，在数据流X处理过程中产生的同步数据在数据流C后的数据流使用，因此，最近待发送的数据流为数据流A、B。

其中：将所述新的同步数据插入到正在发送的数据流的尾部，或者将所述新的同步数据插入到正在发送的数据流的当前位置，或者将所述新的同步数据插入到正在发送的数据流中使用所述新的同步数据的数据部分的前面发送。

按照数据包的目的地址设置数据包处理线程只是实现数据包并发及并行处理的一种方式，在本发明另外的实施例中，按照对数据包的操作设置数据包处理线程，以及，按照对数据包的操作将所述数据分别输入到相应的队列，也是其中的一种方式。也就是说，划分对数据包的不同操作，进行相同操作的数据包采用相同的线程处理，不同的操作对应不同的线程。将所述新的同步数据打包为独立的数据包插入到数据流中。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (10)

1.一种多应用系统间数据推送的方法，其特征在于包括：

预置的多个数据存储区处理线程，对数据处理区存储的待处理数据二次编码；

将二次编码后的数据存储区数据与预置的数据信号类型数据库进行比对，确定所述数据存储区数据的类型值；

根据所述类型值将所述数据包分别输入多个数据存储区，使每个数据存储区对应一个数据包处理线程；

利用所述数据包处理线程处理对应数据存储区中的数据包；

按照对数据包的操作设置数据包处理线程，以及按照对数据包的操作将所述数据分别输入到相应的数据存储区；

将处理后的数据包送到输出数据存储区中发送，并获取新的同步数据信号类型；

将所述新的同步数据插入到准备发送的数据流中排队。

2.如权利要求1所述的多应用系统间数据推送的方法，其特征在于：所述数据排队流是基于SOA面向服务的系统构件或集成在ESB总线上独立的应用业务系统之间的消息控制单元中的消息队列。

3.如权利要求1或2所述的多应用系统间数据推送的方法，其特征在于：

按照数据包发送的目的地址设置数据包处理线程，及按照数据包的目的地址将所述数据包分别输入到相应的数据存储区，利用所述数据包处理线程处理对应数据存储区中的数据包进行转码操作；

按照对数据包的操作设置数据包处理线程，并将所述数据包按照预知的规则进行转码后的数据分别输入到相应的数据存储区，将处理后的数据包送到输出数据存储区中发送，并获取新的同步数据信号类型。

4.如权利要求3所述的多应用系统间数据推送的方法，其特征在于：所述的数据包转码操作，包括插入数据包的输入接口单元码、插入数据包的指针地址单元码、插入数据类型标识码、插入数据输出单元码、插入输出数据存储区位置码和对数据指令段的重组；

数据存储单元，用于存储预先设置的多个数据包处理线程的处理时序规则，所述数据包处理线程与所述数据存储区相关联，从所述数据包输入接口单元接收数据，将所述数据分别推送到多个数据存储区。

5.如权利要求1、2、3或4所述的多应用系统间数据推送的方法，其特征在于：所述数据包集成了应用系统间、应用模块或构件内部互操作的指令集，并且利用传输控制协议或互联网协议打包所述数据流中的数据。

6.如权利要求1、2、3或5所述的多应用系统间数据推送的方法，其特征在于：设置处理数据信号的线程池，该线程池处理系统间数据的发送和接收；所述线程池中集合了多个数据包处理线程；设置信号类型适配程序，根据已有的信号类型数据库，判断信号类型；将所述数据包分别输入多个数据存储区或消息队列控制区，使每个数据存储区对应一个数据包处理线程；

将所述数据包处理线程处理对应数据存储区中的数据包，按照对数据包的操作设置数据包处理线程，并且按照对数据包的操作将所述数据分别输入到相应的数据存储区；

利用上述的信号类型适配程序，将所述数据存储区或存储区中的数据按照类型进行再编码，将编码后的数据通过任何的通信协议进行广播传送；将所述新的同步数据打包为独立的数据包插入到数据流中。

7.如权利要求1、2、3、5或6所述的多应用系统间数据推送的方法，其特征在于：

压缩所述同步数据包或者包含所述同步数据的数据流；

设置处理数据信号的线程池，该线程池处理系统间数据的发送和接收；

所述线程池中集合了多个数据包处理线程；

设置信号类型适配程序，根据已有的信号类型数据库，判断信号类型；

将所述数据包分别输入多个数据存储区或数据缓冲区或数据存储区或消息队列控制区，使每个数据缓冲区或数据存储区或消息队列控制区对应一个数据包处理线程；

将所述数据包处理线程处理对应数据缓冲区或数据存储区或消息队列控制区中的数据包，按照对数据包的操作设置数据包处理线程，并且按照对数据包的操作将所述数据分别输入到相应的数据存储区；

利用上述的信号类型适配程序，将所述数据存储区或缓冲区或数据存储区或消息队列控制区中的数据按照类型进行再编码。

8.如权利要求1、2、3、5、6或7所述的多应用系统间数据推送的方法，其特征在于：

设置多个数据包处理线程；

接收数据包，将所述数据包分别输入多个数据缓冲区或数据存储区或消息队列控制区，使每个数据缓冲区或数据存储区或消息队列控制区对应一个数据包处理线程；

利用所述数据包处理线程处理对应数据缓冲区或数据存储区或消息队列控制区中的数据包；

将处理后的数据包送到输出数据缓冲区或数据存储区或消息队列控制区中发送；

数据包发送的目的地址和端口号设置数据包处理线程，按照数据包的目的地址和端口号将所述数据包分别输入到相应的数据缓冲区或数据存储区或消息队列控制区或数据存储区及识别所述数据包的数据类型；

按照对数据包的操作设置数据包处理线程，及按照对数据包的操作将所述数据分别输入到相应的数据存储区。

9.如权利要求7或8所述的多应用系统间数据推送的方法，其特征在于：

设置处理数据信号的线程池，该线程池处理系统间数据的发送和接收；

所述线程池中集合了多个数据包处理线程；

设置信号类型适配程序，根据已有的信号类型数据库，判断信号类型；

将所述数据包分别输入多个数据存储区或数据缓冲区或数据存储区或消息队列控制区，使每个数据缓冲区或数据存储区或消息队列控制区对应一个数据包处理线程；将所述数据包处理线程处理对应数据缓冲区或数据存储区或消息队列控制区中的数据包，按照对数据包的操作设置数据包处理线程，并且按照对数据包的操作将所述数据分别输入到相应的数据存储区；利用上述的信号类型适配程序，将所述数据存储区或缓冲区或数据存储区或消息队列控制区中的数据按照类型进行再编码；将编码后的数据通过任何的通信协议进行广播传送；

设置多个数据包处理线程；

接收数据包，将所述数据包分别输入多个数据缓冲区或数据存储区或消息队列控制区，使每个数据缓冲区或数据存储区或消息队列控制区对应一个数据包处理线程；利用所述数据包处理线程处理对应数据缓冲区或数据存储区或消息队列控制区中的数据包；将处理后的数据包送到输出数据缓冲区或数据存储区或消息队列控制区中发送。

10.如权利要求1、2、5、7、8或9所述的多应用系统间数据推送的方法，其特征在于：设置多个数据同步广播发送线程，用于将输出数据缓冲区或数据存储区或消息队列控制区或存储区中的数据通过不同的数据信道广播发送。