CN111865935B - 一种数据传输系统 - Google Patents

Abstract

本公开提供了一种数据传输系统，涉及计算机技术领域，其包括：主系统、多级传输模块、通过多级传输模块与主系统相连的至少一个分系统；且主系统和分系统均包括：sdk模块和中继模块；sdk模块，用于对主系统的第一token和分系统的第二token进行校验，以及，在校验通过后，将携带有数据通道的第三token的业务数据传输至中继模块；中继模块，用于对第三token进行校验，并在校验通过后将业务数据传输至多级传输模块；多级传输模块，用于按照预设数据结构对业务数据进行调度，以将业务数据传输至目标系统的中继模块。本公开能够有效提升数据传输的安全性、可靠性。

Description

一种数据传输系统

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据传输系统。

背景技术

随着用户量和业务的发展，现在的软件系统需要通过复杂的交互才能完成一个完整的业务操作。比如，目前常见的1对N的系统与系统之间的交互方式，一个总系统下面对应着多个分系统，总系统需要给各个子系统下发指令，形成了一对多的数据传输方式；各个分系统接受命令处理处理自己的逻辑，将得到的数据上报给总系统，此时数据的流向是多对一的数据传输方式。在这种复杂的交互过程中，消息的安全可靠性显得尤为重要。

现有技术方案通常是采用消息中间件来解决应用解耦、异步发送消息、流量削锋等问题，常用的消息中间件比如ActiveMq、kafka等。然而，上述方式对于较大体量的系统之间的消息交互的可靠性较差。诸如：单一的消息队列在跨地域跨网段通信的场景中可靠性较差；现在的消息队列只注重消息的可达，发送传输方式单一；现在的消息队列多对传输通道进行认证，若通道泄露将造成严重的安全性问题；现有的主流消息队列结构复杂且有不同的侧重点，研发人员需要了解清楚各个消息队列的优缺点和使用api，才可以将消息队列二次开发集成到业务系统之中，增加了使用成本。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据传输系统，以提高数据传输的安全性、可靠性。

本公开提供了一种数据传输系统，包括：主系统、多级传输模块、通过所述多级传输模块与所述主系统相连的至少一个分系统；且所述主系统和所述分系统均包括：sdk模块和中继模块；所述sdk模块，用于对所述主系统的第一token和所述分系统的第二token进行校验，以及，在校验通过后，将携带有数据通道的第三token的业务数据传输至所述中继模块；所述中继模块，用于对所述第三token进行校验，并在校验通过后将所述业务数据传输至所述多级传输模块；所述多级传输模块，用于按照预设数据结构对所述业务数据进行调度，以将所述业务数据传输至目标系统的中继模块；其中，当传输所述业务数据的sdk模块属于所述主系统时，所述目标系统为所述分系统，当传输所述业务数据的sdk模块属于所述分系统时，所述目标系统为所述主系统。

进一步，所述主系统的sdk模块，用于获取主系统的第一token，并对所述第一token进行校验；所述分系统的sdk模块，用于获取所述第一token和所述分系统的第二token，并对所述第一token和所述第二token进行校验；其中，所述第二token为所述主系统生成的。

进一步，所述sdk模块，还用于获取数据通道的第三token，并按照预设数据发送方式将携带有所述第三token的业务数据发送至所述中继模块；其中，所述预设数据发送方式为基于数据传输需求，在所述sdk模块支持的多种数据发送方式中选择的一种方式。

进一步，所述sdk模块，还用于在对所述第一token和所述第二token校验通过后，按照预设周期向所述中继模块发送参数请求；所述中继模块，还用于在接收到所述参数请求后，向所述sdk模块返回控制参数；其中，所述控制参数包括：请求超时时间、加密方式。

进一步，同一系统中的所述中继模块和所述sdk模块部署在同一区域或者同一网段。

进一步，所述中继模块，还用于获取所述第三token的生成标识，并将携带有所述生成标识的所述业务数据传输至所述多级传输模块；所述多级传输模块，还用于对所述生成标识的合法性进行校验，并在校验通过后，基于所述生成标识作出相应的反馈，以确保所述业务数据被正常发送。

进一步，当所述中继模块与所述多级传输模块之间的网络异常时，所述中继模块还用于缓存所述业务数据，并待网络恢复后将缓存的所述业务数据传输至所述多级传输模块。

进一步，当所述目标系统的中继模块对所述业务数据消费不及时时，所述多级传输模块还用于缓存所述业务数据。

进一步，所述数据传输系统还包括与所述多级传输模块相连的服务监控模块；服务监控模块，用于检测所述sdk模块是否被恶意调用，并在是的情况下，对被恶意调用的sdk模块下发拒绝指令，以限制该sdk模块的数据传输。

进一步，所述服务监控模块，还用于显示所述sdk模块和所述中继模块的在线状态；还用于生成所述主系统的第一token，以及创建发送所述业务数据的topic。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

本公开实施例提供了一种数据传输系统，其包括：主系统、多级传输模块、通过多级传输模块与主系统相连的至少一个分系统；且主系统和分系统均包括：sdk模块和中继模块；sdk模块，用于对主系统的第一token和分系统的第二token进行校验，以及，在校验通过后，将携带有数据通道的第三token的业务数据传输至中继模块；中继模块，用于对第三token进行校验，并在校验通过后将业务数据传输至多级传输模块；多级传输模块，用于按照预设数据结构对业务数据进行调度，以将业务数据传输至目标系统的中继模块。在本实施例中，针对一个主系统对应多个分系统的复杂交互过程，sdk模块需要在通过第一token和第二token的双层校验后才可以发送数据，由此从数据的源头确保数据的准确性，提高了数据的安全性；在sdk模块的基础上，进一步通过中继模块、多级传输模块的校验，提高了数据在复杂网络条件下传输过程中的安全性、可靠性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种数据传输系统示意图；

图2为本公开实施例提供的另一种数据传输系统示意图；

图3为本公开实施例提供的一种数据传输方法流程图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

参照图1所示的一种数据传输系统示意图，本实施例提供的数据传输系统包括：主系统100、多级传输模块200、通过多级传输模块200与主系统100相连的至少一个分系统300；且主系统100和分系统300均包括：sdk模块和中继模块，具体的，主系统100包括sdk模块102和中继模块104，分系统300包括sdk模块302和中继模块304。

sdk模块，用于对主系统100的第一token和分系统300的第二token进行校验，以及，在校验通过后，将携带有数据通道的第三token的业务数据传输至中继模块。其中，该sdk模块为sdk模块102或sdk模块302。

中继模块，用于对第三token进行校验，并在校验通过后将业务数据传输至多级传输模块200。其中，该中继模块为中继模块104或中继模块304。可以理解的是，业务数据在系统内部的传输过程中，执行数据传输的sdk模块和中继模块为同属于该系统中的模块；例如，当主系统100向分系统300传输数据时，传输携带有第三token的业务数据的sdk模块为sdk模块102，相应的，对第三token进行校验并继续传输业务数据的中继模块为中继模块104。

多级传输模块200，用于按照预设数据结构对业务数据进行调度，以将业务数据传输至目标系统的中继模块；其中，当传输业务数据的sdk模块属于分系统300时，目标系统为主系统100，当传输业务数据的sdk模块属于主系统100时，目标系统为分系统300，且目标系统可以为一个或多个。

本公开实施例提供了一种数据传输系统，其包括：主系统、多级传输模块、通过多级传输模块与主系统相连的至少一个分系统；且主系统和分系统均包括：sdk模块和中继模块；sdk模块，用于对主系统的第一token和分系统的第二token进行校验，以及，在校验通过后，将携带有数据通道的第三token的业务数据传输至中继模块；中继模块，用于对第三token进行校验，并在校验通过后将业务数据传输至多级传输模块；多级传输模块，用于按照预设数据结构对业务数据进行调度，以将业务数据传输至目标系统的中继模块。在本实施例中，针对一个主系统对应多个分系统的复杂交互过程，sdk模块需要在通过第一token和第二token的双层校验后才可以发送数据，由此从数据的源头确保数据的准确性，提高了数据的安全性；在sdk模块的基础上，进一步通过中继模块、多级传输模块的校验，提高了数据在复杂网络条件下传输过程中的安全性、可靠性。

为了更好地理解本方案，本实施例对上述数据传输系统展开描述。

参照图2，数据传输系统所包含的主系统为一级系统，通过多级传输模块与主系统相连的分系统为二级系统，如二级系统A、二级系统B和二级系统C。其中，一级系统和二级系统均包括中继模块和与中继模块相连的多个sdk模块；且一级系统和二级系统均通过各自的中继模块与多级传输模块相连。此外，数据传输系统还包括与多级传输模块相连的服务监控模块。

上述数据传输系统的数据传输方式参照如下所示。

针对任意一个原始的sdk模块，其处于未配置所属节点的状态，可以通过注册将sdk模块分配给主系统或者分系统等不同的节点。以下分别对主系统的sdk模块和分系统的sdk模块的注册过程进行描述。

针对待配置给主系统(也即一级系统)的各个sdk模块，用于获取主系统的第一token，并对第一token进行校验；由此完成第一层认证；其中，第一token为服务监控模块生成的。具体的，首先将第一token设置进入sdk模块，sdk模块将第一token注册到一级系统中。然后，随着程序启动，sdk模块自动开启对第一token的校验；若第一token合法，则校验通过，sdk模块成功注册进入一级系统中；若第一token不合法，则sdk模块注册失败，该注册失败的sdk模块不接受和发送任何数据。

针对待配置给分系统(也即二级系统)的各个sdk模块，用于对主系统的第一token和分系统的第二token进行校验；其中，第二token为主系统生成的。具体的，首先将第一token和第二token设置进入sdk模块，sdk模块将第二token注册到二级系统中，同时还将第一token注册到一级系统中；由此可以确定sdk模块之间的上下级关系。然后，随着程序启动，sdk模块自动开启对第一token和第二token的校验；若第一token、第二token均合法，则校验通过，sdk模块成功注册进入一级系统和二级系统中；若第一token和/或第二token不合法，则sdk模块注册失败，该注册失败的sdk模块不接受和发送任何数据。

sdk模块在校验通过后，将携带有数据通道的第三token的业务数据传输至中继模块。sdk模块在校验通过后，才可以进行数据的传输，在此情况下，能够从数据源上确保数据传输的安全性。

其中，上述第一token和第三token均是由服务监控模块生成的。

在一种实施例中，sdk模块传输业务数据的实现方式为：sdk模块，还用于获取数据通道的第三token，并按照预设数据发送方式将携带有第三token的业务数据发送至中继模块，以使中继模块对第三token校验通过后，对业务数据进行传输。

其中，预设数据发送方式为基于数据传输需求，在sdk模块支持的如下多种数据发送方式中选择的一种方式：

(一)同步发送带返回值的方式，生产者发送业务数据，消费者接受业务数据并且反馈的返回值，此时生产者会拿到消费者反馈的返回值。

(二)同步发送无返回值的方式，生产者发送业务数据，消费者成功接受业务数据。

(三)异步发送数据带返回值的方式，生产者发送业务数据，消费者接受业务数据，生产者会收到消费者反馈的返回值，相比于上述(一)同步发送带返回值的方式，在本方式(三)下，业务数据在传输中会合并批量发送，该方式(三)更适用于对数据传输的实时性要求不高的场景。

(四)异步发送无返回值的方式，生产者发送业务数据，消费者接受业务数据。

对于上述多种数据发送方式，在一级系统向二级系统发送业务数据的场景下，生产者为一级系统，消费者为二级系统；在二级系统向一级系统发送业务数据的场景下，生产者为二级系统，消费者为一级系统。

sdk模块支持多种数据发送方式中，同步方式(一)和(二)支持发送业务数据后快速得到返回值，异步方式(三)和(四)适合大批量发送业务数据的应用场景。以上多种数据发送方式较好地满足了多种数据传输需求，比如，主系统的数据下发可以指定此次下发的范围，确保数据能被指定的分系统接受。

针对中继模块，用于对第三token进行校验，在校验通过后将业务数据传输至多级传输模块；在校验失败，也即校验第三token不合法的情况下，向sdk模块反馈数据异常的消息。比如，以一级系统向二级系统A传输业务数据的场景为例，该过程由部署于一级系统中的sdk模块和中继模块实现，具体的，一级系统中的sdk模块将携带有第三token的业务数据传输至中继模块后，中继模块会校验第三token是否合法，若合法则会对业务数据进行转发，若不合法则向sdk模块反馈数据异常的消息。

在本实施例中，同一系统中的中继模块和sdk模块部署在同一区域或者同一网段。比如，二级系统A中的中继模块、sdk模块1、sdk模块2、……sdk模块n部署在同一区域或者同一网段。该方式不但能够有效改善跨地域、跨网段网络抖动导致的消息传输失败的问题，还能够方便对该系统节点下的多个sdk模块进行管理；管理内容比如通过中继模块动态地控制sdk模块的参数。在此提供一种参数管理方式，参照如下所示：

sdk模块，还用于在对第一token和第二token校验通过后，按照预设周期向中继模块发送参数请求；中继模块，还用于在接收到参数请求后，向sdk模块返回控制参数；其中，控制参数诸如包括：请求超时时间、加密方式等参数。

针对多级传输模块，其主要用于与不同级别的系统中的中继模块对接，对业务数据进行接收和转发，比如，基于各级系统的中继模块，将一级系统的业务数据传输至二级系统A，或者，将二级系统A、二级系统B和二级系统C的业务数据传输至一级系统。

在中继模块与多级传输模块之间进行数据传输过程中，中继模块还用于获取第三token的生成标识，并将携带有生成标识的业务数据传输至多级传输模块；多级传输模块，还用于对生成标识的合法性进行校验，并在校验通过后，基于生成标识作出相应的反馈，以确保业务数据被正常发送。

考虑到在实际应用中，不可避免的可能会出现网络异常的情况。基于此，在本实施例中，当中继模块与多级传输模块之间的网络异常时，中继模块还可以用于缓存一定容量的业务数据，并待网络恢复后自动恢复与多级传输模块之间的数据传输，以将缓存的业务数据传输至多级传输模块。

此外多级传输模块也可以对数据进行存储。当目标系统的中继模块对业务数据消费不及时时，多级传输模块还用于缓存业务数据。比如，当二级系统的中继模块消费不及时的时候，多级传输模块将缓存此节点的业务数据，以提供缓存和削峰的功能。

基于上述实施例，多级传输模块可以实现数据的调度、路由和存储，确保了数据传输的可靠性。

针对服务监控模块，用于显示sdk模块和中继模块的在线状态。具体的，服务监控模块对部署于主系统和分系统中的sdk模块和中继模块进行统一管理，并通过显示界面展示sdk模块和中继模块的在线状态。

服务监控模块，还用于生成第一token，以及创建发送业务数据的topic。sdk模块在发送业务数据时先指定topic，再通过指定的topic发送业务数据。

服务监控模块，还用于检测sdk模块是否被恶意调用，并在是的情况下，对被恶意调用的sdk模块下发拒绝指令，以限制该sdk模块的数据传输。在实际应用中，某个sdk模块可能被恶意调用发送大量数据；基于此，通过服务监控模块下发拒绝指令，以防止该sdk模块传输大量的数据导致消息通道崩溃，从而增加了传输通道的稳定性。

基于上述实施例提供的数据传输系统，本实施例提供一种数据传输方法，可以包括如下步骤：

步骤S302，将jar集成到目标项目中。

步骤S304，部署多级传输模块、服务监控模块以及各系统中的sdk模块、中继模块。

步骤S306，通过服务监控模块创建发送业务数据的topic。

步骤S308，向sdk模块注册topic与ReceiveHandller(接收处理机)之间的映射关系；在此情况下，sdk模块可以将收到的数据调用各自的handler(处理程序)去处理，实现doMessage(执行消息)的方法。

步骤S310，对主系统的第一token和分系统的第二token进行校验，由此设置sdk模块的节点信息。

步骤S312，sdk模块将携带有数据通道的第三token的业务数据传输至所述中继模块。

步骤S314，中继模块对第三token进行校验，并在校验通过后将业务数据传输至多级传输模块。

步骤S316，多级传输模块按照预设数据结构对业务数据进行调度，以将业务数据传输至目标系统的中继模块。

上述步骤S312至步骤S316的一种示例诸如为：一级系统中的sdk模块将业务数据传输至中继模块，中继模块在校验第三token合法后将业务数据传输至多级传输模块，多级传输模块将业务数据传输至二级系统A的中继模块和二级系统B的中继模块。

综上，上述多个实施例提供的数据传输系统和方法，通过对sdk模块的双重认证，提高了数据源的安全性，从数据的源头确保了数据的准确性；中继模块与sdk模块部署在同一区域或者同一网段下，在接收此中继模块下的sdk模块的数据时，能够有效改善跨地域、跨网段网络抖动导致的消息传输失败的问题；sdk模块支持多种数据发送方式，较好地满足了多种数据传输需求；服务监控模块能够监控各个sdk模块发送的数据量，通过下发拒绝指令实现封堵功能，增加了传输通道的稳定性。因此，基于以上sdk模块、中继模块、多级传输模块和服务监控模块，能够帮助用户在复杂的网络下进行消息传输，且不侵入用户的系统，最小化开发数据传输功能，提高数据传输的安全性、可靠性。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种数据传输系统，其特征在于，所述数据传输系统包括：主系统、多级传输模块、通过所述多级传输模块与所述主系统相连的至少一个分系统；且所述主系统和所述分系统均包括：sdk模块和中继模块；

所述主系统的sdk模块，用于获取主系统的第一token，并对所述第一token进行校验，以及，在校验通过后，将携带有数据通道的第三token的业务数据传输至所述中继模块；

所述分系统的sdk模块，用于获取所述第一token和所述分系统的第二token，并对所述第一token和所述第二token进行校验，以及，在校验通过后，将所述携带有数据通道的第三token的业务数据传输至所述中继模块；其中，所述第二token为所述主系统生成的；

所述中继模块，用于对所述第三token进行校验，并在校验通过后将所述业务数据传输至所述多级传输模块；

所述多级传输模块，用于按照预设数据结构对所述业务数据进行调度，以将所述业务数据传输至目标系统的中继模块；其中，当传输所述业务数据的sdk模块属于所述主系统时，所述目标系统为所述分系统，当传输所述业务数据的sdk模块属于所述分系统时，所述目标系统为所述主系统。

2.根据权利要求1所述的系统，其特征在于，

所述主系统的sdk模块和所述分系统的sdk模块，还用于获取数据通道的第三token，并按照预设数据发送方式将携带有所述第三token的业务数据发送至所述中继模块；其中，所述预设数据发送方式为基于数据传输需求，在所述sdk模块支持的多种数据发送方式中选择的一种方式。

3.根据权利要求1所述的系统，其特征在于，

所述主系统的sdk模块和所述分系统的sdk模块，还用于在对所述第一token和所述第二token校验通过后，按照预设周期向所述中继模块发送参数请求；

所述中继模块，还用于在接收到所述参数请求后，向所述sdk模块返回控制参数；其中，所述控制参数包括：请求超时时间、加密方式。

4.根据权利要求1所述的系统，其特征在于，同一系统中的所述中继模块和所述sdk模块部署在同一区域或者同一网段。

5.根据权利要求1所述的系统，其特征在于，

所述中继模块，还用于获取所述第三token的生成标识，并将携带有所述生成标识的所述业务数据传输至所述多级传输模块；

所述多级传输模块，还用于对所述生成标识的合法性进行校验，并在校验通过后，基于所述生成标识作出相应的反馈，以确保所述业务数据被正常发送。

6.根据权利要求1所述的系统，其特征在于，

当所述中继模块与所述多级传输模块之间的网络异常时，所述中继模块还用于缓存所述业务数据，并待网络恢复后将缓存的所述业务数据传输至所述多级传输模块。

7.根据权利要求1所述的系统，其特征在于，

当所述目标系统的中继模块对所述业务数据消费不及时时，所述多级传输模块还用于缓存所述业务数据。

8.根据权利要求1所述的系统，其特征在于，所述数据传输系统还包括与所述多级传输模块相连的服务监控模块；

服务监控模块，用于检测所述sdk模块是否被恶意调用，并在是的情况下，对被恶意调用的sdk模块下发拒绝指令，以限制该sdk模块的数据传输。

9.根据权利要求8所述的系统，其特征在于，所述服务监控模块，还用于显示所述sdk模块和所述中继模块的在线状态；还用于生成所述主系统的第一token，以及创建发送所述业务数据的topic。

Images