CN101252506B - 一种数据传输系统 - Google Patents
一种数据传输系统 Download PDFInfo
- Publication number
- CN101252506B CN101252506B CN2007103077575A CN200710307757A CN101252506B CN 101252506 B CN101252506 B CN 101252506B CN 2007103077575 A CN2007103077575 A CN 2007103077575A CN 200710307757 A CN200710307757 A CN 200710307757A CN 101252506 B CN101252506 B CN 101252506B
- Authority
- CN
- China
- Prior art keywords
- transmission
- node
- data
- task
- responsible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明公开了一种数据传输系统,解决目前的数据传输方式只能实现上下级节点间的直接传输和跨级间的存储转发,而无法实现点到点传输的问题。所述系统包括:任务服务器,负责监听并获取源节点请求;中心控制服务器,负责对工作进程进行管理和调度,工作进程包括传输控制模块和传输客户端;传输控制模块负责通过同步传输通道与目标节点通信,对任务进行调度和控制;传输客户端负责数据传输,通过异步传输通道将传输数据传输到目标节点;同步传输通道由同步通道服务器和同步通道客户端API实现,异步传输通道由异步通道服务器和传输客户端实现。所述系统能够实现点到点的直接传输,具有任务的优先级管理和流量控制机制,并具有应用层的集群和负载均衡。
Description
技术领域
本发明涉及网络技术领域,更具体地说,涉及一种数据传输系统。
背景技术
在大型业务网中,通常包含多个节点,由于业务处理需要,各节点之间的数据交互十分频繁。例如金融企业内部分为总行、一级分行、二级分行等多个管理机构,每个管理机构分别布设节点;在处理金融数据的过程中,整个金融业务网中不仅有节点内部的联机交易,而且节点之间需要完成大量数据的传输与交换。
目前,针对金融企业内部分为总行、一级分行、二级分行等分等级管理的特点,各节点之间的数据传输方式采用相应的树型结构传输。例如,总行是根节点,总行是一级分行的上级节点,二级分行是一级分行的下级节点。在整个金融网内,各个节点之间具有上下级关系,数据在具有上下级关系的节点之间才能传输。
随着业务的发展,这种树状传输方式表现出越来越多的缺点:
首先,由于节点间的相关性较强,只能实现上下级节点间的直接传输,以及跨级间的存储转发(即数据经多个节点转发传输),而不能实现点到点的传输,从而无法满足业务需求;
其次,不能实现优先级管理和流量控制;
再次,不能完成应用层的集群和负载均衡,实现最大的扩展性。
总之,这种节点间按照树型结构传输数据的方式已不能满足业务发展的需要,而且无法高效快速地完成节点间的批量数据交换。
发明内容
本发明所要解决的技术问题是提供一种数据传输系统,以解决目前的数据传输方式只能实现上下级节点间的直接传输和跨级间的存储转发,而无法实现点到点传输的问题。
为解决上述技术问题,根据本发明提供的具体实施例,本发明公开了以下技术方案:
一种数据传输系统,负责任意源节点与目标节点间的数据传输,包括:
任务服务器,负责监听并获取源节点请求,所述请求包括命令请求和数据传输请求,其中数据传输请求将放入传输任务队列等待处理,命令请求将通过同步传输通道直接处理;
中心控制服务器,负责对传输控制模块和传输客户端进行管理和调度;
其中,传输控制模块负责通过同步传输通道与目标节点通信,对任务进行调度和控制;传输客户端负责数据传输,通过异步传输通道将传输数据传输到目标节点;
其中,同步传输通道由同步通道服务器和同步通道客户端API实现,异步传输通道由异步通道服务器和传输客户端实现。
所述系统还包括:文件预处理模块和文件后处理模块,由中心控制服务器调度,所述文件预处理模块完成传输数据的加工和处理,所述文件后处理模块完成传输数据预处理的反向工作。
所述系统还包括:数据库接口,用于系统与数据库的交互。
所述系统还包括:IPC接口,用于系统与操作系统的交互。
所述系统还包括:Socket接口,用于系统与目标节点的交互。
所述系统还包括:安全模块,负责传输节点间的相互认证及传输通道、传输数据的安全。
其中,所述安全模块采用密钥协商算法实现基于证书的身份认证。
其中,所述安全模块采用工作密钥和对称加密算法实现传输通道的安全。
其中,所述安全模块提供多种供用户选择的方式实现传输数据的安全,其中方式一是对打包压缩后的部分内容采用随机密钥进行加密,再对加密后的数据进行加签;方式二是对打包压缩后的全部内容采用随机密钥进行加密,再对加密后的数据进行加签;方式三是对打包压缩后的全部内容采用对方公钥进行加密,再对加密后的数据进行加签。
所述系统还包括:监控管理模块,负责监控系统中每个模块的运行。
其中,所述中心控制服务器采用优先级管理机制,对传输任务进行优先级动态调整。
其中,所述同步传输通道和异步传输通道采用流量控制机制,对传输流量进行控制。
其中,所述同步传输通道采用类DNS的路由获取技术,获取目标节点的路由信息。
其中,所述系统采用的集群和负载均衡技术包括:对传输节点配置多管理节点,并对用户屏蔽所述配置,通过算法在内部自动选择最优管理节点;同时,在管理节点内部进行分区,并对所述管理节点进行信息共享,处理传输任务时分配合适的服务器负责处理。
其中,所述源节点与目标节点关系包括一对一、一对多、多对一、多对多。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
首先,本发明实施例提供的数据传输系统能够管理全网范围内的节点信息,并尽可能减少节点间的相关性,实现点到点的直接传输功能,即节点呈网状传输。所述系统不仅能够实现一对一的传输,而且能够实现多对多、多对一、一对多的传输。并且,所述系统能够根据网络等需要在点到点之间直接传输,并在存储转发间进行自动选择,减少传输过程的存储转发,保证只在需要的情况下才存储转发传输数据。
其次,所述系统具有任务的优先级管理和动态控制机制,优先处理紧急任务,解决紧急数据的快速传输。而且,具有基于策略的流量控制机制,根据网络和系统情况对传输进行控制,实现对传输数据多角度、多纬度的控制。
再次,具有应用层的集群和负载均衡,实现灵活的横向扩展,最大限度地保护投资。
最后,具有RSA证书保护下的数据安全与传输安全体系,主要包括传输节点间的相互认证、传输通道安全、传输数据安全。对传输节点间的相互认证,采用证书的公私钥实现;对传输中命令的交互,即传输通道的安全,采用证书参与下协商产生的工作密钥和加密算法来进行保护;对传输数据的安全,提供多种安全机制供用户选择。
附图说明
图1是本发明实施例所述数据传输系统结构图;
图2是本发明实施例中中心控制服务器的处理流程图;
图3是本发明实施例中同步传输通道的处理流程图;
图4.1是本发明实施例中子节点向父节点、对等节点向对等节点的上传图;
图4.2是本发明实施例中父节点向子节点的上传图;
图4.3是本发明实施例中子节点向父节点、对等节点向对等节点的下载图;
图4.4是本发明实施例中父节点向子节点的下载图;
图5是本发明实施例中文件预处理模块的处理流程图;
图6是本发明实施例中节点间的身份认证流程图;
图7是本发明实施例中异步数据传输过程中的身份认证流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例提供了一种数据传输系统,用于管理全网范围内的节点信息,并尽可能减少节点间的相关性,实现点到点的直接传输功能,即节点呈网状传输。下面仍以金融系统为例进行说明。在金融系统中建立的批量数据传输系统,用于高效快速地完成各节点间大量数据的传输和控制处理,实现金融企业内部各应用系统的批量数据交换。
参照图1,是所述数据传输系统结构图。所述系统包括对传输参与节点的管理、传输内容的处理、调度和传输,源节点和目标节点间的数据交换通过所述数据传输系统实现,其中每个节点可以是一个应用系统,也可以是一台具体的服务器。下面详细说明。
所述系统主要包括任务服务器11、中心控制服务器12、传输控制模块13、传输客户端14、同步通道服务器15、同步通道客户端APIl6、异步通道服务器17。优选的,还包括文件预处理模块18、文件后处理模块19、数据库接口20、IPC接口21、Socket接口22、安全模块23、监控管理模块24。
数据库接口20、IPC接口21、Socket接口22、安全模块23为系统提供底层工具。
所述任务服务器11是整个系统的入口,各个传输节点(如外围应用系统和其他关联系统)都是通过这个入口才能够通过数据传输系统进行数据传输。任务服务器11是一个守护进程,负责监听Socket端口、Socket域等资源,以便及时获取外部的应用请求,并存放到数据库的传输任务队列中。来自源节点的应用请求包括任务请求和命令请求,其中任务请求是指批量数据传输请求,该请求最终会以任务的形式进入数据库,并等待后续处理;而命令请求则是具有实时性、操作性的远端服务请求,该请求会被立刻通过网络发送到服务端并返回服务端处理结果。当任务服务器11获得请求后,判断是任务请求还是命令请求,如果是命令请求则通过同步传输通道处理,如果是任务请求则直接处理,即将任务请求放入任务队列。
中心控制服务器12是整个系统的中枢控制模块,从传输任务的添加成功到任务处理结束,整个过程都必须依靠该模块进行控制和处理。中心控制服务器12负责调度传输控制模块13和传输客户端14来处理传输任务,所述传输任务包括命令传输和数据传输。传输控制模块13负责命令传输,通过同步传输通道与其他传输节点通信,确保传输过程中本地和远端状态的一致和推进;传输客户端14负责数据传输,通过异步传输通道将传输数据传输到目标节点。其中,同步传输通道由同步通道服务器15和同步通道客户端API(ApplicationProgramming Interface,应用编程接口)16实现,异步传输通道由异步通道服务器17和传输客户端14实现。中心控制服务器12同时还是一个进程管理中心,负责对系统产生的工作进程进行管理,管理包括产生、监控和回收。
数据库接口20、IPC接口21、Socket接口22是系统底层接口,数据库接口20负责系统与数据库的交互,IPC接口21负责系统与操作系统的交互,Socket接口22负责系统与其他传输节点的交互。系统中所有数据库操作都需要通过数据库接口20进行处理,中心控制进程和其工作子进程的交互都通过IPC接口完成,同步传输通道和异步传输通道的命令和数据交互,即同步通道客户端APl和传输客户端14的实现均依赖于底层的Socket接口22以及专用安全模块23来完成通信和安全。
其中,所述IPC(Intemet Process Connection,进程间通讯)是共享“命名管道”的资源,它是为了让进程间通信而开放的命名管道,通过提供可信任的用户名和口令,连接双方可以建立安全的Socket通道并以此通道进行加密数据的交换,从而实现对远程计算机的访问。所述Socket通常也称作“套接字”,用于描述IP地址和端口,是一个通信链的句柄,应用程序通常通过“套接字”向网络发出请求或者应答网络请求。
上述对数据传输系统进行了整体说明,下面将详细说明各个模块的处理流程。
1、中心控制服务器的处理流程
中心控制服务器主要用来扫描数据库任务表中的任务信息,优选的扫描时按照任务的优先级对任务进行排序。并根据任务的状态,查询出处理任务的方法或者进程,启动子进程或者向已启动的子进程发送信号进行处理,在数据库中标记任务状态为处理中,同时记录子进程号、处理开始时间等信息。包括如下步骤:
(1)解析状态处理配置文件信息;
(2)根据配置预起初始进程;
(3)创建各个状态的等待队列;
(4)根据优先策略扫描任务信息数据库;
(5)把扫描的任务加入待处理队列;
(6)把待处理队列居前列的任务发送给处理进程;
(7)如果没有空闲的处理进程,则判断是否可以创建另外的处理进程;
(8)扫描结束后根据调整策略调整任务优先级别;
(9)更新处理进程的状态。
参照图2,是所述中心控制服务器的处理流程图。具体流程如下:
步骤201,加载状态处理配置文件到内存并解析;
步骤202,根据配置信息启动状态处理子进程,并记录相应的子进程号;
步骤203,设置信号处理;
步骤204,打开数据库并查询任务;
步骤205,如果任务表中有记录,则执行步骤206;如果没有记录,则清空任务等待处理队列,程序进入休眠状态,返回步骤204;
步骤206,查询任务状态对应的处理方式,如果是子进程调用,则执行步骤207;否则,记录该任务的状态为正在处理,并记录处理时间,然后调用相应的同步通道客户端API进行处理,最后返回步骤205;
步骤207,把任务加入状态处理队列;
步骤208,将任务标记为等待处理状态;
步骤209,得到空闲子进程数和进程号;
步骤210,把队列中居前的任务发送给子进程进行处理,并从队列中清除;
步骤211,记录该任务正在处理、处理时间、处理子进程号,最后返回步骤205。
2、同步传输通道和异步传输通道
所述数据传输系统具有同步传输通道和异步传输通道两个独立的通道。异步传输通道负责完成指定数据在源节点和目标节点之间的传输,具有一定的延迟性,适合处理大批量、非时时性数据的传输。而同步传输通道则具有实时性,在整个系统中一方面负责节点间的通信,确保状态的一致性;另一方面还负责进行部分小数据量、实时性要求高的数据的传输。在数据传输过程中,涉及到命令传输的时候调用同步传输通道,涉及数据传输的时候调用异步传输通道,这两个通道有可能在一次批量数据传输过程中都被调用,共同完成一次批量数据传输。
参照图3,是同步传输通道的处理流程图。
同步传输通道用于节点之间命令交互和小量数据传输,其中命令包括平台级命令和应用级命令。平台级的命令处理主要是传输控制模块进行任务状态更新和小批量数据传输处理;应用级的命令处理包含应用的查询。命令处理主要由同步通道服务器、同步通道客户端、传输控制模块实现。命令处理流程如下:
步骤301,接收客户端连接,若建立连接不成功,则清理资源并退出程序;
步骤302,若建立连接成功,则从连接中读取命令数据;
步骤303,分析该命令;
步骤304,处理该命令请求;
步骤305,返回命令处理结果并跳转到步骤301;
异步传输通道用于大批量数据传输(既任务的传输),该通道实际是一个改造后的ftp通道。该通道存在于节点之间,接受来自请求节点的GET或者PUT(主动获取和主动发送)申请,进行数据的传输。该通道还提供断点续传、流量控制等功能。
3、传输控制模块的处理流程
任务在系统内进行传输过程中,将会通过状态进行推进。系统会根据任务的传输方向(上传还是下载)、传输模式(GET或者PUT)的不同,分别按照不同的状态进行推进,而每种状态的改变都会对应一种交互方式或者一个动作。传输控制模块会根据中心控制服务器分配的任务,进行相关判断,组织相应的命令请求通过同步传输通道发送给目标节点,由目标节点进行相应处理后发送响应。传输控制根据任务状态,完成基于状态流转的传输控制。
系统将状态划分为:
系统状态对应的命令如下:
命令名 | 含义说明 |
GETREQ | 通知下一节点处理“接收文件任务请求” |
RUTREQ | 路由命令请求 |
GETBEG | 通知下一节点来取文件 |
PUTBEG | 向下一节点申请发送文件 |
REQCHK | 确认已经接收到“接收文件任务请求”的通知 |
GETCHK | 确认已经接收到“取文件通知” |
PUTEND | 向下一节点确认已经发送文件完成 |
GETEND | 完成取文件操作,向上一节点确认 |
表2
传输节点的状态转换图可参照图4.1-4.4所示,如下:
参照图4.1,是子节点向父节点、对等节点向对等节点的上传图;
参照图4.2,是父节点向子节点的上传图;
参照图4.3,是子节点向父节点、对等节点向对等节点的下载图;
参照图4.4,是父节点向子节点的下载图。
4、文件预/后处理的处理流程
优选的,所述数据传输系统还设置了文件预处理模块18和文件后处理模块19,这两个模块由中心控制服务器12调度。文件预/后处理完成对传输内容的处理,文件预处理模块18主要完成对传输内容的检查、转码、打包、压缩、加密、加签等操作;而后处理作为预处理的反过程,文件后处理模块19完成反向工作,如解密、解压缩、解包等。下面将主要描述文件预处理过程。
参照图5,足所述文件预处理模块的处理流程图。
步骤501,判断文件足否需要预处理,如果需要,执行步骤502,否则,跳转到步骤509;
步骤502,进行预处理的系统环境设置;
步骤503,读取传输任务表;
步骤504,判断待执行任务是否为单个文件,如果是,则直接执行步骤505;如果不是,表示是多个文件,需要先进行打包处理,然后执行步骤505;
步骤505,判断是否需要进行压缩处理,如果需要,则先进行压缩处理,然后执行步骤506;如果不需要,则直接执行步骤506;
步骤506,判断是否需要进行校验处理,如果需要,则先进行校验处理,然后执行步骤507;如果不需要,则直接执行步骤507;
步骤507,判断是否需要进行加密处理,如果需要,则先进行加密处理,然后执行步骤508;如果不需要,则直接执行步骤508;
步骤508,更新任务状态;
步骤509,更新进程状态。
综上所述,所述数据传输系统不仅能够实现一对一的传输,而且能够实现多对多、多对一、一对多的传输。并且,所述系统能够根据网络等需要在点到点之间直接传输,并在存储转发间进行自动选择,减少传输过程的存储转发,保证只在需要的情况下才存储转发传输数据。
需要说明的是,在批量数据传输过程中,数据传输系统采用了类DNS(Domain Name Server,域名服务器)的路由获取技术,获取目标节点的路由信息。一个节点要和另外一个节点通讯,通常要知道对方的相关信息,包括IP、端口号等,这就需要将目标节点的节点号翻译成IP地址和端口号,系统提供一种类DNS的路由方式来获取这些信息。由于在全网范围内要统一维护一套节点、地址对应信息存在一定的困难,因此本实施例对这些信息的维护采用了分布式和动态方式进行:初始阶段这些信息只保存在子节点的上级管理节点,通常子节点只需要获得目标节点的节点号,然后通过该目标节点号向该目标节点的上级管理节点来获取该目标节点的路由信息,如果上级管理节点没有该目标节点的相关信息,只需要将该请求再向上一级管理节点转发,以此类推,直到获得指定节点的路由信息,然后再返回。获得信息后,会在申请节点的管理节点对该信息进行登记。这个获取路由地址的过程,主要由同步传输通道来进行。利用类DNS路由方式,全网范围中的传输节点信息的修改只要通知其管理节点,并不需要通知全网络中的其他节点。
优选的,所述系统具有任务的优先级管理和动态控制机制,优先处理紧急任务,解决紧急数据的快速传输。而且,具有基于策略的流量控制机制,根据网络和系统情况对传输进行控制,实现对传输数据多角度、多纬度的控制。
如果传输系统没有优先级管理就不能对传输任务进行控制,就无法完成提供对关键任务的优先处理。本实施例根据节点、任务、时间等信息对平台内的传输任务的优先级进行动态调整,并根据优先级对传输任务进行调度,从而实现对高优先级任务的优先处理,并且低优先级任务也能够公平地获取被处理的机会。所述优先级管理主要由中心控制服务器实现。
有了优先级的动态调度和优先处理功能,同样需要根据物理网络、系统等具体情况对传输进行调控。本实施例根据节点、时段、流量、流速等信息对传输中的任务进行控制,控制任务的传输流量,达到合理地使用系统资源。所述流量控制主要由同步传输通道和异步传输通道实现。
优选的,所述数据传输系统还具有应用层的集群和负载均衡,实现了灵活的横向扩展,最大限度地保护投资。随着业务的发展,以及传输系统承载的传输节点的增加,传输业务量均呈现几何级的放大,对硬件系统的压力也必然呈几何级的增长。纵向扩展必然面临扩展的瓶颈,就需要能够提供横向的扩展,而系统级的横向扩展的灵活性、方便性以及对业务的支撑都较弱。因此,本发明提供了应用级的集群和负载均衡。
所谓集群,就是是将各个模块耦合在一起完成的一个功能性需求。这个功能一方面支持节点的硬件扩展能力,通过增加同一节点的机器数目,增强节点的处理能力;另一方面,还在节点集群内部支持多个子树的根节点之间的集群,即做到落地次数最少;此外,还实现不同树之间任务的扭转,根据任务所属根节点的不同,动态分配任务处理节点,实现负载均衡的功能。
从技术实现上,分两方面来实现该功能。一方面,对传输节点配置多管理节点IP和端口,并对用户屏蔽这一配置,通过算法在内部自动选择最优管理节点,并建立连接,执行相关传输任务;另一方面,在管理节点内部进行分区,以便区分多服务器的管理节点,并对这些管理节点进行信息共享,使得所有集群内的节点都知道其关联节点的信息,当一个任务传输请求进来时,由系统负责分配合适的服务器负责处理,并返回该服务器IP及端口信息给请求节点。
优选的,所述数据传输系统还包括安全模块23,负责RSA证书保扩下的数据安全与传输安全,主要包括传输节点间的相互认证、传输通道安全、传输数据安全。对传输节点间的相互认证,采用证书的公私钥实现;对传输中命令的交互,即传输通道的安全,采用证书参与下协商产生的工作密钥和加密算法来进行保护;对传输数据的安全,提供多种安全机制供用户选择。其中,RSA算法是当今使用最为广泛的非对称加密算法这个算法是由Ron.rivest、Adi.shamir和Leonard.adleman三人于1977年共同发明的,算法的名称就来自他们三人名字的首字母。
具体说明如下:
1、传输通道安全
本实施例采用工作密钥保证传输节点间信息交互时的传输安全,工作密钥采用对称密码体系。证书采用非对称的加密算法,而工作密钥采用对称加密算法,对称算法的处理效率一般比非对称算法快一个数量级。传输安全采用工作密钥,保证传输安全的同时,也兼顾传输的高效性。同时,工作密钥具有生命周期,用来保证工作密钥不会被非法破解而造成安全隐患。工作密钥的生命周期由人上进行设置,在设置工作密钥存续期后,同时可以设置工作密钥应用的传输数据量。工作密钥结束其生命周期后,系统自动完成工作密钥的协商与更新。
2、传输数据安全
对传输内容的保护,本实施例采用不同的安全机制,并提供多种方式供用户进行选择。其中,
方式一:对打包压缩后的部分内容采用随机密钥进行加密,再对加密后的数据进行加签;
方式二:对打包压缩后的全部内容采用随机密钥进行加密,再对加密后的数据进行加签;
方式三:打包压缩后的全部内容采用对方公钥进行加密,再对加密后的数据进行加签。
具体方式的选择由用户根据其传输数据的安全性要求、性能要求等方面来确定。
3、身份认证
(1)节点间身份认证
节点间工作密钥协商过程同时又是一个身份认证过程,通讯实体进行基于证书的身份认证,采用DH(Diffie-Hellman,密钥交换)算法进行密钥协商,双方对协商产生的随机数进行扩展得到工作密钥。
参照图6,是所述节点间的身份认证流程图。
步骤601,机构发送机构证书到中心;
步骤602,中心验证客户端(即机构)证书的有效性,产生随机数R,并使用客户端的公钥加密R;
步骤603,中心将中心的证书和客户端公钥加密后的R发送给机构;
步骤604,机构使用机构私钥解密得到R,验证中心证书的有效性,并产生随机数R′;
步骤605,机构使用机构的公钥加密R+1和R′;
步骤606,双方对R和R′进行扩展产生一个64字节的随机数,作为通讯使用的对称加密密钥。
身份认证完成后,双方得到一个64字节的随机数,通讯双方使用的对称密钥都是基于这一组随机数产生的,对称密钥的选取规则双方使用相同的策略。
(2)传输身份认证
异步数据传输过程中通过基于证书的身份认证来保证传输服务间的安全性。参照图7,是所述异步数据传输过程中的身份认证流程图。
步骤701,上送机构证书使用中心公钥对通用用户密码进行加密;并使用自己的私钥对加密后的数据进行签名,再将加密和加签后的信息发送到中心,进行认证请求;
步骤702,中心收到后,用对方的公钥对信息进行验签,并用自己的私钥进行解密,将结果与通用用户密码进行比较,通过后,认证通过;
步骤703,中心认证通过后,接收机构的传输请求,建立传输通道,开始传输,并将验证结果返回给机构;
步骤704,机构准备真正的数据传输。
优选的,所述数据传输系统还设置了监控管理模块24,负责监控系统中各个模块的运行。
总之,本发明实施例提供的数据传输系统可支持各种类型的操作系统和数据库系统,基于所述系统可以实现所有应用系统间的批量数据交换功能。
以上对本发明所提供的一种数据传输系统,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种数据传输系统,其特征在于,负责任意源节点与目标节点间的数据传输,包括:
任务服务器,负责监听并获取源节点请求,所述请求包括命令请求和数据传输请求,其中数据传输请求将放入传输任务队列等待处理,命令请求将通过同步传输通道直接处理;
中心控制服务器,负责对传输控制模块和传输客户端进行管理和调度;
其中,传输控制模块负责通过同步传输通道与目标节点通信,对任务进行调度和控制;传输客户端负责数据传输,通过异步传输通道将传输数据传输到目标节点;
其中,同步传输通道由同步通道服务器和同步通道客户端API实现,异步传输通道由异步通道服务器和传输客户端实现。
2.根据权利要求1所述的系统,其特征在于,还包括:文件预处理模块和文件后处理模块,由中心控制服务器调度,所述文件预处理模块完成传输数据的加工和处理,所述文件后处理模块完成传输数据预处理的反向工作。
3.根据权利要求1所述的系统,其特征在于,还包括:数据库接口,用于系统与数据库的交互。
4.根据权利要求1所述的系统,其特征在于,还包括:IPC接口,用于系统与操作系统的交互。
5.根据权利要求1所述的系统,其特征在于,还包括:Socket接口,用于系统与目标节点的交互。
6.根据权利要求1所述的系统,其特征在于,还包括:安全模块,负责传输节点间的相互认证及传输通道、传输数据的安全。
7.根据权利要求6所述的系统,其特征在于:所述安全模块采用密钥协商算法实现基于证书的身份认证。
8.根据权利要求6所述的系统,其特征在于:所述安全模块采用工作密钥和对称加密算法实现传输通道的安全。
9.根据权利要求6所述的系统,其特征在于:所述安全模块提供多种供用户选择的方式实现传输数据的安全,其中方式一是对打包压缩后的部分内容采用随机密钥进行加密,再对加密后的数据进行加签;方式二是对打包压缩后的全部内容采用随机密钥进行加密,再对加密后的数据进行加签;方式三是对打包压缩后的全部内容采用对方公钥进行加密,再对加密后的数据进行加签。
10.根据权利要求1所述的系统,其特征在于,还包括:监控管理模块,负责监控系统中每个模块的运行。
11.根据权利要求1所述的系统,其特征在于,所述中心控制服务器采用优先级管理机制,对传输任务进行优先级动态调整。
12.根据权利要求1所述的系统,其特征在于,所述同步传输通道和异步传输通道采用流量控制机制,对传输流量进行控制。
13.根据权利要求1所述的系统,其特征在于,所述同步传输通道采用类DNS的路由获取技术,获取目标节点的路由信息。
14.根据权利要求1所述的系统,其特征在于,所述系统采用的集群和负载均衡技术包括:对传输节点配置多管理节点,并对用户屏蔽所述配置,通过算法在内部自动选择最优管理节点;同时,在管理节点内部进行分区,并对所述管理节点进行信息共享,处理传输任务时分配合适的服务器负责处理。
15.根据权利要求1所述的系统,其特征在于,所述源节点与目标节点关系包括一对一、一对多、多对一、多对多。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007103077575A CN101252506B (zh) | 2007-12-29 | 2007-12-29 | 一种数据传输系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2007103077575A CN101252506B (zh) | 2007-12-29 | 2007-12-29 | 一种数据传输系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101252506A CN101252506A (zh) | 2008-08-27 |
CN101252506B true CN101252506B (zh) | 2012-07-04 |
Family
ID=39955701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007103077575A Active CN101252506B (zh) | 2007-12-29 | 2007-12-29 | 一种数据传输系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101252506B (zh) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102195786B (zh) * | 2010-03-16 | 2014-07-23 | 中国电信股份有限公司 | 智能数据交换平台及方法 |
CN101989956A (zh) * | 2010-11-30 | 2011-03-23 | 北京中交通信科技有限公司 | 一种浪涌gnss数据的令牌流控方法及系统 |
EP2663919B1 (en) | 2011-01-11 | 2019-07-03 | A10 Networks Inc. | Virtual application delivery chassis system |
CN102624753B (zh) * | 2011-01-27 | 2014-11-26 | 北京中和威软件有限公司 | 企业服务总线的分布式文件传输方法和设备 |
CN102255939A (zh) * | 2011-03-22 | 2011-11-23 | 苏州阔地网络科技有限公司 | 一种批量处理文件的传输方法及系统 |
CN102255882A (zh) * | 2011-03-22 | 2011-11-23 | 苏州阔地网络科技有限公司 | 一种批量处理的文件传输方法及系统 |
CN102281267A (zh) * | 2011-04-06 | 2011-12-14 | 苏州阔地网络科技有限公司 | 一种设置优先验证的批量处理的文件传输方法及系统 |
CN102281268A (zh) * | 2011-04-06 | 2011-12-14 | 苏州阔地网络科技有限公司 | 一种设置验证的文件批量处理通知方法、系统及服务器 |
CN103001978A (zh) * | 2011-04-06 | 2013-03-27 | 苏州阔地网络科技有限公司 | 一种设置优先验证的文件批量处理通知方法及系统 |
CN102281280A (zh) * | 2011-04-06 | 2011-12-14 | 苏州阔地网络科技有限公司 | 一种设置优先验证的文件批量处理方法及系统 |
CN102281270A (zh) * | 2011-04-06 | 2011-12-14 | 苏州阔地网络科技有限公司 | 一种设置验证的文件批量处理方法、系统及服务器 |
CN102281279A (zh) * | 2011-04-06 | 2011-12-14 | 苏州阔地网络科技有限公司 | 一种设置优先验证的批量处理文件的传输方法及系统 |
CN102281273A (zh) * | 2011-04-06 | 2011-12-14 | 苏州阔地网络科技有限公司 | 一种设置验证的文件处理同步通知方法、系统及服务器 |
CN102281269A (zh) * | 2011-04-06 | 2011-12-14 | 苏州阔地网络科技有限公司 | 一种设置优先验证的批量处理的文件传输控制方法及系统 |
US9154577B2 (en) | 2011-06-06 | 2015-10-06 | A10 Networks, Inc. | Sychronization of configuration file of virtual application distribution chassis |
CN103177035A (zh) * | 2011-12-26 | 2013-06-26 | 中国银联股份有限公司 | 一种在数据库中查询数据的装置及方法 |
CN104750545A (zh) * | 2013-12-27 | 2015-07-01 | 乐视网信息技术(北京)股份有限公司 | 一种调度进程的方法及装置 |
US10742559B2 (en) | 2014-04-24 | 2020-08-11 | A10 Networks, Inc. | Eliminating data traffic redirection in scalable clusters |
US9961130B2 (en) | 2014-04-24 | 2018-05-01 | A10 Networks, Inc. | Distributed high availability processing methods for service sessions |
CN105553732B (zh) * | 2015-12-23 | 2019-03-22 | 中国科学院信息工程研究所 | 一种分布式网络模拟方法及系统 |
CN106648928A (zh) * | 2016-11-29 | 2017-05-10 | 成都广达新网科技股份有限公司 | 一种进程间通讯的方法及装置 |
CN107896157B (zh) * | 2017-08-31 | 2020-11-03 | 深圳壹账通智能科技有限公司 | 黑名单数据交换方法及应用服务器 |
CN108574722B (zh) * | 2017-10-12 | 2021-12-10 | 视联动力信息技术股份有限公司 | 资源同步方法、装置及系统 |
TWI689212B (zh) * | 2017-12-22 | 2020-03-21 | 中華電信股份有限公司 | 流量請求方法、流量分享方法及其裝置 |
CN110309272A (zh) * | 2018-03-08 | 2019-10-08 | 上海擎感智能科技有限公司 | 基于nlp技术的终端交互方法及系统、云平台 |
CN109818878A (zh) * | 2019-01-25 | 2019-05-28 | 杭州天谷信息科技有限公司 | 多通道自适应流量控制方法和系统 |
CN110134535B (zh) * | 2019-05-27 | 2022-11-04 | 山东省农业机械科学研究院 | 一种基于物联网rpc通讯的数据协同与智能识别系统 |
CN110266574B (zh) * | 2019-06-20 | 2021-06-01 | 北京经纬恒润科技股份有限公司 | 冲突解决调度表的调整方法、相关设备及存储介质 |
CN112073335B (zh) * | 2020-09-03 | 2021-05-25 | 深圳市掌易文化传播有限公司 | 大数据支持下的游戏数据连接卡顿处理系统及方法 |
CN113194129A (zh) * | 2021-04-22 | 2021-07-30 | 山东浪潮通软信息科技有限公司 | 一种数据的摆渡方法、设备及介质 |
CN114143039B (zh) * | 2021-11-05 | 2024-04-16 | 中国电子科技集团公司第十五研究所 | 一种全域多级统一安全的数据传输方法及服务器集群 |
CN117033487B (zh) * | 2023-08-11 | 2024-05-07 | 北京长河数智科技有限责任公司 | 一种基于数据共享的接口灵活编排的系统及方法 |
CN116821944B (zh) * | 2023-08-31 | 2023-11-14 | 中电安世(成都)科技有限公司 | 一种基于数据元件的数据处理方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1976289A (zh) * | 2006-12-22 | 2007-06-06 | 中国建设银行股份有限公司 | 一种基于分布式网络的程序部署方法和系统 |
CN101009641A (zh) * | 2006-12-31 | 2007-08-01 | 中国建设银行股份有限公司 | 传输大量数据的方法和系统 |
-
2007
- 2007-12-29 CN CN2007103077575A patent/CN101252506B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1976289A (zh) * | 2006-12-22 | 2007-06-06 | 中国建设银行股份有限公司 | 一种基于分布式网络的程序部署方法和系统 |
CN101009641A (zh) * | 2006-12-31 | 2007-08-01 | 中国建设银行股份有限公司 | 传输大量数据的方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN101252506A (zh) | 2008-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101252506B (zh) | 一种数据传输系统 | |
WO2019196921A1 (zh) | 一种量子密钥分发方法、设备及存储介质 | |
CN108683747A (zh) | 资源获取、分发、下载方法、装置、设备及存储介质 | |
WO2019061983A1 (zh) | 区块链数据上传方法、系统、计算机系统及存储介质 | |
CN111930851A (zh) | 区块链网络的管控数据处理方法、装置、介质及电子设备 | |
CN112835977B (zh) | 一种基于区块链的数据库管理方法及系统 | |
CN112671580A (zh) | 一种基于区块链技术的qar数据管理方法 | |
JP2012523050A (ja) | アクセスグラフを用いたデータ項目へのアクセスの提供 | |
CN111625593A (zh) | 基于区块链的数据处理方法、装置、计算机设备 | |
Uddin et al. | An efficient selective miner consensus protocol in blockchain oriented IoT smart monitoring | |
Jeong et al. | A token-based authentication security scheme for Hadoop distributed file system using elliptic curve cryptography | |
CN115208665A (zh) | 一种基于区块链的种质资源数据安全共享方法及系统 | |
CN114172730B (zh) | 面向链上链下结合文件区块链的跨链方法及中间系统 | |
Dong et al. | Distributed subkey-relay-tree-based secure multicast scheme in quantum data center networks | |
Zhu et al. | Resource allocation in quantum-key-distribution-secured datacenter networks with cloud-edge collaboration | |
CN107465717B (zh) | 一种密码按需服务的方法、装置与设备 | |
CN113259454A (zh) | 跨链交互方法及装置 | |
Xu et al. | Stochastic resource allocation in quantum key distribution for secure federated learning | |
WO2023037973A1 (ja) | クラウド鍵管理サービス基盤システム | |
Liu et al. | The application of block chain technology in spot exchange | |
Chen et al. | A quantum key distribution routing scheme for hybrid-trusted QKD network system | |
CN112765665A (zh) | 一种数据源管理方法及管理平台 | |
Shi et al. | Secure government data sharing based on blockchain and attribute-based encryption | |
WO2024092992A1 (zh) | Qkd光网络中时隙感知的共享路径保护方法及系统 | |
CN111770101B (zh) | 接入区块链网络的系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |