CN108881485A - 保障大数据包下的高并发系统响应时间的方法 - Google Patents

保障大数据包下的高并发系统响应时间的方法 Download PDF

Info

Publication number
CN108881485A
CN108881485A CN201810855342.XA CN201810855342A CN108881485A CN 108881485 A CN108881485 A CN 108881485A CN 201810855342 A CN201810855342 A CN 201810855342A CN 108881485 A CN108881485 A CN 108881485A
Authority
CN
China
Prior art keywords
file
request
big data
data packet
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810855342.XA
Other languages
English (en)
Inventor
路慎强
杨耀忠
苏卫
何兴曙
刘长治
赫俊民
张静
王蓬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Petroleum and Chemical Corp
Geophysical Research Institute of Sinopec Shengli Oilfield Co
Original Assignee
China Petroleum and Chemical Corp
Geophysical Research Institute of Sinopec Shengli Oilfield Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Petroleum and Chemical Corp, Geophysical Research Institute of Sinopec Shengli Oilfield Co filed Critical China Petroleum and Chemical Corp
Priority to CN201810855342.XA priority Critical patent/CN108881485A/zh
Publication of CN108881485A publication Critical patent/CN108881485A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion

Abstract

本发明提供一种保障大数据包下的高并发系统响应时间的方法，包括：步骤1，客户端发送包含大数据包或携带附件的请求信息；步骤2，建立文件唯一标示作为关联信息；步骤3，企业服务总线处理请求信息；步骤4，根据接收到的请求，进行系统逻辑处理得到响应结果；步骤5，将响应信息进行处理后返回给客户端；步骤6，将文件传输到文件存放目录；步骤7，从文件存放目录处读取文件。该保障大数据包下的高并发系统响应时间的方法使得系统性能稳定可靠，同时增强了系统可移植性和可扩展性；还能够快速回应业务需求的变化和技术变化，能够支撑建立高并发，高响应，大数据包传输的软件系统，适用范围较为广泛。

Description

保障大数据包下的高并发系统响应时间的方法
技术领域
本发明涉及计算机技术领域，特别是涉及到一种保障大数据包下的高并发系统响应时间的方法。
背景技术
随着信息化时代的到来，计算机系统已经成为各行各业所不可缺少的工具，而在其中起着核心作用的，则是计算机软件系统。随着业务需求的复杂，多变及关联，企业信息化系统也逐渐交互更复杂，关联性更强，系统内及系统间的交互也更加紧密频繁，而这一切的基础则是请求的响应及数据的传输，其中数据的重要性及价值也是越来越大，其请求的及时响应及传输的效率问题更是信息化过程中所要考虑并解决的根本性问题。
随着大数据时代的来临，更多以文件为载体的大数据集传输也被普遍使用。传统的HTTP(超文本传输协议)大报文传输，客户端在发送传输请求后，需要在大报文数据传输完成后才能得到服务端的响应，响应时间没法得到保障。为此我们发明了一种新的保障大数据包下的高并发系统响应时间的方法，解决了以上技术问题。
发明内容
本发明的目的是提供一种能够保障大数据包请求在高并发系统中能够得到及时的响应的保障大数据包下的高并发系统响应时间的方法。
本发明的目的可通过如下技术措施来实现：保障大数据包下的高并发系统响应时间的方法，该保障大数据包下的高并发系统响应时间的方法包括：步骤1，客户端发送包含大数据包或携带附件的请求信息；步骤2，建立文件唯一标示作为关联信息；步骤3，企业服务总线处理请求信息；步骤4，根据接收到的请求，进行系统逻辑处理得到响应结果；步骤5，将响应信息进行处理后返回给客户端；步骤6，将文件传输到文件存放目录；步骤7，从文件存放目录处读取文件。
本发明的目的还可通过如下技术措施来实现：
在步骤2中，大数据包与请求剥离，形成单独文件，建立文件唯一标示作为关联信息，并将该文件关联信息加入到请求报文中的处理操作。
步骤2包括：
(a)客户端发起请求时，请求里有大数据包或者携带附件；
(b)通过拦截器将数据文件和请求剥离，并生成文件信息编码；
(c)在请求报文里加入文件的关联信息。
在步骤3中，请求信息发送到企业服务总线，通过服务总线的协议转换或消息格式转换业务实现，然后请求源服务，进行服务调用。
步骤3包括：
(a)客户端请求接入企业服务总线；
(b)企业服务总线将该请求分三个阶段进行处理，分别是接入，处理，接出，各阶段都使用异步多线程模型,采用阶段事件驱动架构分阶段异步多线程处理；
(c)接入阶段读取到接入队列中的事件，处理器负责接入包括HTTP(超文本传输协议),JMS(JAVA消息服务),客户自定义这些不同的协议请求，线程池提供多线程资源同时处理请求；
(d)处理阶段获取到接入阶段处理完成后传输到处理队列中的事件，处理器负责进行消息路由，消息格式转换，协议转换，日志持久化这些业务逻辑处理，性能控制器进行线程及队列等资源的控制，确保业务处理的高效性；
(e)接出阶段获取到处理阶段完成后传输到接出队列中的事件，处理器负责将业务处理后的请求分发到消费端；
(f)请求处理完成后，输出到源服务端。
在步骤4中，源服务端接收到请求后经过系统逻辑处理得到响应结果，将响应信息返回给企业服务总线；
在步骤5中，企业服务总线通过消息路由，格式转换这些处理，将响应信息返回给客户端。
步骤5包括：
(a)企业服务总线接收到源服务端的响应信息；
(b)响应信息经过消息转换，翻译成客户端能识别的响应码；
(c)企业服务总线将响应码返回给客户端。
在步骤6中，请求中的大数据包文件通过高效的文件传输服务将文件传输到文件存放目录，文件传输服务使用了分片传输机制，断点续传，高效的新的数据输入输出技术，消息的优先级保障了传输过程的高效可靠。
步骤6包括：
(a)文件传输请求发送给文件传输服务；
(b)文件传输服务首先根据请求从资源池中来建立文件传输会话；
(c)会话创建成功后，文件服务会将文件进行切分，切分成数据段；
(d)切分的每个数据段都分配一个文件的块号，通过块号可以准确无误写入到接收方的临时文件中；
(e)当最后一个文件块到达接收方并写入文件成功后，更改临时文件名，与文件关联信息文件名对应。
在步骤7中，文件传输服务传输完成后通知源服务端，请求文件全部到达，服务端可以根据请求报文中的文件关联信息从文件存放目录处读取到该文件。
本发明中的保障大数据包下的高并发系统响应时间的方法，涉及高并发大数据包或请求携带附件的软件系统领域，将请求大报文数据和请求响应采用异步方式实现，大报文数据不进行Http(超文本传输协议)传输，而是以文件的方式通过文件传输服务进行传输，然后通在报文里增加文件信息进行关联。采用请求和大报文数据异步处理的方法后，系统的响应时间就可以得到很好的保障，在高并发系统下，请求和响应都通过SEDA基础架构的分阶段高效处理，大报文数据也以文件的形式通过文件传输服务进行传输，客户端请求能够得到及时响应的同时，数据也能高效的传输完成。由于其通过请求响应与文件传输异步处理的方式，请求响应通过企业服务总线高效处理，文件传输通过文件服务器处理，不管是分布式系统还是本地系统都可适用。而且不依赖于具体编程语言和运行环境的计算方法的流程描述，整个逻辑架构灵活可变，可使用不同的技术架构来实现该技术模型，使得系统性能稳定可靠，同时增强了系统可移植性和可扩展性；不仅如此，该方法还能够快速回应业务需求的变化和技术变化，能够支撑建立高并发，高响应，大数据包传输的软件系统，适用范围较为广泛。
附图说明
图1为本发明的大数据包下的高并发系统请求响应及文件传输处理流程图；
图2为本发明的企业服务总线核心处理流程图；
图3为本发明的企业服务总线SEDA(阶段性事件驱动模型)基础架构阶段性事件驱动的逻辑运行图；
图4为本发明的文件传输服务的请求及处理特性流程图；
图5为本发明文件传输服务采用NIO(非阻塞IO)技术的文件的读写流程图；
图6为本发明的保障大数据包下的高并发系统响应时间的方法的一具体实施例的流程图。
具体实施方式
为使本发明的上述和其他目的、特征和优点能更明显易懂，下文特举出较佳实施例，并配合附图所示，作详细说明如下。
如图1所示，图1为大数据包下的高并发系统请求响应及文件传输处理流程图。
该流程图描述客户端发送请求信息，通过①发送到企业服务总线，同时请求信息携带的附件文件通过①传输到文件传输服务，请求信息及文件进行关联，两者采用异步处理的方式进行，企业服务总线将客户端请求进行转换加工然后②请求源服务,文件传输服务也通过②存储，将文件信息存储到文件目录，源服务接到总线的请求信息，然后将结果通过③响应反馈给总线，文件传输服务将文件存储后的信息通知到源服务，客户端相对应的请求关联的文件存储的目录，企业服务总线通过④响应将返回结果告诉客户端，源服务也通过④读取到客户端请求的附件文件信息。通过这个流程就展现了异步化处理请求和大数据包文件的完整过程。具体的步骤过程如图6所示：
步骤101，客户端发送包含大数据包或携带附件的请求信息；
步骤102，大数据包与请求剥离，形成单独文件，建立文件唯一标示作为关联信息，并将该文件关联信息加入到请求报文中的处理操作，
包括以下步骤：
(a)客户端发起请求时，请求里有大数据包或者携带附件；
(b)通过拦截器将数据文件和请求剥离，并生成文件信息编码；
(c)在请求报文里加入文件的关联信息。
步骤103，请求信息发送到企业服务总线，通过服务总线的协议转换或消息格式转换等业务实现，然后请求源服务，进行服务调用。
如图2所示，图2为本发明的企业服务总线核心处理流程图。
该流程图描述了企业服务总线的核心处理流程图，所有的逻辑处理以及接入、接出全部进行隔离，根据不同的业务操作类型分别对待合理进行分组。根据客户端发出的不同请求协议，企业服务总线提供TCP(传输控制协议)渠道，HTTP(超文本传输协议)渠道，JMS(JAVA消息服务)渠道及其他渠道分别针对处理客户端对应的协议请求，然后处理结果通过服务路由到核心服务容器，核心服务容器提供了如交易服务，事件服务，消息服务等服务体系，服务体系在处理服务请求时所需要的资源通过资源申请来获取如数据库连接，线程池，通信连接池，处理器实例池，数据上下文，磁盘资源等基础资源，然后分步来处理请求，处理后的信息通过通道路由，经过不同的协议通道，如TCP(传输控制协议)通道，HTTP(超文本传输协议)通道，JMS(JAVA消息服务)通道及其他通过将请求消息发送到外联系统。企业服务总线整个处理过程包括以下步骤：
(a)客户端请求接入企业服务总线；
(b)企业服务总线将该请求分三个阶段进行处理，分别是接入，处理，接出，各阶段都使用异步多线程模型-SEDA(staged event-driven architecture，阶段事件驱动架构),采用SEDA架构分阶段异步多线程处理，是企业服务总线的高性能可靠的构建基础，高并发系统的请求响应时间能够得到很好的保障。
如图3所示，图3为本发明的企业服务总线SEDA基础架构阶段性事件驱动的逻辑运行图。
SEDA阶段事件驱动架构，可以将逻辑进行分段(stage)处理，通过对每段逻辑进行有效的资源和处理能力的调配，进而提高系统的吞吐能力、稳定性、以及系统的水平扩展能力。高并发系统中，大量的请求基于队列的形式进行处理，性能控制器负责资源的分配和调度，控制派发给事件处理器的事件的数量和顺序，事件处理器可能在内部丢弃、过滤、重排序事件，线程池提供多线程资源对事件进行并行处理。
1).SEDA将一个请求的处理过程分解为一系列的阶段，阶段之间通过事件队列联系。一个阶段由事件队列、动态线程池、事件处理器和一个性能控制器四个组件构成：
①事件队列：用以维持Stage间之通信；
②事件处理器：用以执行请求到这一个Stage中所应执行的工作；
③线程池：用以提供事件处理器且可以并发执行事件处理之环境；
④性能控制器：用以对该Stage资源(线程数、队列长度等等)进行调整；
2).SEDA并发模型依赖于Event-driven concurrency(事件驱动并发)模型来支持高并发，利用一组线程来处理每个请求，而不是每一个请求一个线程，利用Nonblocking I/O(非阻塞I/O)来避免资源的阻塞；它的核心是所有的逻辑处理以及接入、接出全部进行隔离，根据不同的业务操作类型分别对待合理进行分组。使用SEDA架构这种解耦拆分可以使系统达到高并发性、对负载变化的良好适应性以及高度的可缩放性。
(c)接入阶段读取到接入队列中的事件，处理器负责接入包括如HTTP(超文本传输协议),JMS(JAVA消息服务),客户自定义等不同的协议请求，线程池提供多线程资源同时处理请求；
(d)处理阶段获取到接入阶段处理完成后传输到处理队列中的事件，处理器负责进行消息路由，消息格式转换，协议转换，日志持久化等业务逻辑处理，性能控制器进行线程及队列等资源的控制，确保业务处理的高效性；
(e)接出阶段获取到处理阶段完成后传输到接出队列中的事件，处理器负责将业务处理后的请求分发到消费端；
(f)请求处理完成后，输出到源服务端。
步骤104，源服务端接收到请求后经过系统逻辑处理得到响应结果，将响应信息返回给企业服务总线；
步骤105，企业服务总线通过消息路由，格式转换等处理，将响应信息返回给客户端,包括如下步骤：
(a)企业服务总线接收到源服务端的响应信息；
(b)响应信息经过消息转换，翻译成客户端能识别的响应码；
(c)企业服务总线将响应码返回给客户端。
步骤106，请求中的大数据包文件通过高效的文件传输服务将文件传输到文件存放目录，文件传输服务使用了分片传输机制，断点续传，高效的NIO(非阻塞IO)输入输出技术，消息的优先级等保障了传输过程的高效可靠，
如图4所示，图4为本发明的文件传输服务的请求及处理特性流程图。
该流程主要描述文件传输的过程，在接收到文件传输请求后，文件传输服务会从连接池获取连接，创建会话，然后对文件进行拆分，拆分后的数据进行编号，通过数据段编号校验进行数据完整性及正确性的检查，然后进入文件传输队列，传输服务通过任务线程池获取的资源进行文件传输。
该过程包括如下步骤：
(a)文件传输请求发送给文件传输服务；
(b)文件传输服务首先根据请求从资源池中来建立文件传输会话；
(c)会话创建成功后，文件服务会将文件进行切分，切分成数据段；
(d)切分的每个数据段都分配一个文件的块号，通过块号可以准确无误写入到接收方的临时文件中；
(e)当最后一个文件块到达接收方并写入文件成功后，更改临时文件名，与文件关联信息文件名对应；
所述的文件传输服务采用分布式的大文件传输架构，对传输会话做了精细化管理，并且采用了分片传输机制，断点续传，高效的NIO(非阻塞IO)技术，消息的优先级等保障了传输过程的高效可靠。其所用主要技术如下：
1.精细化文件传输会话控制
在文件传输系统当中，文件传输通过传输服务之间的会话实现的。传输通过TCP(传输控制协议)连接将本地文件系统的文件通过建立的会话发送到任意指定传输服务中，实现跨区域的文件自动传输过程。系统中存在两类角色，其中发现文件的传输服务作为发送方，接受文件的另外一个传输服务就是接收方。发送方首先会与接收方进行协商，建立一个用于传输的会话连接，会话建立成功之后，发送方把发现的文件一段一段的切分，切分的每一个数据段在建立好的会话上发送到消费方，消费方接受数据并验证，验证通过之后存储到本地，当接收方接受完成整个文件之后会发送一个回执到发送方，通知发送方文件已经完整无误的接受完成，可以进行后续处理。每个文件发送完成之后，发送方会把发送完成的文件信息汇总并上报到中心服务节点进行归档记录，这些记录可以通过API或者在管理控制台当中浏览。以上交互过程中的所有消息，由于网络等原因存在一定时间内可能无法到达的情况，出现这种情况时，需要对请求或者响应超时进行处理。
2.分片传输机制
由于传输依赖于网络，容易受到网络质量的影响，如果一个文件没有采用一个有序的策略去处理，那么大文件可能无法准确无误的到达，所以需要把文件切分成数据段这样更小的单元，通过消息通讯机制进行发送的。这种方式可以控制文件的发送接收、文件完整性的校验等等一系列控制操作。
在大文件传输当中，一个文件就是被切分为众多数据段，每个数据段分配一个文件的块号，通过块号可以准确无误写入到接收方的临时文件当中。当最后一个文件块到达接收方并写入文件成功之后，更改临时文件名，同时向发送方返回一个确认消息，通知发送方，所有文件块已经接收完成，发送方可以进行下一步操作。
3.断点续传技术
文件在传输过程中存在着中断的可能性，在故障排除之后，大文件传输具备从中断的位置重新传输的能力。
文件传输采用事件驱动的异步方式处理，网络I/O与本地存储逻辑之间存在多个缓冲队列，因此文件传输的断点是按照接收方存储到文件系统中的实际大小为准，在建立传输会话时由接收方响应给发送方。
4.高效NIO(非阻塞IO)技术
为了更好的提供I/O效率，降低Java虚拟机的垃圾回收频率，文件传输的文件I/O与网络I/O皆采用Java NIO(非阻塞IO)技术，实现内存零拷贝和事件驱动I/O。
如图5所示，图5为本发明文件传输服务I/O采用NIO(非阻塞IO)技术的文件的读写流程图。
图示为了更好的利用NIO(非阻塞IO)技术，尤其是对DirectBuffer(直接缓冲)区域的回收和管理，文件传输采用较为成熟的Netty作为底层技术支撑。通过文件的FileChannel(文件通道)和Buffer(缓冲)进行文件读取产生写事件，写事件在EventLoop(事件循环)中经过预置的Pipeline(管道)进行多个步骤的加工处理，最终写入到网络上。当接收方读取到数据报时产生读事件，进入到EventLoop(事件循环)中经过Pipeline(管道)的处理，最终把文件写入到文件当中。Netty的ByteBuffer(字节缓冲区)可以转化为JRE(Java运行环境)中的Buffer，所以文件的I/O运行在Netty的EventLoop(事件循环)中，ByteBufAllocator(字节缓冲区分配器)统一分配和回收内存，消除OOM(内存泄露)与NonHeap(非堆内存)溢出风险，以上这些特性都是依赖于文件的分段传输方式。
步骤107，文件传输服务传输完成后通知源服务端，请求文件全部到达，服务端可以根据请求报文中的文件关联信息从文件存放目录处读取到该文件。
本发明的保障大数据包下的高并发系统响应时间的方法，包括高并发系统客户端的请求通过接入企业服务总线来进行及时响应，而大数据包的传输通过文件服务器来进行，请求和文件传输采用异步方式进行高效处理，从而来保障大数据包下的高并发系统的响应时间。其中企业服务总线采用SEDA基础架构来实现高并发请求的及时响应，文件服务器则采用分布式的大文件传输架构，对传输会话做了精细化管理，并且采用了分片传输机制，断点续传，高效的NIO(非阻塞IO)技术，消息的优先级等保障了传输过程的高效可靠。相比较与传统的HTTP携带大报文的传输方案，会由于网络传输等因素导致系统的响应时间无法保障，采用该实现方法，对于高并发系统中大数据包的传输运行效率提高，节约系统资源，数据传输安全高效稳定，并且系统的响应时间得到很好的保障，适用范围较广。

Claims (11)

1.保障大数据包下的高并发系统响应时间的方法，其特征在于，该保障大数据包下的高并发系统响应时间的方法包括：
步骤1，客户端发送包含大数据包或携带附件的请求信息；
步骤2，建立文件唯一标示作为关联信息；
步骤3，企业服务总线处理请求信息；
步骤4，根据接收到的请求，进行系统逻辑处理得到响应结果；
步骤5，将响应信息进行处理后返回给客户端；
步骤6，将文件传输到文件存放目录；
步骤7，从文件存放目录处读取文件。
2.根据权利要求1所述的保障大数据包下的高并发系统响应时间的方法，其特征在于，在步骤2中，大数据包与请求剥离，形成单独文件，建立文件唯一标示作为关联信息，并将该文件关联信息加入到请求报文中的处理操作。
3.根据权利要求1所述的保障大数据包下的高并发系统响应时间的方法，其特征在于，步骤2包括：
(a)客户端发起请求时，请求里有大数据包或者携带附件；
(b)通过拦截器将数据文件和请求剥离，并生成文件信息编码；
(c)在请求报文里加入文件的关联信息。
4.根据权利要求1所述的保障大数据包下的高并发系统响应时间的方法，其特征在于，在步骤3中，请求信息发送到企业服务总线，通过服务总线的协议转换或消息格式转换业务实现，然后请求源服务，进行服务调用。
5.根据权利要求1所述的保障大数据包下的高并发系统响应时间的方法，其特征在于，步骤3包括：
(a)客户端请求接入企业服务总线；
(b)企业服务总线将该请求分三个阶段进行处理，分别是接入，处理，接出，各阶段都使用异步多线程模型,采用阶段事件驱动架构分阶段异步多线程处理；
(c)接入阶段读取到接入队列中的事件，处理器负责接入包括超文本传输协议,JAVA消息服务,客户自定义这些不同的协议请求，线程池提供多线程资源同时处理请求；
(d)处理阶段获取到接入阶段处理完成后传输到处理队列中的事件，处理器负责进行消息路由，消息格式转换，协议转换，日志持久化这些业务逻辑处理，性能控制器进行线程及队列等资源的控制，确保业务处理的高效性；
(e)接出阶段获取到处理阶段完成后传输到接出队列中的事件，处理器负责将业务处理后的请求分发到消费端；
(f)请求处理完成后，输出到源服务端。
6.根据权利要求1所述的保障大数据包下的高并发系统响应时间的方法，其特征在于，在步骤4中，源服务端接收到请求后经过系统逻辑处理得到响应结果，将响应信息返回给企业服务总线。
7.根据权利要求1所述的保障大数据包下的高并发系统响应时间的方法，其特征在于，在步骤5中，企业服务总线通过消息路由，格式转换这些处理，将响应信息返回给客户端。
8.根据权利要求1所述的保障大数据包下的高并发系统响应时间的方法，其特征在于，步骤5包括：
(a)企业服务总线接收到源服务端的响应信息；
(b)响应信息经过消息转换，翻译成客户端能识别的响应码；
(c)企业服务总线将响应码返回给客户端。
9.根据权利要求1所述的保障大数据包下的高并发系统响应时间的方法，其特征在于，在步骤6中，请求中的大数据包文件通过高效的文件传输服务将文件传输到文件存放目录，文件传输服务使用了分片传输机制，断点续传，高效的新的数据输入输出技术，消息的优先级保障了传输过程的高效可靠。
10.根据权利要求1所述的保障大数据包下的高并发系统响应时间的方法，其特征在于，步骤6包括：
(a)文件传输请求发送给文件传输服务；
(b)文件传输服务首先根据请求从资源池中来建立文件传输会话；
(c)会话创建成功后，文件服务会将文件进行切分，切分成数据段；
(d)切分的每个数据段都分配一个文件的块号，通过块号可以准确无误写入到接收方的临时文件中；
(e)当最后一个文件块到达接收方并写入文件成功后，更改临时文件名，与文件关联信息文件名对应。
11.根据权利要求1所述的保障大数据包下的高并发系统响应时间的方法，其特征在于，在步骤7中，文件传输服务传输完成后通知源服务端，请求文件全部到达，服务端可以根据请求报文中的文件关联信息从文件存放目录处读取到该文件。
CN201810855342.XA 2018-07-30 2018-07-30 保障大数据包下的高并发系统响应时间的方法 Pending CN108881485A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810855342.XA CN108881485A (zh) 2018-07-30 2018-07-30 保障大数据包下的高并发系统响应时间的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810855342.XA CN108881485A (zh) 2018-07-30 2018-07-30 保障大数据包下的高并发系统响应时间的方法

Publications (1)

Publication Number Publication Date
CN108881485A true CN108881485A (zh) 2018-11-23

Family

ID=64306787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810855342.XA Pending CN108881485A (zh) 2018-07-30 2018-07-30 保障大数据包下的高并发系统响应时间的方法

Country Status (1)

Country Link
CN (1) CN108881485A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110611718A (zh) * 2019-10-08 2019-12-24 深圳市九洲电器有限公司 文件传输方法、装置、服务器及存储介质
CN111953784A (zh) * 2020-08-14 2020-11-17 中国工商银行股份有限公司 基于异步通信框架的文件传输方法、装置及系统
CN112581934A (zh) * 2019-09-30 2021-03-30 北京声智科技有限公司 一种语音合成方法、装置及系统
CN112714198A (zh) * 2021-03-29 2021-04-27 北京宇信科技集团股份有限公司 Esb系统的文件传输方法及系统
CN113064857A (zh) * 2021-03-17 2021-07-02 歌尔科技有限公司 一种文件传输控制方法、设备及介质
CN113259408A (zh) * 2021-03-30 2021-08-13 中海油信息科技有限公司 数据传输方法和系统
CN114915622A (zh) * 2022-05-31 2022-08-16 广东三维睿新科技有限公司 一种web端基于http的文件传输方法
CN117251254A (zh) * 2023-11-14 2023-12-19 广州中长康达信息技术有限公司 基于容器分离的数据治理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821057A (zh) * 2011-06-09 2012-12-12 腾讯科技（深圳）有限公司 文件传送方法、装置和系统
CN102970112A (zh) * 2012-11-30 2013-03-13 中国电子科技集团公司第十五研究所 一种传输系统数据的系统及方法
CN103237049A (zh) * 2013-03-18 2013-08-07 北京易华录信息技术股份有限公司 一种文件传输方法及装置
CN103399886A (zh) * 2013-07-22 2013-11-20 北京工业大学 数字图书馆的实现方法
CN106230817A (zh) * 2016-07-29 2016-12-14 中国电子科技集团公司第二十八研究所 分布式海量数据传输方法及系统
CN106470237A (zh) * 2015-08-20 2017-03-01 深圳市腾讯计算机系统有限公司 一种异步下载方法及系统
CN108055311A (zh) * 2017-12-07 2018-05-18 畅捷通信息技术股份有限公司 Http异步请求方法、装置、服务器、终端和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821057A (zh) * 2011-06-09 2012-12-12 腾讯科技（深圳）有限公司 文件传送方法、装置和系统
CN102970112A (zh) * 2012-11-30 2013-03-13 中国电子科技集团公司第十五研究所 一种传输系统数据的系统及方法
CN103237049A (zh) * 2013-03-18 2013-08-07 北京易华录信息技术股份有限公司 一种文件传输方法及装置
CN103399886A (zh) * 2013-07-22 2013-11-20 北京工业大学 数字图书馆的实现方法
CN106470237A (zh) * 2015-08-20 2017-03-01 深圳市腾讯计算机系统有限公司 一种异步下载方法及系统
CN106230817A (zh) * 2016-07-29 2016-12-14 中国电子科技集团公司第二十八研究所 分布式海量数据传输方法及系统
CN108055311A (zh) * 2017-12-07 2018-05-18 畅捷通信息技术股份有限公司 Http异步请求方法、装置、服务器、终端和存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581934A (zh) * 2019-09-30 2021-03-30 北京声智科技有限公司 一种语音合成方法、装置及系统
CN110611718A (zh) * 2019-10-08 2019-12-24 深圳市九洲电器有限公司 文件传输方法、装置、服务器及存储介质
CN111953784A (zh) * 2020-08-14 2020-11-17 中国工商银行股份有限公司 基于异步通信框架的文件传输方法、装置及系统
CN113064857A (zh) * 2021-03-17 2021-07-02 歌尔科技有限公司 一种文件传输控制方法、设备及介质
CN112714198A (zh) * 2021-03-29 2021-04-27 北京宇信科技集团股份有限公司 Esb系统的文件传输方法及系统
CN113259408A (zh) * 2021-03-30 2021-08-13 中海油信息科技有限公司 数据传输方法和系统
CN114915622A (zh) * 2022-05-31 2022-08-16 广东三维睿新科技有限公司 一种web端基于http的文件传输方法
CN114915622B (zh) * 2022-05-31 2024-01-30 广东三维睿新科技有限公司 一种web端基于http的文件传输方法
CN117251254A (zh) * 2023-11-14 2023-12-19 广州中长康达信息技术有限公司 基于容器分离的数据治理方法及系统
CN117251254B (zh) * 2023-11-14 2024-02-27 广州中长康达信息技术有限公司 基于容器分离的数据治理方法及系统

Similar Documents

Publication Publication Date Title
CN108881485A (zh) 保障大数据包下的高并发系统响应时间的方法
CN105450618B (zh) 一种api服务器处理大数据的运算方法及其系统
KR100324976B1 (ko) 비동기 클라이언트/서버 컴퓨팅 시스템에서 서버 그룹에 관한 작업부하 관리를 수행하는 데이터 처리 장치, 방법 및 컴퓨터 프로그램 제품
EP3346379B1 (en) Database management system with dynamic allocation of database requests
CN107657532A (zh) 一种业务流程的处理方法及系统
CN108681569B (zh) 一种数据自动分析系统及其方法
US11743333B2 (en) Tiered queuing system
US20170171337A1 (en) Scalable data feed system
US10706027B2 (en) Database management system with dynamic allocation of database requests
US9323591B2 (en) Listening for externally initiated requests
CN103581336B (zh) 基于云计算平台的业务流程调度方法及系统
CN104199912B (zh) 一种任务处理的方法及装置
CN110597634B (zh) 一种数据处理方法、装置及计算机可读存储介质
CN108897876A (zh) 一种数据接入方法及装置
CN107809480A (zh) 一种交易整流系统
CN105761039A (zh) 快递信息大数据处理方法
CN110300188A (zh) 数据传输系统、方法和设备
Liu et al. Formal analysis and verification of DDS in ROS2
JP2004524600A (ja) 異種分散事業アプリケーション統合オブジェクトの集中管理提供システム及び集中管理提供方法
CN109829094A (zh) 分布式爬虫系统
US9374416B2 (en) Universal architecture for client management extensions on monitoring, control, and configuration
CN106909368B (zh) 一种实现快速业务开发的服务端业务层逻辑架构
CA2425048C (en) Method and system for resource access
CN107911484A (zh) 一种消息处理的方法及装置
Lytra et al. A pattern language for service-based platform integration and adaptation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181123

WD01 Invention patent application deemed withdrawn after publication