CN108293063A

CN108293063A - 用于网络挂毯和瞬间粒度上的信息弹弓的系统和方法

Info

Publication number: CN108293063A
Application number: CN201680066545.XA
Authority: CN
Inventors: J·E·鲁本斯坦
Original assignee: Umbra Technologies Ltd
Current assignee: Umbra Technologies Ltd
Priority date: 2015-12-11
Filing date: 2016-12-09
Publication date: 2018-07-17
Anticipated expiration: 2036-12-09
Also published as: US11681665B2; US20220300466A1; US20230281169A1; EP3387819A4; EP4167547A1; CN108293063B; US20190266132A1; EP3387819B1; US11360945B2; HK1258433A1; ES2931177T3; WO2017098326A1; EP4236264A3; EP4236264A2; EP3387819A1; CN114726847A

Abstract

公开了在网络环境中进行文件传输和处理的系统和方法。在一个实施例中，该系统可以包括一个或多个处理器。该一个或多个处理器可以耦接到第一装置。该一个或多个处理器可以被配置成从文件队列检索文件。该文件可以存储于第一装置的本地存储器中。该文件可以从第二远程装置经由远程直接存储器访问被传输。该一个或多个处理器可以进一步被配置成判断文件是否完整。该一个或多个处理器可以进一步被配置成，如果判定所述文件是完整的，从所述文件队列去除所述文件。

Description

用于网络挂毯和瞬间粒度上的信息弹弓的系统和方法

本申请要求2015年12月11日提交的美国临时申请No.62/266,060的优先权，该临时申请以引用方式并入本文。

本申请要求2016年2月17日提交的美国临时申请No.62/296,257的优先权，该临时申请以引用方式并入本文。

在此通过引用将国际专利申请No.PCT/US 15/64242、PCTUS16/12178、PCT/US16/15276、PCT/US 16/15278、PCT/US 16/26467、PCT/US 16/26481、PCT/US 16/26489、PCT/US16/37180和PCT/IB 16/00110全文并入本文。

技术领域

本公开总体上涉及网络，尤其涉及通过在根本上改变发送方和接收方装置之间的交换性质，加快中长距离的数据传输。方法迁移正在从往返分组传输变为单向弹弓式文件发送，以及采用高性能计算的原理提高处理量。

本公开具体描述了一种单向信息弹弓，其向远程存储器通过网络挂毯以接近线速保存完整的任意大小的数据文件。信息弹弓可以与现有网络织构集成，或者可以是独立工作的独立机制，或者是两者的混合。

本公开还总体上涉及软件和网络，更具体而言，涉及管理更高层级功能的瞬间时间粒度。

背景技术

网络挂毯上的信息弹弓

常规技术和那些技术的局限或缺点展示了不同方法为何可能是有益的。本文描述的本公开的特征、方法和应用简述了如何构建和使用这种技术。它还提供了本公开如何浸透特定改进以克服常规技术局限性的前景。

本公开可能对符合各种联网需求而言是有益的。本文提供了金融行业对本公开的利用作为示例，以例示特征以及它们如何克服常规技术的缺点。不过，本公开的应用和使用范围和尺度超越了这一狭窄的关注点，并适用于很多其他使用情形。

因特网是多个网络的网络。网络织构可以被定义为一个管理实体控制之下的网络，或一种网络协议，例如，互联网协议(IP)或用于一地理区域之内的网络等。可以通过在边缘连接在一起的网络织构的对等合作将织构编织在一起。可以使用诸如网络地址转换(NAT)等方法。

全局虚拟网络(GVN)是一种存在于因特网顶端(OTT)的网络类型，将织构的各层编织到网络挂毯中，在每个织构边缘处具有进出点(EIP)。

一种网络织构可以是广域网(WAN)，其由两个局域网(LANS)点之间的专用线路，例如多协议标签交换(MPLS)或数字数据网络(DDN)等构成。这些专用链路还可以对等连接到其他网络，基于定义为单跳的一对一关系，或经由多跳对等的一对多网络关系，通过两个或更多端点之间中间有很多可能的路径或路由。

网络织构还可以定义端到端的网络织构类型的尺度和范围。以太网定义一种网络，但这也可以进一步由协议分类，例如以太网上的互联网协议(IP)，例如互联网协议版本4(IPv4)或互联网协议版本6(IPv6)和其他网络类型。构建于IP顶端的是诸如传输控制协议(TCP)和用户数据报协议(UDP)的协议。TCP over IP(TCP/IP)更冗长并具有相对于UPDover IP(UDP/IP)发送的数据的可靠性进行更大内置误差检查和处理，UPD over IP更多被配置为进行数据流传输，例如音频或视频数据，其中丢失一个分组不会造成显著负面效应。

除了以太网顶部构建的不同协议和IP版本之外，以太网自身具有以太网、千兆比特以太网(可有1或10或40或100千兆比特的速度)，预计要引入其他版本。以太网正在写入常见必选协议以将各种装置连接在一起，它们能够彼此通信。

无限带宽(IB)是一种以太网替代协议，IB利用不同的物理NIC端口、插头和电缆，且IB以不同方式工作。为了将很多节点连接到高性能计算/计算机(UPC)环境中，IB是优先的选择。IB允许在绕过网络的节点和用于接入的主机装置的操作系统(O/S)堆栈之间进行本地远程直接存储器访问(RDMA)，其中连接了RDMA存储器(或其他)装置。还有替代方案，例如，光纤信道和其他网络技术，其可以提供维持快速本地RDMA传输并经过长距离向并行文件系统(PFS)或RAM中保存文件或向另一远程存储装置保存。

尽管光纤信道是IB的备选方案，但出于本公开的目的，本公开集中于IB为用于连接UPC节点，尤其是通过大距离的网络类型选择。IB被用作用于展示的示例，但可以使用能够提供类似基础连接的任何替代网络类型作为替代以支持信息弹弓。

在比较网络类型时，可靠性是极为重要的。影响网络类型和网络协议选择的另一个主要驱动力还与通信跨过物理路径距离行进的时间相关。延迟是数据沿一个方向行进的时间度量，或者也可以被表达为通过两点之间指定距离的往返时间(RTT)。带宽是网段、通信路由、网络织构或其他网络路径的数据传输速率的度量。

在本文中有些物理规律被作为基础援引。由于时间和距离很显著，本公开使用以下基线：

-本文中的距离是在实验系统下以英里为单位测量的

-本文中距离的度量可以是有或没有逗号和/或小数的数字，或者可以表达为整数

-所用距离的一个例外是下文所述光缆的折射率，其中以米制体系下的米为单位表达距离

-时间按秒度量，表达为秒的整数、分数和或小数

-本文引用的时间单位是秒、毫秒(ms)和微秒(μs)

-比微秒更精细的任何粒度，例如纳秒(ns)可能在本公开的特定实际应用中重要，但出于展示的目的，本文中最细的粒度为μs。

在计算时，用于联网的时间的当前主要或标准度量是毫秒(ms)，用于处理的是微秒(μs)。极短时间的粒度例如可以被度量为毫秒的分数(每1/20或1/10或1/100)或小数(0.05、0.1、0.01)。下表是一些可能值及其对应等价转换的参考。

#	说明	秒	毫秒(ms)	微秒(μs)
					1	1秒的1/10	0.10000	100	100,000
2	1秒的1/20	0.05000	50	50,000
					3	1秒的1/100	0.01000	10	10,000
4	10微秒	0.00001	0.010	10
					5	100微秒	0.00010	0.100	100
6	1000微秒	0.00100	1.000	1,000

表1-时间的度量

下表比较了真空中的光速和光纤玻璃芯内部光速。这个表例示了光纤效率的物理极限以为希望光通过光纤实现的理论最佳速度建立基线。

表2-考虑由于折射造成光纤延迟的光纤线速度：基于如下网站提供的数据：http：//www.m2optics.com/blog/bid/70587/Calculating-Optical-Fiber-Latency

尽管光缆的折射率可能会轻微变化，但平均值在本文中如下假设：针对68.05％的效率，平均值大约为203m到204m/μs，相对于光速299.792m/μs。

有些特殊行业的应用对具有最低可能延迟和零距离丢包的最佳服务质量(QoS)具有绝对要求。这些特殊行业需要交换针对应用的信息，例如金融信息、交易执行到确认、科学计算等。在很多情况下，将使用专用光纤线路传输，以比开放因特网上传输预期实现更高可靠性和更高吞吐量。

陆地光纤线路通信的一种替代方案是通过卫星传输进行中继。弹弓能够在卫星链路上工作，并且通信速度可能接近使用这样的基础传输介质的光速。卫星链路容易受到带宽限制、天气风险、宇宙干扰和其他挑战的影响。对于本公开而言，信息弹弓的交点是在陆地光纤线路网络上部署其展示。

以太网及其联网技术的组合是使用最广泛的网络类型，从办公室内的局域网、数据中心和其他设备集群部署到由跨越全球因特网的因特网服务提供商(ISP)操作的全球骨干链路网络。尽管被广泛部署，但互联网协议-IPv4使其自身成功的牺牲品，因为其面对着可用IP地址数量几乎完全耗尽的状况。诸如NAT的针对LAN中设备的技术曾帮助缓解了这个问题，但仍然未解决这个问题，IPv4地址因此仍然非常短缺。IPv6在其核心似乎有可用IP地址的丰富供应，不过，由于若干因素IPv6未得到普遍部署，其中之一就是投入仅处理IPv4而非既处理IPv4叉处理IPv6的旧式设备中的基建投资。以太网变成了主要的网络类型，其广泛应用常见于LAN和更宽广的因特网中，因为它是相对容易实施和全球部署的标准。随着越来越多的设备利用协议或网络类型，网络效应也发挥出来，它使得其他人采用它的决策更容易，进一步激励高容量，导致商品化具有降低价格的效果。

在数据中心中，集中的计算、存储、处理和其他操作分布于各种机架安装的服务器上，需要比以太网更快的传输以在信道后方将这些服务器连接在一起以令它们共享数据并通信。光纤信道和无限带宽(IB)是提供超低延迟和高容量带宽的两种这样的技术。IB的无损和并行传输提供了很强的优点，允许使用远程直接存储器存取(RDMA)，还提供了机会以部署和利用全球分布式平行文件系统(PFS)。IB的局限是其仅部署于以米测量的较短距离处。之后将这扩展到几千米。直到最近，IB“长距离”链路还限于城市之内或经由超快IB通过它们之间的专用线路将数据中心彼此连接的两个接近地铁区域之间。近来的技术允许扩展IB的距离并通过暗光纤线路在两个IB网关之间高达20000千米。

已知常规以太网IP协议技术尤其在长距离上有缺点。IP的问题是由如何发送分组所固有造成的。IP通信使用其最常用的协议TCP/IP需要往返和冗余，导致比所需RTT更高。

IP传输分组化的数据。每个分组包括包头、数据有效载荷，可能还有其他信息。IP网络织构允许的分组大小被定义为最大传输单元(MTU)并可能受限于几百字节到4KB或更大，但如果有效载荷比设定的分组极限允许值更大，为了从点A向点B传送该有效载荷，需要将有效载荷分成多个两个或更多分组的部分，接下来每次传输和确认都需要往返。分组大小也影响分组是否经受分割。如果分割是中间装置迫使进行的，分割分组常常进行重整，中间装置比通过装置链的传输路径中网段之间的其他装置具有更低的MTU。IP的这个缺点可能导致分组丢失，必须重发。即使所有分组都到达了，分割也给中途增加了拥塞，还可能使接收装置因多余预期的分组而溢流。例如，如果发送装置使用1500字节MTU的常见设置，并将有效载荷分解成均为1500字节的分组流，发送装置将以堆栈和NIC能够应对的，高达“最后一英里”连接可用带宽的速度向外流传输它们。如果因特网中间的装置具有1492的MTU设置，那么流经这个装置的每个分组都将被分割或划分成多个分组。结果，接收装置接收了双倍数量的发送装置流传输的分组。这样可能使接收装置饱和溢出，导致拥塞和潜在损失，或至少导致降速。此外，网络装置被额定为每秒发送这么多分组，无论分组有“多满”。分割的分组典型不到容量那么满，进一步降低了潜在带宽，造成撞击效应，使网络性能有阻力。

TCP/IP分组的可靠性和验证提供了心理平静，但代价是速度和强制刚度，因为长距离IP常规技术的一些缺点在于，由于物理限制和网络协议的性质，存在极限。

具体而言，分组化传输，例如多部分分组传输将更大有效载荷进行分裂，具有被中间装置分割的风险，中间装置可能无法或未被配置成应对大有效载荷。

已知以太网/IP的往返传输在具有延迟的长距离上具有QoS劣化，已知的问题例如是拥塞，其导致延迟，尤其随距离导致延迟。TCP/IP可以抓住丢失的分组并将重新发送。尽管从可靠性角度来讲这是好的，但它给网络增加了延迟和拥塞。

重要的是还要指出以太网是如何应对数据分组的，因为它已经存储并转发了模型，其中接收、检查分组并仅在包括完整有效载荷的整个分组被完全接收并检查之后，才转发分组。计算机/路由器/网络之内应对以太网流量分组的这种操作的延迟大约为每个装置100微秒(μs)。对于要接收并继续传递的分组的这种每个中间装置的100μs延迟滞后可能看起来很微小，但在长距离路径上，这种延迟可能被通过很多装置所放大。NAT也增加了另一个小但仍可测量的阻力摩擦点。由于客户端-服务器方法造成的延迟——准备分组、发送、传输、接收、组合分组、使用——向该装置O/S的堆栈之内的通信流增加了臃肿而不必要的步骤。

当前的IP协议中还有改进空间，包括需要更低延迟，消除分组丢失，以及解决其他问题，例如分组化和双向传输中是效率低下，解决带宽延迟积(BDP)和支配文件传输的相关算法等。

尽管当前的交易方法已经被设计成尽可能高效率，并经由UDP/IP多播来广播市场信息，经由TCP/IP以最低延迟在最小可能的分组中发送交易订单和确认，但问题仍然存在。UPD/IP没有与TCP/IP相同的误差校正机制，因此，接收方或发送方都不知道分组是否丢失。在流量重的时间期间分组丢失可能性更大，这精确地是对交易者而言急迫需要具有最困难完整信息的时间。

计算哪些必要网络协议会在解决移动大量数据时遇到麻烦方面也有变化。

由于新兴技术，例如阻塞链(和其他分布式注册技术)、工业物联网(HOT)、远程医疗等，需要新的范式，其中对不断增加的数据有效载荷的快速、可靠传输有要求。弹弓是在一个方向上将信息作为几乎任意大小的单个文件发送的机制。

信息弹弓使用IB上RDMA或类似基础网络类型向诸如PFS的远程存储装置上存储大小不受限的数据文件，并让该目标远程区域中的装置上的文件队列管理器(FQM)或类似机制从PFS拉取文件。错误校正被内置于存储装置中，接下来支配写入文件的进程，就像本地连接的存储装置与主机装置之内的O/S交互那样。弹弓的意义在于将内部进程分布称为分布式进程。单向传输是弹弓的另一个特征，实现了UDP/IP的效率，同时实现了TCP/IP的可靠性，解决了对所发送分组进行确认的需求。弹弓使用平行流文件保存，具有如下效果：最后的字节与第一个发送的字节在相同或接近相同时间到达。

弹弓可以利用能够支持RDMA且具有类似于IB的属性的任何基础网络。高性能计算(HPC)，例如RDMA、IB的原理和其他属性提供了基础，在其上要构建新颖方式。注意，PFS装置上的存储可以是物理的或虚拟的，或HDD、SAS、SSD、RAM盘或任何其他装置，其能够提供快速存储介质，并允许RDMA或等价类型的直接远程访问。

为了本公开的展示目的，利用IB作为示例网络以在其上运行弹弓。负载下的IB带宽可以实现理论BW最大值的百分之90到95。IB的特征在于穿过交换，其中IB装置接收分组的包头，使用逻辑转发决策并通过管道继续传输有效载荷，甚至在接收完整有效载荷之前。因此IB与以太网相比具有极低延迟。它比TCP/IP或UDP/IP的冗长度低得多。它运行于暗光纤连接顶部。与暗光纤上的以太网相比，它仍然更快，如果利用本地RDMA，可以将延迟测量为用于有效传输的单向，而不是用于以太网TCP/IP的RTT那样的双向。

在金属数据传输的范围中，本公开是一种框架，以利用挂毯并利用高级连接方法以解决加快全球交易执行和其他需求的通信需求的问题。

一个重要区别在于，弹弓不会进行传统文件传输，而是将文件保存在远程存储器。作为一堆各种数据有效载荷“文件”的传输，这种弹弓方法以一种非常高效的方式从一个地区向另一个地区更快转移更大数据块。

跨越长距离获得显著收益。参考引用的示例实施例图及其针对更多细节的解释。

可以在诸如本文图29中的EIP 2970的织构之间边缘处的进出点(EIP)将信息弹弓集成到诸如GVN的网络类型中的挂毯中。此外，使用信息弹弓机制作为基础，可以支持其他特征，例如弹跳(美国临时专利申请No.62/327,907)、信息数据信标(美国临时专利申请No.62/327,846)、弹跳路由(美国临时专利申请No.62/327,911)等。

所有节点都能够充当控制节点的HPC集群将文件放到PFS存储位置，供其他节点检索。尽管节点能够从远程区域的PFS拉取文件，但拉取并标记和移动文件的增加延迟使得意义不大。发送者最好将文件保存到距目标尽可能近的PFS中。本公开的特征是PFS存储实例的节点意识到彼此，以及PFS存储实例接近发送方希望读取所保存文件的目标装置。

从任何源向信息弹弓机制呈现的任何文件作为完整文件将远程保存在目标区域中。文件队列管理器将从PFS或RAM或任何其他替代存储介质上的队列检索文件。它将要处理文件，检查其在处理时间时是否完整。完整的文件将可从下一计算链获得。

信息弹弓克服了常规技术的缺点，因为其提供了高效率快速可行的框架，用于在长距离上在装置之间共享大量信息。

显著减小了交易延迟。长距离传输接近线速，不需要将文件分成多个部分，也不在发送时分组化或具有可组装的分组。本公开还消除了包头的分组臃肿以及多部分分隔符边界。直通式传输比存储并转发IP分组处理效率高得多。对文件写的高级错误检测和校正进一步提供了更高效率。

信息交换的性质从顺序分组传输转换成长距离平行多线程文件传输，平行文件被保存到远程区域中的存储器更有效率。

还有增加的益处，即可经由RDMA访问文件更高可用性，RDMA包含结构和扩展有效载荷，方便更大数据的传输。RDMA具有向/从存储装置的超快的读和写，不必通过主机，因为这在起点和目的地两处都绕过堆栈。

由于IP协议的性质造成的瓶颈和阻力点也通过本公开避免了。通过向远程PFS保存完整的文件以供另一装置拉取和使用，不再需要分组化。

将分组化通信的往返RTT性质解耦到单向发送文件减少了传输时间。另一个不明显的优点是主体数据可能在文件大小上可变。

对于常规技术而言，如果要传输的数据比分组的有效载荷大小指定的更大，它将被分成多个部分，从而将需要多次往返实现传输。这增加了大量时间以完成传输和更多处理，以生成并然后验证且重新组装多个部分的消息。信息弹弓提供了点之间已知和一致的传输时间，不需要发送装置分开文件，也不需要接收装置重新组装它。

它克服了由于针对分组链的各种传输时间和处理时间的累积总量导致的延迟。在将分组化以太网IP分组传输时间计算为RTT时间*分组总数的情况下，信息弹弓给出了更精确的定时机制。

信息弹弓可以发送整个文件，不需要将数据分成多个部分的有效载荷，像以太网IP那样通过分组流发送。这还具有积极效果，即保持数据以非常低的水平移动，而无需CPU、RAM或装置的堆栈的其他元件做任何任务。

信息弹弓进一步避免了接收分组流的需求。在其不得不接收分组流并然后彼此验证时，以太网消耗宝贵的时间和资源，确认它们处于正确的次序，然后重新组装数据文件。

信息弹弓(RDMA OTT IB)的核心优点是传输时的并行流、低延迟、无损传输、零拷贝联网、经由直通交换的硬件上的负载减小、在两端绕过主机装置堆栈的RDMA、本地利用平行文件系统(PFS)、单向传输而不需要确认分组、没有RTT、仅有单向传输、无“分组大小”限制。

经由弹弓传输的性质能够改变如何接近传输的构成。数据文件包头和主体数据可能更冗长，还可以包括文件包头和明显的文件末尾(EOF)标记。包括参数、信息数组、算法逻辑框架和更多的主体文件能够允许更多特征丰富的数据传输。被传输的文件之内也可以包括带校验和、安全和其他完整性相关项的数据文件尾。

本公开可以提供通信优点。可以实现以接近线速的速度，接近实时地跨越长距离。在短距离处，能够从现有方法节省时间(微秒)，结果是快速获得远程区域的数据。信息弹弓通过加快传输、简化寻址、允许更大的文件有效载荷以及提供其他优点而改变了如何执行交易。

附图和示例实施例更多描述了常规技术、常规技术的缺点以及本公开的特征，以及这些特征如何克服常规技术的缺点。

网络弹弓和衍生技术可以提供益处，例如，但不限于：a)网络弹弓是一次弹射中的单向快速数据输送；b)可以不需要对流量分组、文件大小不受限、以接近线速传输的第一字节的到达，经由基于可用BW开销缩放的动态并行传输而尽可能快的最后比特达到时间；c)基于弹射的高性能联网(HPN)提供了众多优点；以及d)在更正式公开中会面期间可以论述其他与弹射相关的技术。

基于信息弹弓的金融和其他网络技术可以提供益处，例如，但不限于：

1.经由数据信标脉动器的信息传送-从市场馈送数据的地址问题-等等优点，没有拥塞或丢包导致的损失，数据作为文件大小不受限制的文件被发送。无论源和目标之间距离如何，都有点到点，接近线速的100％可靠性。

2.交易执行次序——以接近线速发生，使得消息类型能够更大，这样能够允许在市场边缘从源主机向目标主机发送复杂算法，在边缘处，可以执行一系列指令，一次发送大量逻辑作为与对个体数据分组相比的一体数据块。

3.区块链——尽管已经对这项技术投入了大量兴趣和关注，但尚未充分解决的一个问题是相关数据的高度导致相当大的文件大小，当前的IP协议不是最有效率的传输。弹弓和对应技术允许以接近线速，以100％可靠性传输整个块链文件。

4.增强的集成必须还要在本地在从客户端/服务器装置到弹射机制的区域之内配合到现有旧式网络的工作流中，信息弹弓的网络部件被设计成增强各地区或区域之间各种网络之间的长距离，并加快它们之间的数据流动。

5.弹跳也可以作为无缝透明段被集成到现有IP框架中，使得：a)许可集成到现有旧式IP路径工作流中；以及b)中间的优化对通过弹跳的客户端流量无缝且透明地利用了弹射优点。

表3-比较以太网IP往返时间(RTT)和光纤骨干(FBB)旧式：

数据源：

https：//www.sprint.net/lg/lg_start.php-ping tests between points

http：//www.verizonenterprise.eom/about/network/latency/#latency- static tables for reference https：//wondernetwork.com/pings/Hong+Kong-dynamic tables-can set base city and retrieve stats

https：//ipnetwork.bgtmo.ip.att.net/pws/network_delay.html-tables*(US)

https：//ipnetwork.bgtmo.ip.att.net/pws/global_network_aVgs.html- tables-global averages

FBB旧式图的源：

专门针对本公开计算的FBB单向旧式。

瞬间粒度

本公开描述各种方法以利用针对瞬间时间的极细粒度支配固定或可变数据处理周期。可以基于包括在周期期间处理项目所需的时间的若干因素动态计算为周期分配的时间。可以考虑时间周期期间的后期处理，利用这一信息通过算法计算可以处理的项目的最大数量极限。向和从应用层都有信息可用。

可以利用一次性触发器执行脚本或程序或例程或其他类型代码块(SW)形式的软件。在一些情况下，这是足够的。不过，有些SW类型需要以规则且重复的时间间隔运行。

内置于UNIX和LINUX系统中的是称为上运行命令(CRON)的调度器，其将执行软件以在特定时间点执行。它还可以设置间隔时间。CRON工作的替代方案会是让守护进程作为背景进程运行，其具有内部时钟，具有设定的时间和其他触发器，在该点，可以启动其他软件工作。理论上，这些会像CRON那样工作，但可以通过更可定制的方式设置。

也可以编写脚本，使得一旦被执行，就保持基于条件而循环，该条件始终不会为真以强制退出，或者基于非常大的次数，其允许以每次其循环都以减少的数量循环。在循环时间粒度少于CRON表建立所需的最小一分钟时的循环时间粒度的情况下，可以采用CRON启动和内部循环的组合。例如，如果每五秒钟会发生特定事件，就可以触发一分钟的CRON，在该SW脚本之内，循环交互十二次(60秒/12循环＝5秒间隔)。

脚本还可以运行，然后在其执行结束时，可以调用自身的新实例以再次运行。这样可以在结束时具有睡眠功能，以在其下一次运行时间之间暂停，或可以设置零秒的睡眠，暗示新调用自身以立即在结束时开始。

相关的管理器可以通过做监测目录之类的事情而充当监视器，在其文件列表被特定数量的文件填充时，这可以触发启动用于处理文件的另一脚本。因此，条件式启动SW脚本基于要达到的非基于时间的因素。这种情况的变化可以基于队列何时被队列中一定量的项目充满，被RAM或队列存储器中的总存储器大小充满，或基于剩余的自由空间或其他因素。

对于软件脚本的循环或执行而言，可以设置内部和外部条件，例如最大执行时间或机制，以尝试并确认脚本或函数或其他例程仅运行一次。这样检查以确认没有复制实例正在运行，以避免两个同时运行的交叠操作，它们可能会彼此干扰。

关键硬件操作是内部系统时钟，很多功能依赖该系统时钟。内部时钟会随时间发生漂移，其他运行得比应当的更慢或更快，因此，经由定期运行软件脚本而更新它们。

设定的执行时间和间隔或者被硬编码到脚本中或作为动态变量，使得互相依赖的脚本/例程/管理器/模块或其他软件能够利用相同的瞬间参数。这些针对瞬间的动态变量可以被设置于数据库中，所包括的平坦文件中，可以被计算或通过其他方式产生。

一个时间触发器可以具有其用途，但偶尔需要保持运行、重新运行代码、脚本或例程，因此触发器需要被自动化。为了保留系统资源，还对这些触发器具有更多控制，需要关联到时间的框架允许调度。

CRON可以在特定一天的特定时间或每X个时间单位或由各种其他日历相关的时间段而运行。CRON指定的最小时间单位是一分钟。对于与特定系统相关的任务而言这是可接受的，例如日志旋转、安排的备份、或其他可以并应当被自动化的例程程序。不过，一些任务需要比一分钟精细得多的粒度，并需要在用户域或用户空间软件应用层更多的监测或控制。

在统计或条件式循环脚本或在当前周期终结时调用自身的脚本的情况下，存在几个问题，但主要问题之一是下一次调用是在未确定的时间进行的。有几种方式跟踪运行时间并增加睡眠功能以尝试以定期间隔发动下一次循环或调用迭代。不过，这仅仅适用于在比间隔时间更少的时间中运行的周期。在周期花费比预期间隔时间更长的情况下，下一次瞬间将迟到，因此可能摆脱下一次周期定时。管理这个进程可能非常快地变得复杂化。因此这样产生了粒度和依赖性的问题。

运行背景进程的守护进程与CRON非常类似，但需要其自己的调度器和管理器支配运行时间。

基于诸如列表长度、队列项目量、自由磁盘空间的因素或其他因素的条件式执行可以在一些情况下很有效率，在其他情况下效率不高且不一致。一些项目可能在队列中卡住不协调的时间量。而且这不会考虑其他因素，因此有时服务器资源利用率不足，然后在其他时间，通过过度使用而被击碎，可能导致其他负面撞击问题。

CRON在每分钟触发的脚本之内的循环是顺序的，因此如果规划在60秒中进行12次循环，那么每个循环分配五秒。如上所述，如果循环仅花费3秒，则可以在循环结束时发出2秒的睡眠，以保持5秒的规则性。在一个或多个循环大于5秒时，出现实际问题，这可能推动脚本时间比60秒更长。在下一次，CRON调度器将调用脚本的下一个实例，其将开始其12次循环的周期。当前运行的脚本的不利问题可能由于文件的交叠处理而导致显著问题，或者在交易处理的情况下，如果两个脚本在执行交易，可能有非预期的副本，或者属于独立进程的孤立步骤或其他问题。

常规技术还有其他缺点，这些主要应对毫秒(ms)的粒度，甚至诸如微秒(μs)的更细时间粒度。

在计算时，用于联网的时间的当前主要或标准度量是毫秒(ms)，用于一些处理的是微秒(μs)。极短时间的粒度例如可以被度量为毫秒的分数(每1/20或1/10或1/100)或小数(0.05、0.1、0.01)。在调度软件脚本、例程等的运行时，在其被触发运行时，需要对其有更大控制。对于非常细的时间粒度，例如在以ms或μs度量间隔时间的情况下，需要智能管理器以调节瞬间时间粒度。

这种管理器需要准确的且最新的系统时钟。内置于管理器中的是时间更新器，以保持系统时钟尽可能与实际时间同步。可以利用最好品种的协议算法，例如交叉算法或Marzullo算法。

这种瞬间管理器还依赖于系统资源管理器、理解系统处理任务以及其他物理能力(和约束)，以及其他因素，以将其估计依据脚本或例程或其他软件调用周期应当花多少时间完成其运行。

通过还查看项目以处理之前进行处理，可以做出更合理的时间估计。在瞬间应当花费多长时间的算法计算中，在计算差异t或从瞬间开始到结束的时间量时利用了三个主要因素。

该瞬间粒度基于若干因素。瞬间的开始时间基于瞬间调用的上一周期的完成或根据调度的固定时间间隔。

可以有两种周期：

固定时间周期基于对处理(P)每个项目并随后应对后期处理(Q)的时间的估计，设置有限量的项目。这种限制确保了每个周期不会超时间运行。

可变的时间周期允许所有项目在该批次(batch)中被处理。R延迟时间确保下一个周期拉出新批次，且上一被处理批次中的所有项目都已经被处理(P)且该后期处理(Q)已完成。例如，对于队列中的文件，可以在P页处理列表，然后可以标记、移动、删除或通过其他方式接触文件，使得它们不会在下一批次中被拉出。该时间延迟(R)确保了在上一批次中被处理且经后期处理的最后项目和下一批次中要处理的第一项目之间有足够的延迟。

这瞬间管理器的构成部分要维护每个周期的运行时间数据的历史记录。这些记下的记录可以用于分析使用不足和峰值使用的时间。它还可以检测由于未处理项目因为每个周期要处理的量的时间有限被截止造成的延迟。如果太常发生这种情况，那么这是一个指标，即需要更多处理能力，软件效率不高，或者可以表示其他问题，例如数据库变慢或软件重构的其他需求，或解决问题的其他补救措施。

该瞬间可以具有应用要求那样细的粒度，可以被设置成以固定间隔运行，基于周期长度或其他因素以可变间隔运行。该瞬间粒度允许一致的网络信标闪烁、弹弓相关的功能以及其他依赖于时间的功能。

对于更多特征而言，参见在附图及其描述中给出的示例实施例。瞬间粒度依赖于计时器、时间电路、时间保持软件、逻辑、时间更新器和其他时间保持和同步技术，以正常工作，以便它们为内部时钟和其他机制提供准确的系统时间。瞬间粒度构建于这些时间机制之上。

通过动态变量并基于始终变化的条件设置固定时间周期的瞬间粒度。队列中的项目数量也可以由动态变量或其他因素设置。一直测试、监测资源，记录当前性能，与过去性能对比，确定系统负载要求和其他智能方法提供了很大能力判断每个瞬间进行处理(P)、后期处理(Q)和延迟(R)应当花多长时间。知道了每个项目在瞬间调用的周期期间应当花多少时间被处理，允许在后续瞬间周期期间处理项目极限的设置。

可调节的飞行中瞬间管理器和度量能够指示系统健康，标识升级需求，并还可以被加工成分布式处理配置，以根据需要和可用性按需拉取资源。工作中的算法分析支配着可以处理多少项目，均衡可用资源与那些资源可以物理处理多少。可预测性和可靠性是结果。

也可以基于动态用户要求和该状况的语境现实相应调节瞬间之间的间隔。这样在极细时间粒度处高度控制瞬间管理器，例如ms或μs，由于若干原因而是有利的，例如：

●防止在固定瞬间调用期间批处理中的交叠

●可以检测并控制逃亡进程

●可以识别代码的低效率状况，允许开发框架以用作研究、诊断以及更重要地，解决问题的依据。

●这样提供了更有效率地利用硬件(HW)的方法。

●其他优点对于本领域技术人员将是显而易见的。

瞬间粒度形成可靠时间间隔的基础，在其上可以构建其他软件应用。例如，对于网络信息而言，设置成Xms周期的脉冲的信标，或弹射或其他类型的时间敏感应用。

也可以使监测数据可在软件层可用，从而其针对当前状况调节其操作，并使时间相关信息在非常高的层级被利用。

固定时间周期或时间可调节周期的选项可能有益于不同情形。通过让管理器运行并监测周期，在周期比预期运行更长时间的峰值使用期间，在需求较少的时间期间，那些后续周期可以运行更短时间，以使周期回到规则周期，在其先前被延迟的情况下跟上进度。

这一管理器及其数据容易作为流管理器集成到现有架构中以实现益处。通过对瞬间粒度具有更多控制，还可以实现其他应用和益处。

发明内容

公开了在网络环境中进行文件传输和处理的系统和方法。在一个实施例中，该系统可以包括包括一个或多个处理器；该一个或多个处理器可以耦接到第一装置。该一个或多个处理器可以被配置成从文件队列检索文件。该文件可以存储于第一装置的本地存储器中。该文件可以从第二远程装置经由远程直接存储器访问被传输。该一个或多个处理器可以进一步被配置成判断文件是否完整。该一个或多个处理器可以进一步被配置成，如果判定所述文件是完整的，从所述文件队列去除所述文件。

根据该实施例的其他方面，所述第二远程装置可以是骨干交换服务器。

根据该实施例的其他方面，所述系统还可以包括所述第一装置和所述第二远程装置之间的专用链路。

根据该实施例的其他方面，其中所述文件可以包括包头、主体和文件尾。

根据该实施例的其他方面，其中所述文件尾可以包括指示所述文件结束的标记。

根据该实施例的其他方面，其中所述文件可以包括密钥值对。

根据该实施例的其他方面，其中所述文件尾可以包括校验和以验证所述主体的完整性。

根据该实施例的其他方面，其中所述远程直接存储器访问可以基于无线带宽或光纤信道的至少一种实现的。

根据该实施例的其他方面，其中所述文件可以包括可执行代码。

根据该实施例的其他方面，其中所述一个或多个处理器可以进一步被配置成：如果判定所述文件完整，执行如下操作的至少一项：在所述文件上设置标志，将所述文件移动到文件夹，或从所述本地存储器删除所述文件。

在另一个实施例中，公开了用于管理分配用于处理任务的时间粒度的系统和方法。在一个实施例中，所述系统可以包括一个或多个处理器，所述一个或多个处理器被配置成确定处理任务所需的持续时间。所述持续时间可以基于处理所述任务的第一持续时间、与所述任务相关的后期处理的第二持续时间以及作为延迟的第三持续时间进行计算。

根据该实施例的其他方面，所述任务可以包括批处理。

根据该实施例的其他方面，所述持续时间可以至少以微秒或毫秒之一为单位。

根据该实施例的其他方面，可以基于针对所述持续时间的运行时间数据的历史记录调节所述持续时间。

根据该实施例的其他方面，所述第二持续时间可以包括更新所述任务状态所需的时间。

附图说明

为了方便更完全地理解本公开，现在参考附图，其中类似元件以类似数字或标号援引。这些附图不应被解释为限制本公开，而意在仅为例示性的。

图1示出了长距离数据路径各段的距离比较。

图2示出了长距离交易的示范性问题。

图3示出了现实世界中的示范性常规技术执行。

图4示出了当前技术的低效率。

图5示出了GVN拓扑，包括因特网或暗光纤上的骨干段。

图6示出了常规技术-文件作为多部分传输，经由通过TCP/IP的分组化传输而发送。

图7示出了挂毯上的拓扑-HPC功率。

图8示出了通过长距离保存到PFS的文件的示范性工作流。

图9示出了传统客户端服务器REQ RESP和后端DB复制(多主机)。

图10示出了经由RDMA的信息弹弓-指向Db。

图11示出了经由RDMA的信息弹弓-排队文件。

图12示出了经由RDMA的信息弹弓-排队文件的独立性，SRV_ACC进行跨DB的验证。

图13示出了信息弹弓的示范性使用情形-从市场到交易桌的市场信息中继。

图14示出了信息弹弓的示范性使用情形-从客户端源到市场的交易执行请求。

图15示出了信息弹弓的示范性使用情形-从市场回到客户端的交易结果。

图16示出了信息到文件写，然后读的进程等的示范性工作流。

图17示出了信息到文件写的示范性工作流。

图18示出了读文件并处理的示范性工作流。

图19相对于文件包头/文件段：包头、主体数据、文件尾，示出了信息弹弓的示范性实施例。

图20相对于弹射、在PFS中存储并处理来自存储库的文件，示出了信息弹弓的示范性实施例。

图21示出了相对于收割文件队列以收取主体数据加以分析和使用的信息弹弓的示范性实施例。

图22示出了相对于文件主体数据和EOF的信息弹弓的示范性实施例。

图23示出了相对于文件进程流的信息弹弓的示范性实施例。

图24示出了诸如复制处理等文件拉取队列的潜在问题。

图25示出了仅对未被标记为在瞬间期间被读取的文件进行批量拉取的同步的示范性实施例。

图26示出了后期关键性后端流程(以写到远程)的示范性工作流。

图27示出了后期关键性(以从PFS读取并处理)后端流程的示范性工作流。

图28示出了用于信息弹弓的示范性系统图。

图29示出了分层网络织构到网络挂毯中的结构化组合。

图30示出了各种网络织构形成挂毯的示范性顺序层。

图31示出了常规技术-CRONS。

图32示出了常规技术-循环。

图33示出了常规技术-递归-脚本调用自身。

图34示出了循环的问题。

图35示出了差异时间＝P+Q+R。

图36示出了各种周期的定时，其中X≠Y。

图37示出了各种周期的定时，其中X是相容的。

图38示出了从弹弓实现增益的距离阈值。

图39示出了批次相对于标记文件的同步。

图40示出了瞬间粒度。

图41相对于可变时间间隔示出了瞬间粒度。

图42相对于瞬间调节示出了示范性算法。

图43示出了人工智能分析、粒度和周期。

图44示出了瞬间分量的示范性部件。

图45示出了信标闪烁中的示范性瞬间使用。

图46示出了信标多次脉冲中的示范性瞬间使用。

图47示出了交叉点处信标中的示范性瞬间使用。

图48示出了瞬间粒度的示范性系统图。

具体实施方式

图1示出了长距离数据路径各段的距离比较。本示例实施例描述了连接任一端的网络的两个端点之间的专用线路。常见的错觉是，通过光纤进行的长距离通信是以光速行进的，不过，与光速相比，真正的线速最好只有68％的效率(参见本文的表2)。对于例如传递金融信息、做出交易请求、接收确认或某种等价类型的信息交换的长距离通信数据传输而言，已经做出了大量工作以使路径尽可能高效率。尽管通过在任一本地区域持续创新有可能做出提升，但在这些本地区域之一或两者接收的相对时间量(差异时间(Δt))远小于长程WAN0154的时间。

本示例实施例展示了区域A 0100中的网络链接到区域B 0120中的网络，由通过光纤骨干链接FBB 0130的专用路径连接。FBB 0130在两端由端点装置(EP)0102和EP 0122连接，它们在通过FBB 0130的桥的任一端0132和0138处充当锚。

最短距离在每个区域，本地区域A 0150和本地区域B 0152的每个之内。最长的距离在长程WAN段0154上，就是在这个段上，可以实现最大的改进(例如，传输方法-通过最长段的最大距离-FBB 0130)。

根据数据的端到端传输的定时，从区域A 0100中的网络的装置到区域B 0120中网络的装置由网段的三个块构成。本地区域A0100从0100中的装置经由通信路径0106到达端点0102。

区域之间的长程是从EP 0102经由通信路径0132从EP 0102到FBB 0130，在另一端经由0138到EP 0122。最后，本地网段0126从EP 0122到区域B 0120中的装置。

在诸如金融交易指示或信息传输的情形中，长程WAN 0154段可能代表端到端0100到0120所需时间的显著和主要部分。因此，必须要改善长程WAN 0154段的连接性。

图2示出了长距离交易的示范性问题。本图是基于图#1的示例实施例，将网络两端的路径经由路径02302和02306从EP 02100和EP 02200延伸出去。

在EP 02100所在的区域A以及EP 02200所在的区域B的每端，它将EP链接到LAN02102/02202，还示出了每个LAN上的进出点(EIP)02106/02206，经由诸如02116和02216的连接路径通往EIP 02106和EIP 02206处的因特网02108/02208，接着是通往存在点(POP)的标准网关，通往当前广泛使用的因特网方法。

例如，图示的每个LAN 02102/02202和因特网区02108/02208都具有连接到那些网络的各种装置。对于每个LAN，例如LAN 02102，装置分别经由02156和02158连接到它，例如服务器SRV_A02122、客户端C_A02126和平行文件系统节点(PFS)PFS 02128。因特网，例如因特网02108具有两个服务器SRV_A02132和SRV_A02136，经由通信路径02162和02166连接到它。

在实际使用情况下，与本文所述相比，可以有相同量的，或者或多或或少装置连接到每个网络区域LAN 02102、因特网02108、LAN 02202、因特网02208。这些连接的装置的量和类型仅仅出于例示的目的。

可以利用其他装置，例如路由器、防火墙、被管理的交换机、服务器和其他类型的装置能够支配流量如何能够在各种网络之内和之间流动。

图3示出了现实世界中的示范性常规技术执行。本示例实施例描述了位于三个地区，北美、欧洲和亚洲，世界主要金融市场的一些中的弹弓节点之间的放置和连接。

如右下角的图例框03000中所述，本文所述的每个金融市场从联网角度讲被描述为全球节点03008。在全球节点附近，两个环表示连接质量区的类型，例如，半径从市场或交换所在的中心开始算。这仅仅是为了简化，因为很多因素决定着这些区域的尺寸和形状。不过，两个区域可以彼此被区分，因为最近的一个是高性能区域03006，另一个是最优服务区域03002。

市场经由高性能网络链路彼此连接，以共享定价信息，还方便处理交易订单，并提供交易的交易确认，以及从远程位置到另一位置市场的其他信息。

市场距查询客户端或服务器或其他类型的装置越远，信息流动所花的时间就越长，包括定价、体积或其他实时市场信息、交易请求、订单完成与否的完成确认或其他类型的数据交换。

本文指示的区域为：

●NYC 03100，美国纽约州纽约

●LDN 03110，英国英格兰伦敦

●TOK 03120，日本东京

●HKG 03130，中国香港

全世界有很多其他市场，它们是有意义的，但出于例示的目的示出了标识的那些。在每个市场，例如NYC 03100和LDN 03110之间的03200之间还示出了路径。实际上，有多条路径代表两个点之间的海底光缆。这意在简化本文例示的示例。

点之间的延迟越低，就能够越快知道市场信息，并可以执行和处理越快的交易相关信息。

图4示出了当前技术的低效率。本图描述了通过IP网络传输的数据的分组化的常规技术。

本文描述的通信路径从起点04110到终点04210。

LAN_A 04100连接到WAN 04000并到达LAN_B 04200，作为例示分组化信息流的过程流。在步骤04112在装置上准备信息并向服务器或经由服务器04120发送。本图展示了在IP发送/IP接收过程中发送分组流。

路径04322、04332、04352、04522、04532、04552、04622、04632、04652是多个多分组发送分组之一的发送。路径04326、04336、04356、04526、04536、04556、04626、04636、04656是表示其被接收的分组确认。丢失的分组将不会到达目的地装置，因此这一确认将不会被发回起始装置。分组也可以到达目的地，但用于确认传输中丢失。

用所允许的总分组大小减去包头大小，减去文件尾大小，等于单个分组有效载荷允许的最大大小。

为了计算总有效载荷大小：

有效载荷大小＝允许的有效载荷大小-包头大小-文件尾大小

发送大小为X的数据文件所需的总分组数量为：

因此，需要将更大数据大小分组成分组流。

这幅图示出了示例，其中，可以在装置之间中继分组，而不是仅仅传递分组，其中在超过一个阶段中，将数据分解成各个分组，然后一旦在过程处接收到所有分组就重新组装成数据文件，如IP发送分组04116到IP接收分组04118中所示。

例如，SRV_A 04120可以向市场或其他数据源查询信息，并将在本地缓存它们，之后经由IP发送分组04006向IP接收分组04008向SRV_B 04220复制该信息。

继续沿该线路下去，客户端可以通过IP发送分组04216到IP接收分组04218向SRV_B04220查询来处理信息04212。

关键点是将数据分组成分组允许大型有效载荷，然后可以沿通信路径多次发生在目的地或源的重新组合。

图5示出了GVN拓扑，包括因特网或暗光纤上的骨干段。在国际专利申请PCT/US15/64242从远程网络区域进行内容检索的系统和方法(SYSTEM AND METHOD FOR CONTENTRETRIEVAL FROM REMOTE NETWORK REGIONS)中，有一个特征，其中将超过一个文件汇总到一起成为更大文件，以通过文件传输经由“链式高速缓存”从一个地理区域向另一个地理区域发送。这个特征要有利，该文件传输需要尽可能快。作为一堆各种数据有效载荷“文件”的传输，本公开的信息弹弓方法比常规技术方法更快地从世界一端向另一端移动更大的数据块。

可以如图5中如下所述那样在拓扑之内利用本公开：

地区或区域ZD2 05500中的SRV_BBX 05508可以经由通过暗光纤织构05808的暗光纤连接05818连接到其他地区或区域ZD305600中的SRV_BBX 05608。

SRV_BBX 05508使用本公开，经由路径05650，通过05818绕过SRV_BBX 05608的堆栈，经由远程直接存储器访问(RDMA)向平行文件存储器PFS 05620直接写入文件。

SRV_IBX 05608使用本公开，经由路径05550，通过05818绕过SRV_IBX 05508的堆栈，经由远程直接存储器访问(RDMA)向平行文件存储器PFS 05520直接写入文件。

路径05812可以是IPv4或某种标准化互联网协议，在其上，流量经由GVN 05802顶端的路径05812，经由隧道或其他类型的通信路径，从SRV_AP 05510向和或从SRV_AP05610流动。本实施例示出，可以将各种类型的网络织构组合成更大网络挂毯。这些织构可以被无缝编织在一起，如美国临时专利申请No.62/174,394中所述。该信息弹弓可以是独立的方法，或者可以被集成为由各网络段构成的更大网络路径之内的网段。

本示例实施例示出了全局虚拟网络(GVN)的拓扑、其各种装置、通信路径和其他实施例。它示出了如何在各种类型的路径上将各种地理地区或区域或陆地连接在一起。

图例：

ZL0-LAN区域0，ZL1-LAN区域1，ZI0-因特网区域0

ZI1-因特网区域1，ZI2-因特网区域2，ZD3-因特网区域3，ZD2-因特网数据中心2，ZD3-因特网数据中心区域3

图6示出了常规技术——文件作为多部分传输，经由通过TCP/IP的分组化传输而发送。作为图4的扩展，在数据有效载荷包含大于有效载荷允许大小的结构化数据文件时，可以经由IP多部分文件传输发送它。

在这种情况下，需要额外的包头和可能更多文件尾信息来表示哪件多部分文件包含在分组的有效载荷段中。在“保存”文件时，它被保存到分层级文件系统(HFS)06120，06320，发送是从这个HFS读取保存的本地文件，并在经由发送文件06200所需那么多的分组对多部分文件传输进行分组化。在文件被接收时，过程接收文件06220将读取每个分组，确认它们秩序正常，然后将获取多部分传输的每个部分，并逐个部分将文件缝合回一起。

重新组装的文件被保存在主机装置06310中的HFS 06320中。

图7示出了挂毯上的拓扑——HPC功率。本示例实施例描述了两个EPD 07100和07200连接到网络拓扑，例如全局虚拟网络(GVN)07000之内的SRV 07300。

这是这种网络的简化，但被设计成例示PFS如何可以在四个地区之间分布存储装置。

挂毯中的每个通信路径都可以运行各种织构协议。可以经由远程直接存储器访问(RDMA)，通过诸如无限带宽(IB)的协议或允许对平行文件系统(PFS)中分布式节点进行本地RDMA访问的其他协议，访问PFS，例如LAN 07120或LAN 07812内部的PFS 07810、PFS07812或云中的PFS 07800或PFS 07802上的文件存储器。关键点在于，可以通过GVN赋予的拓扑实现高性能计算(HPC)的基础。

图8示出了通过长距离保存到PFS的文件的示范性工作流。本图描述了经由RDMA从一个装置08000向另一个位置中的PFS 08200保存文件08100，接下来由另一个装置08300检索PFS 08200的文件。

流程中从开始08000进行的步骤可以是装置产生文件，传递文件，拉取文件或通过其他方式处理文件，例如文件08100。路径08120描述经由RDMA直接向PFS装置保存文件，从一个地区向另一个地区直接向存储节点装置写入。

相对于PFS装置所在的地区，经由路径08220在PFS 08200步骤上从队列08300检索文件可以是本地也可以是远程的。

结束08600意味着访问文件，例如读取、加载或通过其他方式使用文件。

图9示出了传统客户端服务器REQ RESP和后端DB复制(多主机)。本示例实施例描述了经由REQ1 09500和RESP2 09502路径的当前IP请求/响应框架。

由SRV_APP 1 09020保存在诸如HFS 09040的本地HFS上，以及由SRV_APP 2 09220保存在HFS 09240上的文件。SRV_APP可以代表应用服务器或其他类型的装置，并出于例示目的被标记。WAN 09100可以是LAN/因特网/专用线路或其他类型的网络连接。

MMDBR#是指多个主数据库副本。在这样的部署中，数据库表格和字段结构定义是等价和相同的。每个主机都具有行上的起始号码，自动递增等于主机数量的偏移值。例如，在仅有两个数据库附接到主主机的情况下，DB_1会具有行号1、3、5等。DB_2会具有0、2、4、6、8、10等ID行编号。也可以替代使用另一种抗冲突方法。

数据库复制可以是自动化或人工的或其他进程，其中将每个DB_1 09050和DB_209250的内容复制到另一个。为了保护数据不被盖写，行偏移通过确保两端之间没有相同的行ID来完成这种保护。

图10示出了经由RDMA的信息弹弓——指向Db。本示例实施例采用一种方式尝试并加快通信。这可能是RDMA直接向用于远程地区中的数据库的存储介质发送整个数据库表格和内容。这对于静态、未使用或通过其他方式锁定的数据库的表格结构和所有数据行是好的。在向离线从机器进行复制，之后使其(返回)在线时，可以使用这种方法。

不过，这种方法对于单个行或少量行不是有效的，还可能导致同步出现问题。

因此，在使用这种方法之前，需要在MMDBR1 10510和MMDBR2 10512处需要传输期间数据库的锁定以在DB 10050和10250之间传送消息，以确保它们是同步的。这给系统增加了不希望的拖累。

这个示例可能不是弹弓的理想利用。

图11示出了经由RDMA的信息弹弓——排队文件。骨干交换服务器(SRV_BBX)在大管道上灌输极好连接的属性并具有很强通信能力。

这幅图示出了SRV_BBX 1 11080经由RDMA 1 11600直接向PFS 11802写入文件，SRV_IBX 2 12280经由RDMA 2 11610向PFS 11800交叉发布不同的文件。

数据有效载荷被有效率地传输。在每侧分别保持传输记录，表示接收到哪些文件。多个主DB复制具有使用奇行的DB_1 11050和使用偶行的DB_2 11250。在本示例中，对数据库复制机制存在依赖，以跟踪多主机复制事件。因此可能接着发生同步问题。在装置可以执行远程写入以及获得其自身可能显著有害的确认的长延迟的时间之间也有显著滞后的可能。因此有速度差异以及可靠性鸿沟需要在耦合超快RDMA写和传统数据库信息复制之间克服。

这一示例实施例不会例示弹弓的理想实施方式。向远程PFS装置保存是有效率的，但使目标地区中的SRV_APP意识到该文件不够快也不可靠。

图12示出了经由RDMA的信息弹弓——排队文件的独立性，SRV_ACC进行跨DB的验证。这一示例图例示了完整解耦在活动意义上往返传输数据库记录的需求。在本示例中，SRV_BBX，例如SRV_BBX 1 12080将向PFS 12802发送文件，记录将被存储在SRV DB 1 12030上，进入本地数据库DB_1 12050中。它将在那时离开。

因为RDMA的可靠性，一旦文件被保存到PFS存储节点中，就会相信它在那里。账户服务器(SRV_ACC)，例如SRV_ACC_1 12060和SRV_ACC 2 12260彼此通信以为所接收的传输编目。这同样不是弹弓的理想方式，并指向将弹弓方式从当前在IP上采用的方法解耦并拥抱弹弓能力的需求。

图13示出了信息弹弓的示范性使用情形——从市场到交易桌的市场信息中继。作为弹弓的示例，在金融行业中，可以经由TCP/IP请求并接收市场信息，例如定价和体量，或者可以由UDP/IP多播从源向目的地发送它。TCP/IP的请求和检索需要往返RTT时间。UDP/IP发送对于有用的信息仅仅是单向的(确认对发送方不那么重要)，不过，由于IP和分组化传输的低效率，仍然有显著的拖累。

使用当前的分组化IP技术，甚至是UDP/IP多播方式也不是最有效率的。

这幅图包含示例实施例，该实施例描述一个地区区域A 13000中的装置DO 13100收集信息，然后向前流动，将该信息传输到区域B 13200中的装置。

收集视场信息13120以准备文件内容13130以向远程PFS 13180弹射文件的步骤在DO 13100上。经由13882向存储装置S213800上的平行文件系统(PFS)节点PFS 13880弹射。在IB 13882或等价网络类型上的RDMMA，相对于通过以太网上的TCP/IP或UPD/IP传输文件有众多优点，主要是因为该文件不需要被分组，但也因为分组如何被应对，以及IB上RDMA的效率。

在装置D2 13300上由经由路径13382从PFS 13380逐个文件检索的进程检索PFS13880上保存的文件。可以同时检索单个或一批多个文件。

后续步骤13332到13325到13320描述使用来自文件起点的远程地区中的文件。不再需要装置DO 13100和D2 13300彼此沟通文件自身的调度或传输或使用。

图14示出了信息弹弓的示范性使用情形——从客户端源到市场的交易执行请求。本示例图还示出了金融行业使用情况语境中的弹弓，展示了从装置D2 14300下交易订单并最最终由装置D1 14100使用的简单效率。它从14310开始，在14100结束。它是图13中所述路径的反向路径。

关键点是两个装置都彼此独立地工作。仅在D214300希望下指令以在D1 14100上执行交易时，才有通信事件，但也不是从D2 14300直接到D1 14100，而是D2 14300在平行文件系统(PFS)14000上保存一个或多个数据文件件。一旦写入文件，D2 14300就能够移动到其他事物上。

D1 14100具有根据时间间隔运行的自动化过程。参见图24和25了解这一间隔。这种自动化进程将查看PFS 14880以检查14180是否有任何新的未标记(为标记为已读)文件要由其检索并处理。

这种方式对于交易订单，例如交易执行请求而言效率很高。装置D1可能与市场尽可能近。装置D2可以是客户端终端或与访问它的客户端非常接近的服务器。关键点在于可以在尽可能接近线速的地方发送交易有效载荷。

这是有利的，因为能够发送大的文件大小，这种机制可以用于发送/接收一直生长的高度(数据大小)的数据块链、algo-bots(要远程执行的智能算法)和其他大于分组大小的有效载荷。

图15示出了信息弹弓的示范性使用情形——从市场回到客户端的交易结果。本示例非常类似于图13和14，因为装置D1 15100和D2 15300是独立工作的。它们之间的通信经由一个装置15100向PFS 15880发布的文件15882，并通过在另一个装置15300上运行15380的进程检索这个文件。它们通信，但所有膨胀都从交换切割。

这幅图的差异是来自市场15120和交易执行通知15320的示例实施例确认。

D1 15100和D2 15300可以全部发生于同一装置之内或经由由D1 15100和D215300代表的区域中的不同装置之间的分布式操作。

图16示出了文件写，然后读，处理等信息的示范性工作流。这幅图将弹弓简化成线性进程流，并且是一般性的，未特定参考金融或任何其他行业。

这幅图从开始16000开始该过程，经由路径16010到达信息16100步骤，以经由16110评估并准备信息16200，或者作为文件的拷贝或将信息构造成专门为经由RDMA经由16210向PFS 16300远程保存而设计的文件。这一被保存的文件将由经由路径16310的进程从PFS上的队列检索文件16500获取。文件内容将由步骤解析文件内容16600经由路径16510进行语法分析。经由路径16610到达的结束步骤16900暗示可以使用该文件。关键点是可以将这个过程简化成几个关键步骤。

图17示出了信息到文件写的示范性工作流。这幅图基于图16。它通过仅示出从信息17100到该文件被保存在PFS 17300的阶段进一步简化了流程。

图18示出了读文件并处理的示范性工作流。这幅图也基于图16。它还进一步简化了流程，但这次仅示出从PFS 18300上的文件被过程在PFS的队列中查询文件1850获取开始的阶段。文件内容将由步骤解析文件18600进行语法分析并终结于结束18900。

图19相对于文件包头/文件段：包头、主体数据、文件尾，示出了信息弹弓的示范性实施例。信息弹弓的本示例实施例描述了在三个定义段中组织的数据文件；包头信息19100、包含主体数据的有效载荷19200以及文件尾19300。

这个文件可以存储在RAM、存储器中，保存到磁盘，或通过其他方式存储在装置或其他装置上的另一种形式的存储器或存储装置中。

包头19100可以包含关于主机起点、主机目的地、时间戳和其他信息的信息。

安全信息可以存储于包头19100和文件尾段19300两者中的字段中。这种安全信息可以保持对密钥的援引，以用于对有效载荷19200以及其他信息解密。有效载荷(主体数据)可以完整或部分加密或不加密发送。

文件尾中的有效载荷校验和用于验证主体数据的完整性。

其他特征可以利用所提供灵活性的优点。

显著的优点是有效载荷中可以有算法作为有效载荷的部分被发送。

文件尾19300中的EOF标记将指出文件已经到达，是完整的并准备好验证/检验精确性并然后最终被使用。

在金融行业的范围中，有效载荷19200中远程执行的算法例如可以包含退出条件，其被指示如果市场条件改变则采取预定动作，利用算法指令评估市场变化的方向，然后相应修改指令，以：

-取消

-逆转

-加强

-或通过其他方式改变指令

图20相对于弹射、在PFS中存储并处理来自存储库的文件，示出了信息弹弓的示范性实施例。这幅图组合了图8、图12到19中建立并例示的原理。增加文件队列管理器(FQM)20810管理文件成批次拉取的间隔，检查文件的完整性，并进行其他文件相关的动作。

FQM到PFS 20880上的文件20888的连接经由路径FQM 20386，FQM和从PFS 20380上的队列检索文件之间的协调经由路径FQM 20388。

这幅图还详细展示了文件20850的每个段、包头20852、有效载荷20856和文件尾20858以展示示例字段。在包头20862、有效载荷20866、文件尾20868中。

这些示例字段被展示为信息的密钥＝值对，并仅出于例示的目的。数据可以存储在另一种数据结构中，字段可以与这幅图中描述的不同。

图21示出了相对于收割文件队列以收取主体数据加以分析和使用的信息弹弓的示范性实施例。这幅图开始于21000并展示了文件队列管理器21100从PFS 21800向RAM21900中拉取一批文件。检查收集过程21120拉取的文件的完整性21300。在21380中列出了已经到达的完整文件21802、21804、21806、21808，在21340中列出了不完整文件21814。这是本图的过程流在21990结束的地方。暗示是诸如文件21814的不完整文件21340将在完成时被后续过程拾取。

这幅图是图20和21中描述的内容的算法表达。

决策门查看是否每个文件都是完整22300，暗示其将查看文件队列管理器22100从PFS22800拉取的每个文件。如果文件22802、22804、22806、22806是完整的，将经由路径是BFP 22510处理它，并最终使用。如果不是完整的22410，那么将忽略22440文件，其处理将经由BFP22448在结束22990处结束。

结束22990暗示文件队列管理器22100的操作结束。

图23示出了相对于文件过程流的信息弹弓的示范性实施例。这幅图是图22中发生的内容的后续描述，增加了元素，例如将文件列表23590上的每个文件经由文件路由FR23620拉取并标记到同步过程处理文件23610的步骤，经由文件路由FR 23622处理文件23612，经由文件路由FR 23626处理文件23616，经由文件路由FR 23628处理文件23618。还有两种不同的端点——END 23990是完整文件经由文件路径FP 23630、23632、23636、23638被处理之后完成的地方，读“标志”表示文件已经被读过，其是完整的且被使用过。这些文件将不会被后续批次文件拉取23120拉取。

结束23940暗示已经忽略文件，因为它是不完整的，23400表示它将在从PFS 23800的后续文件批次拉取期间被再次读取。

图24示出了诸如复制处理等文件拉取队列的潜在问题。这幅图描述了在从开始24000到结束24990的一段时间内从PFS 24800拉取文件批次。时间被描述于两个轴上，时间间隔在顶部，批次沿左侧。

时间间隔A 24500和批次拉取A 24600发生于相同时间。使用24602发生在这个时间间隔的末尾。时间间隔B 24500和批次拉取B 24610发生于相同时间。使用24612发生在这个时间间隔的末尾。时间间隔C 24500和批次拉取C 24620发生于相同时间。使用24622发生在这个时间间隔的末尾。让一个时间间隔恰好在一个结束之后开始导致存在一个问题，因为可能没有足够时间将文件标记为读，尽管其已经被先前的批处理读过。

例如，文件25802由批次拉取(batch pull)A24600和批次拉取B 24610两者拉取。这还在文件25808时再次发生，该文件由批次拉取B 24610读取，还由批次拉取C 24620拉取。

这是非常危险的缺陷，例如，因为交易请求被执行两次可能会由于意外后果而导致显著的金融或其他损害。

标记为已读可能涉及在存储装置上的文件记录上设置标志，或将文件移动到不同文件夹中，或者将在移动之后将其从存储装置删除，或“标记”它的其他方式，使得后续批次知道文件已经被先前批次拉取读取并“使用”。

图25示出了仅对未被标记为在瞬间期间被读取的文件进行批量拉取的同步的示范性实施例。这幅图在所有方面都与图24相同，只是图25包括间隔A 25500和间隔B 25510之间的延迟A25505(以及批次拉取A25600和批次拉取B 25610之间的延迟A25605)。

在间隔B 25510和间隔C 25520之间还有延迟B 25515(以及批次拉取B 25610和批次拉取C 25620之间的25615)。

关键点在于，这一延迟允许当前批次评估并处理器拉取的所有文件，且在其利用完整文件的情况下，将那些文件标记为已读。增加到该机制的这种延迟完全动态，如果批次需要更多处理时间，可以被延长，或者缩短到完成批处理。也可以基于若干因素动态调节间隔时间。瞬间粒度描述Δt＝P+Q+R。t＝从瞬间开始到瞬间结束的差异时间，P＝周期中针对这瞬间的项目批处理的时间。Q＝后期批处理计算所用的时间。R＝确保批项目之间没有交叠和/或设置瞬间之间偏移的延迟时间。

图26示出了后期关键性后端流程(以写到远程)的示范性工作流。这幅图描述了指向远程地区中的PFS 26860的写过程的算法逻辑。它开始于开始26000，以经由路径CP26010准备执行26100。该流程然后经由路径CP 26110到达结合点26120。在结合点26120处，该流程经由路径CP 26130和CP 26150分叉成两个流。这些流彼此同时运行并且是独立的。

路径CP 26150从结合点26120到使用过程，例如向远程PFS 26860写入文件。该写入是由向远程PFS写文件26300经由路径CP 26810完成的。

另一条路径CP 26130供数据库记录保存和记录日志。Db记录经由过程保存在DB_26200在本地保存在DB_26250中。日志记录备份或其他相关文件经由保存在日志中26220过程存储在本地HFS 26240中。远程写入结束于结束26998。数据库和日志保存的管理流程结束于结束26990。

图27示出了后期关键性(以从PFS读取并处理)后端流程的示范性工作流。本示例实施例描述了支配批次拉取27100并从PFS 27180读取文件以在本地处理的算法。在读取文件时，检查其完整性27200。如果其确实完整，将其标记为已拉取27188，使得进程27100的下一批次不会重复读取。参见图25以了解它如何解决图24中所述拉取复制文件的问题。

与处理并行且同时地，经由保存在DB_27320to Db_127350和在日志中保存27600的日志记录向HFS 27650上的日志写入注释记录。

仅在该文件完整吗27200处文件有效载荷的计算校验和等于文件尾嵌入的校验和时，可以将文件标记为已读且完好27188。

使用这个文件27220暗示将利用文件结构之内发送的信息或指令或其他数据做某些事情。如果将市场定价信息向算法显示或处理以进行处理。如果发出交易指令，那么27220将将此馈送到市场执行。然后可以经由相同的方法远程写入响应。这可以用于金融世界或其他应用。一个关键点在于，文件处理周期列表的每批文件都在开始27100处作为列表被拉取。接下来拉取27100每个文件并检查其完整性27200。如果文件是完整的，”是”27222，则使用它27220。该流在这个步骤之后分叉。标记文件CP 27188将文件在PFS 27180上标记为已读。路径CP 27302通往结合点27300。在此，该路径分叉到CP27322，导致在数据库27350中保存并在HFS 27650上保存日志。另一条路径CP 27312是使用该文件。

出于简化本展示的原因，文件拉取27110被描述为循环拉取。从PFS 27100拉取文件列表以及从PFS 27110拉取文件之间的步骤CP 27102也可以导致并行和同时的文件拉取，每个拉取都在这个过程之后同时运行。

存在其他变化和可能性，本领域的技术人员将能够对这种算法做出轻微变化以实现保存结果。

关键点在于，可以拉取文件批次，逐个检查每个文件是否完整，如果不完整27242，则不使用文件27240，但这仍然保存27320在DB_27350中，并记录27600于HFS 27650上。如果文件完整27222，则使用它27220，标记它27188，处理它27512，并在数据库27350中保存其拉取、检查、使用的记录和其他信息，文件还被记录于HFS 27650上。

图28示出了用于信息弹弓的示范性系统图。这幅图描述了运行于各种装置上的各种模块，其可以利用本文所述的信息弹弓。装置EPD 28000、SRV_AP 28100、SRV_CNTRL28200和SRV_BBX 28300以及PFS装置28800、28810、28820和28830之间的结合点28880。

SRV_BBX服务器还可以经由路径28738彼此连接，例如SRV_BBX 28300和SRV_BBX28732。这幅图还包括SRV_BBX 28300上的弹射节点模块28388。这个弹射节点可以驻留在SRV_BBX 28300上，或者弹射节点可以是与SRV_BBX 28300联合工作的独立装置/服务器。

图29示出了分层网络织构到网络挂毯中的结构化组合。这幅图代表被图示为在不同层次分层的独立云的各种网络织构。OTT¹代表LAN 29002或因特网29000或弹弓机制29020顶部的第一层级。在OTT¹处存在诸如GVN 29008的网络类型。

OTT²代表顶部第二级，这些模块构建于GVN 29008，例如OTT2GVN端到端织构29010或OTT2MPFWM多参数防火墙机制29012的顶部。OTT¹是“因特网下方”或与因特网29000平行的弹弓层29020。OTT²是弹弓模块29030所在的地方，例如弹跳、弹射路由、信息信标和其他相关技术。

在一个网络织构和另一个之间的每个边界处是进出点(EIP)。诸如EIP 29052的EIP暗示LAN和GVN之间的桥，典型地经由与GVN 29008中的接入点服务器(SRV_AP)构建安全隧道的LAN 29002的边缘处的端点装置(EPD)。GVN 29008和因特网29000之间的EIP29058暗示SRV_AP上的EIP。其他层之间的EIP可以代表其他拓扑并涉及各种其他装置。

这些各种网络织构在由EIP链接在一起时构成网络挂毯。

图30示出了各种网络织构形成挂毯的顺序层。这幅图涉及表示为分层框的图29。增加的元件是路由+执行30115、构造30225、弹弓30715和弹射逻辑30815。

新元件还有GVN 2级-逻辑30050、GVN 4级-逻辑30150、GVN亚1级-逻辑30650和GVN亚2级-逻辑30750。这些逻辑层是利用特定设置、操作、例程和其他方法对层之间的EIP提供支持的地方。

图31示出了常规技术——CRONS。本示例实施例描述了CRON调度任务的常规技术。称为31200的脚本/程序受到CRON管理器CRON管理器31100过程的控制。

CRON工作可以通过向CRON列表31108人工增加项目来设置，或者这个列表可以由软件管理器层管理。存在一些与知道这个过程是否正常运行相关的问题。仅有一个过程如预期那样运行，或者有很多导致的意外并行实例运行。环境项目31318需要为日期并在预期参数之内工作。基础项目31680需要最优地并在预期参数之内运行。

系统时间/内部时钟31600必须是最新的31360并精确到极细的时间粒度。这种更新规则性需要比系统容易发生的漂移更频繁。硬件和关联驱动程序31620对可用资源有一些依赖性。

图32示出了常规技术——循环。本示例实施例描述了脚本之内循环的常规技术，它们在逻辑上由条件或计数因素32150支配。它为条件式和/或计数循环32200给出了代码结构。在开始32000处由触发器调用文件时。在本示例中，在示例线路004和009之间运行准备代码。在计数器循环的情况下，条件式循环将运行，同时循环条件32200评估当前循环周期计数器$ii少于这个循环应当运行的次数。在示例脚本的行27，计数器或(外部)条件32150将经由$ii++或某种等价物而加一。只要条件保持为真32220，这个循环将继续运行。

如果计数器$ii等于或大于循环应当进行的次数，该循环将结束，处理流程将继续。要执行的循环后代码位于行033和037之间。

脚本/例程/软件在行038处结束，其执行终结于END 32990。在从外部一次性调用脚本并循环由计数器或条件预定的很多次数时，还可能有问题，例如：

●如果/在脚本崩溃时会发生什么？如何能够恢复？

●脚本每个周期运行更长时间怎么办？

●如果系统的基础时钟漂移到过快或过慢怎么办？

●如果脚本分叉并看到超过预期数量的自身同时实例怎么办？

●如何将瞬间粒度精细调节到ms甚至μs。

图33示出了常规技术——递归——脚本调用自身。本示例实施例类似于图32，主要差异是其更简单。它在其代码之内不包含循环，而是在恒定的运行时间循环中让命令调用自身。

它开始于Start 33000。从行001到020列出代码33100。准备执行的代码位于行002和004之间。要在那一个实例期间运行的代码在行005和014之间。要运行的后期执行代码位于行015和018之间。在该图的行020处，脚本调用自身，例如，其打开外壳CLI＞以重新启动脚本33200。如果有条件结束代码(未示出的逻辑)的运行，那么在行016，可以保存33800代码信息。脚本结束于END 33990。

如果没有结束脚本运行循环的条件或逻辑，那么它将无限期地循环运行。

图34示出了循环的问题。图34基于图33，主要差异因素是标记为344##的问题。这些问题如下：

34400不能启动

由于允许调用系统用户或其他问题，脚本4-100可能一开始不会运行。这可能非常显而易见或不是显而易见。软件改变或软件更新，缺失包括文件或其他因素可能阻止运行。

33402太多的实例

如果出于某种原因，调用脚本4-100以运行超过一次，那么脚本的超过一个实例将运行。这是有问题的，因为脚本的每个实例都将调用自身，并一直运行，消耗系统资源。还存在由于多个脚本尝试处理或应对相同主题导致冲突的危险，造成意外或可能破坏性或扰乱性的结果。更多并非始终是更好的。

33404未捕获的意外/崩溃

如果脚本运行并崩溃，除非捕获到这种意外，否则将不会触发下一次循环，该脚本完成的功能将不会实现。

33406执行时间＞瞬间允许的时间

如果脚本花的时间比为瞬间分配的时间更长，下瞬间将被延迟过老，从而偏离日程。

33408损坏的状态信息

如果脚本进行条件式循环所依赖的状态被破坏，那么将出现意外的结果。

33410不能重新启动

如果脚本在运行但不能重新启动自身，因为运行的进程与最初调用脚本的用户或进程具有不同权限，那么它将仅运行一次，将不再继续运行。

33412被破坏的脚本文件

如果脚本文件在(存储装置中物理的或虚拟的)存储介质处被破坏，CLI＞下一次调用它以重新启动脚本4-200时，它将会崩溃或可能运行并产生意外结果。

33414未知问题

可能还有其他未知或不可检测的问题发生。调用脚本的启动器可能认为它在运行，但事实是它没有。

以上问题被包括在内，用以突出潜在的某些问题。并非所有或仅有一些这些问题会在任意时间出现。可能存在未描述的更多问题。

图35示出差异时间＝P+Q+R。这幅图描述了瞬间的生命周期。瞬间的时间粒度可以如下定义。

瞬间粒度

Δt＝P+Q+R

Δt＝从瞬间35100开始到瞬间结束的差异时间

●基于上次瞬间的完成而开始

或者

●根据安排的时间开始

P＝该周期中这个瞬间批处理项目所用的时间。

Q＝后期批处理计算所用的时间。

R＝确保批项目之间没有交叠和/或设置瞬间之间偏移的延迟时间。

期间35000是瞬间持续时间的差异时间或Δt。

图36示出了各种周期的定时，其中X≠Y。这幅图基于图35，其描述了具有可变和不同时间的两个瞬间。

ΔT＝x 36100，且ΔT＝y 36200不彼此相等，如x≠y 36010所述。

在本示例中，延迟R 36130和R 36230不彼此相等。处理时间P 36110和P 36210并非均等地反映每次运行所需的不同任务量。后期处理时间Q 36120和Q 36220也基于均要完成的任务量而分别不同。

因此，每次循环的持续时间基于要处理多少项目。

图37示出了各种周期的定时，其中X是相容的。这幅图基于图35，在其描述两个瞬间周期时，不像图36那样，这些循环周期的持续时间相等，x0＝x237010。尽管Δt＝x037100且Δt＝x237200是相等的，但每个瞬间P 37100和P 37210的处理时间或者彼此相等或者一个可以比另一个长。每者仍然基于必须要处理的任务量。后期处理时间Q 37120和Q 37220也可以分别彼此不同或相等。

通过至少两种方式将瞬间保持在相等的Δt持续时间37010：

●通过将要处理的项目量限制瞬间P(P 37110或P 37210)将永远不会迫使Δt超过其分配的时间预算。

●延迟R 37130和R 37230动态调节以确保在下一次周期运行之前延迟足够长。延迟可以是睡眠的计时器，或者可以是无动作，但在当前瞬间周期Q结束和下瞬间周期P开始之间必须要有某种间隙。

如果基于每个P和Q需要多少时间，对处理项目数量的量有限制，这个固定时间是可能的。

图38示出了从弹弓实现增益的距离阈值。这幅图突出显示了算法决策逻辑，该逻辑判断经由因特网路径IP 38562到38588或通过弹弓增强的因特网路径38662到38688(在一对(或超过一对)IP地址38668和36682之间具有弹弓透明段38800和38880)发送分组是否更快和/或更有效率。

它不会考虑延迟之外的可能对IP路径有影响的可靠性或损失或相关拥塞或其他问题。

在弹弓透明跳段38600的每个桥头38610和38620处使用Δt的弹弓，与经由使用弹弓实现的增益38370比较，效率不高。

需要最小距离以补偿弹弓机制在38615和38625处的必要处理时间。

IP 38100的度量延迟使用以下方程来测量

总因特网路径时间Δt ms＝TX 38510+TW 38500+TY 34590。

SL 38200的度量延迟使用以下方程测量：

总因特网-弹弓混合路径时间Δt＝

TX 38630+TV 38610+TZ 38600+TV 38620+TY 38640

IP和使用方程的SL的延迟对比

Δt{TV+TZ+TV}＜Δt{TW ms}

如果弹弓增强的路径(Δt{TV+TZ+TV})具有更低延迟为真，SL比内部路径更低38370，那么“SL是最有效率的传输，使用”38380是最优路径。

如果为假且因特网(Δt{TW ms})比弹弓更快，“IP更低”38320，那么“IP是最有效率的传输，使用”38360是最优路径。

精确定时的重要性不仅仅是不重复地接收和处理文件，而且是延迟受限，即以最小延迟处理文件。

图39示出了批次相对于标记文件的同步。这幅图基于上文的图25。文件的使用针对批次拉取A 39600中的文件的使用39602、批次拉取B 39610中的文件的使用39612和批次拉取C 39620中的文件的使用39622而例示。使用文件(批次A)39702并行发送文件文件39800和文件39802并在批次停止39902处结束。使用文件(批次B)39712并行发送文件文件39804和文件39806和文件39808并在批次停止39912处结束。使用文件(批次C)39722并行发送文件文件39810和文件39812和文件39814并在批次停止39922处结束。关键点在于，尽管成批地拉取文件，但可用文件的拉取是并行的，因此使用也是并行的。批次拉取A 39600中未准备好的文件，例如文件39804和文件39806在可用之前将不被拉取和使用。文件39804和39806将与批次拉取B 39610中的文件39808一起被拉取。

并行批次拉取和处理的能力允许弹弓机制进行大量缩放。

图40示出了瞬间粒度。这幅图示出了两个瞬间40100和40200。本示例展示了利用读队列+进程40510和读队列+进程40610在骨干交换服务器(SRV_BBX)上的两个批次文件拉取。它们两个拉取文件来自相同的存储介质平行文件系统PFS传入文件40800。经由路径40512在40510中拉取的文件被处理，然后在后期处理寄送P 40520中文件经由路径40522被标记。

这是关键重要点，因为经由路径40612来自PFS传入文件40800的下一批次文件拉取读队列+进程40610应当仅包括未标记的文件或未被先前批次填充的文件。然后，在寄送P40620，经由路径40622标记拉取和使用的文件，使得它们将不会被后续批次文件拉取不利地拉取。

图41相对于可变时间间隔示出了瞬间粒度。这幅图类似于图40，不过，它示出了可变量文件的处理，并展示了这会如何影响处理和后期处理时间，以及指出了应当执行下一周期之前的最小延迟。

这里标示了三个周期：41100、41200和41300，每个周期包含不同的相应量，即41810中的数量58、41830中的数量22和48860中的数量8。

图42相对于瞬间调节示出了示范性算法。这幅图描述了用于不同类型瞬间的算法。它开始于开始42000和终结于结束42990。

在结合点42020处，执行两个并行进程以收集源自瞬间设置42050的瞬间参数42030，检查系统监测42100源自系统监测数据42150，从系统监测数据42160源累积的数据。

如果瞬间在全部正常吗？42140处全部就绪，那么流程将继续沿路径是42142进行。如果未就绪，流程将经由通往错误应对42400的路径否42144进行到错误节点42200。

两种类型的瞬间是可变或固定瞬间？42170。可变时间瞬间42176开始于脚本开始42300。固定时间瞬间42172使用来自使用瞬间参数42175的信息开始于脚本开始42500。还有额外的逻辑门剩余的瞬间时间？42500以确保没有时间过度运行。固定和可变进程使用的公共瞬间运行完成进程包括准备脚本结束42600和报告42680。

图43示出了人工智能分析、粒度和周期。这幅图示出了瞬间周期时段的分析和解释。人工智能能够辅助将来的计算，以基于要处理的项目量，考虑系统资源和其他因素，估计瞬间的处理和后期处理时间将花费多长。

可以基于各种周期性趋势，在标准偏差曲线上绘制每个周期计算的度量，具有来自当前周期43100、短周期43200和长周期43300历史数据的数据。低值、高值、平均值和其他分析的注释可以指示当前性能是否符合预期或更好、更坏或通过其他方式不同于先前的经验。

这种数据收集和语境分析由决策中的人工智能(AI)算法构成。可以将当前周期43100与短时期43200和长时期43300性能数据比较。

图44示出了瞬间分量的示范性部件。这幅图中示出了三种装置。即中央控制服务器(SRV_CNTRL)44200、一般装置44100和时间服务器(SRV_TIME)44600。装置可以是任何类型的端点装置(EPD)、端点集线器(EPH)、接入点服务器(SRV_AP)或其他类型的装置。

在中央控制服务器(SRV_CNTRL)44200上，在中央信息储存库44295的数据库(Db)44295中存储系统信息。这种信息可以由与瞬间相关的管理器、监测器和其他系统部件使用。参见图48，其中示出了一些与瞬间相关的项目。

为了更新其内部时钟的时间，装置44100可以经由API调用查询SRV_TIME 44600的NTP服务器侦听器44650，或经由路径REQ 44660查询另一种请求-响应框架，通过响应获得请求和RESP 44680。装置44100上的数据库Db 44155和SRV_TIME 44600上的数据库Db44655可以存储关于时间请求、装置的时间漂移、另一其他瞬间、时间相关的信息以及其他信息。装置44100在其本地数据库Db 44155中存储关于时间的信息，还经由向SRV_CNTRL44200发布的REQ-RESP，经由带有经RESP 44620返回的确认的REQ44600，从其系统和时间管理器44120向SRV_CNTRL 44200报告其时间相关信息。

SRV_CNTRL44200上的NTP时间模块44250分析与系统时间相关的信息。

图45示出了信标闪烁中的示范性瞬间使用。这幅图示出了现实应用、数据信标中利用瞬间的重要性。信息的所有脉冲开始于相同起点45200，即骨干服务器(SRV_BB)45000，并向外辐射。这幅图展示了从起点到最远点的10个脉冲，其中向远程平行文件系统(PFS)存储装置PFS 45800写入信息文件，供远程区域中的SRV_BB 45900检索和使用。SRV_BB也可以是弹射节点或其他装置。

脉冲是45300到45318，每个脉冲之间的持续时间被标记为ts00 45100到ts1845118。这些脉冲应当以定义的间隔出现，从而每次闪烁可以依赖其上。这些可以携带简单到复杂的数据。关键点是信标是可靠的。

多个信标闪烁的组合定时被称为脉冲率。两次闪烁之间的频率为Δt。至于容限，这与延迟和信息当前性的需求有关。接收时信息的当前性有多大是延迟的函数。信息的新鲜性是延迟加脉冲之间的延迟的函数。

例如，如果延迟为从45000到45800的50ms，脉冲频率和瞬间粒度是每1ms，那么信息始终为新鲜的。不过，如果频率为脉冲之间的3ms，且瞬间粒度为1ms，那么有可能信息可能会陈旧2ms。

信息的新鲜度假设以最好可能的线速发送脉冲，并尽可能以最有效率的方式发送和接收。

图46示出了信标多次脉冲中的示范性瞬间使用。这幅图示出了现实应用中的瞬间使用，例如发往各个地区的多脉冲信息信标。信息的起点是周边46100处的SRV_BB 46000。有三个信标脉冲是在恰好相同的时间瞬间发送到距起点距离不一的三个不同位置的。三个目的地位置是经由路径46282的46200处的目标PFS 46280、经由路径46582的PFS 46580以及经由路径46382的PFS 46380。假设从SRV_BB 46000以尽可能接近线速将信息作为文件单向传输，以经由远程直接存储器访问(RDMA)向每个PFS写入。该信标确保对信息进行全球传输并与多个脉冲组合，通过将两点之间的已知延迟与用于发送信标信息脉冲/闪烁和接收的一致瞬间粒度，然后与用于处理并随后接下来使用所接收文件的瞬间粒度组合，确保信息始终新鲜。

除图示之外，这还有更多应用。

图47示出了交叉点处信标中的示范性瞬间使用。这幅图示出了现实应用中使用的瞬间粒度，例如从两个位置以及第三位置处脉冲的交叉点发送多个信标脉冲。

脉动信息信标发射的信息的第一起点在NYC 47100。经由路径74200向LDN 47100发送脉冲。脉动信息信标发射的信息的第二起点在TOK 47120。经由路径47208向LDN 47100发送脉冲。

在本示例中，来自两个起点的脉冲都已经被同步以交叠。这可以是调节开始时间或对准瞬间和发送率。

对于本示例而言，NYC代表美国纽约州纽约，LDN代表英国英格兰伦敦，TOK代表日本东京。

各位置之间的网段被指出，以及针对信息的一个方向的最好线速。

纽约和伦敦之间的距离为3456英里，最好的单向线速47000等于27.3ms。东京和伦敦之间的距离为5936英里，最好的单向线速47020等于46.8ms。图上部未示出但下文比较的是纽约和东京之间的距离为6,737英里，它们之间的最好单向线速为47080为53.1ms。

例如，在金融市场中，定价数据、其他信息和来自不同全球地区的相关新闻是相关的，并能够影响全球市场的交易，具有最新的当前日期的信息对任务是关键的。伦敦的超级计算机节点(SCN)能够接收关于纽约和东京的信息，并能够做出相应反应。如果例如东京的定价开始波动，伦敦能够比纽约反应快801英里47082的距离优势，等于6.3ms。

瞬间粒度及其对定时和后果的影响因此对寻求优势的交易者而言是任务关键重要的。来自多个位置的多个脉冲如何受益于可靠的瞬间粒度有很多其他示例。

图48示出了瞬间粒度的示范性系统图。这幅图描述了运行于各种装置上的各种模块，其可以利用本文所述的瞬间粒度。一般装置所有设备-具有瞬间48900，可以应用于瞬间粒度对其而言重要的任何装置。硬件监测器+管理器48916评估可用资源、系统负载、硬件潜力和当前使用和可能影响定时的其他因素。

操作系统监测器+管理器48918评估可能对定时有影响的进程和其他系统相关的项目运行。时间更新器48970经由NTP侦听器4831850与时间服务器(SRV_TIME)4831800交互，以请求并接收最当前的时间。

所有设备上的瞬间软件48950-具有瞬间48900工作以确保瞬间粒度尽可能有效率。它与监测器和管理器交互。可以利用内置软件和插件和其他方法将此扩展开来。资源监视器48980和进程监视器+管理器48985能够向瞬间管理器48988提供信息。

本文展示的模块、管理器、HW部件和其他构成部分仅用于举例，可以在现实使用中不同。其他装置也可以利用瞬间粒度实现各种功能。

它们所有之间的关键统一线程是时间的重要性。因此，系统时间必须准确，且瞬间粒度要可靠，从而能够以可预测方式处理和执行事件，尤其是相继事件。

Claims

1.一种用于在网络环境中进行文件传输和处理的系统，包括：

耦接到第一装置的一个或多个处理器，被配置成：

从文件队列中检索文件，其中所述文件存储于所述第一装置的本地存储器中，其中所述文件从第二远程装置经由远程直接存储器访问被传输；

判断所述文件是否完整；

如果判定所述文件是完整的，从所述文件队列去除所述文件。

2.根据权利要求1所述的系统，其中所述第二远程装置是骨干交换服务器。

3.根据权利要求1所述的系统，还包括所述第一装置和所述第二远程装置之间的专用链路。

4.根据权利要求1所述的系统，其中所述文件包括包头、主体和文件尾。

5.根据权利要求4所述的系统，其中所述文件尾包括指示所述文件结束的标记。

6.根据权利要求4所述的系统，其中所述文件包括密钥值对。

7.根据权利要求4所述的系统，其中所述文件尾包括校验和以验证所述主体的完整性。

8.根据权利要求1所述的系统，其中所述远程直接存储器访问是基于无线带宽或光纤信道的至少一种实现的。

9.根据权利要求1所述的系统，其中所述文件包括可执行代码。

10.根据权利要求1所述的系统，其中所述一个或多个处理器进一步被配置成：如果判定所述文件完整，执行如下操作的至少一项：在所述文件上设置标志，将所述文件移动到文件夹，或从所述本地存储器删除所述文件。

11.一种管理被分配用于处理任务的时间粒度的系统，包括：

一个或多个处理器，所述一个或多个处理器被配置成：

确定处理任务所需的持续时间，其中所述持续时间基于处理所述任务的第一持续时间、与所述任务相关的后期处理的第二持续时间以及作为延迟的第三持续时间进行计算。

12.根据权利要求11所述的系统，其中所述任务包括批处理。

13.根据权利要求11所述的系统，其中所述持续时间至少以微秒或毫秒之一为单位。

14.根据权利要求11所述的系统，其中基于针对所述持续时间的运行时间数据的历史记录调节所述持续时间。

15.根据权利要求11所述的系统，其中所述第二持续时间包括更新所述任务状态所需的时间。