CN104685852A - 用于使用请求的小批处理的系统和方法 - Google Patents
用于使用请求的小批处理的系统和方法 Download PDFInfo
- Publication number
- CN104685852A CN104685852A CN201380048892.6A CN201380048892A CN104685852A CN 104685852 A CN104685852 A CN 104685852A CN 201380048892 A CN201380048892 A CN 201380048892A CN 104685852 A CN104685852 A CN 104685852A
- Authority
- CN
- China
- Prior art keywords
- server
- request
- data
- queue
- batch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5029—Service quality level-based billing, e.g. dependent on measured service level customer is charged more or less
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
- H04M15/64—On-line charging system [OCS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
- H04M15/70—Administration or customization aspects; Counter-checking correct charges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
- H04M15/70—Administration or customization aspects; Counter-checking correct charges
- H04M15/725—Administration or customization aspects; Counter-checking correct charges by the operator
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer And Data Communications (AREA)
- Meter Arrangements (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
根据各种实施例,提供了在不同网络接口上提供统一收费的系统和方法。一种用于使用请求的小批处理的系统可包括服务代理、多个服务器和多个队列,其中每个服务器包括客户数据,每个队列与一不同的服务器相关联。当从网络实体接收到使用请求时,服务代理被配置为确定与该使用请求所请求的数据相关联的内部ID,确定该使用请求所请求的数据被存储在多个服务器之中的哪个特定服务器上,将该使用请求入队在与该特定服务器相关联的特定队列中,并且在触发事件发生时,将该特定队列中的所有请求在一批中发送到该特定服务器。
Description
著作权公告
本专利文献的公开的一部分包含受著作权保护的素材。著作权所有人不反对任何人在专利文献或专利公开出现在专利商标局文件或记录中时对其进行复制再现,但除此之外保留所有一切著作权权利。
技术领域
本发明涉及电信网络中的在线收费系统,具体而言涉及用于电信系统中的请求的批处理的系统和方法。
背景技术
通常,大量的使用请求在连续的网络流中被从智能网络节点(Network node,IN)发送到在线收费系统(Online Charging System,OCS)入口点。使用请求是任何形式的为了收费而需要客户数据的使用处理,例如包括:在高峰时段期间商业客户使用的电力的千瓦数;从一个订户到另一个的呼叫;或者下载请求。每个使用请求被单独处理,并且响应被返回到发源IN。
对使用请求的处理通常是异步完成的:在处理一个使用请求的同时,已经从网络连接读取下一个使用请求。进入的使用请求和外出的使用请求的时间顺序可由于此异步处理而不同。在OCS内,对个体使用请求的处理通常是同步完成的:该使用请求被从OCS入口点发送到OCS业务逻辑节点以便处理。一个OCS入口点通常为许多OCS业务逻辑节点服务。
发送小使用请求(通常大小为100200字节)会导致成本高昂的网络IO操作、情境切换和传送延时。如果处理个体使用请求所花的时间非常短(例如,低于1ms)—此成本可成为OCS吞吐量的限制因素并且增加OCS的总拥有成本(Total Cost of Ownership,TCO)。对于使用请求处理的OCS延时要求是:所有使用请求中的99.9%应当在少于50ms内被处理。
发明内容
根据各种实施例,提供了提供使用请求的小批处理的系统和方法。一种用于使用请求的小批处理的系统可包括服务代理、多个服务器和多个队列,其中每个服务器包括客户数据,每个队列与一不同的服务器相关联。当从网络实体接收到使用请求时,服务代理被配置为确定与处理该使用请求所需要的数据相关联的内部ID(标识),确定该使用请求所请求的数据被存储在多个服务器之中的哪个特定服务器上,将该使用请求入队在与该特定服务器相关联的特定队列中,并且在发生触发事件时,将该特定队列中的所有请求在一批中发送到该特定服务器。根据其他各种实施例,提供了一种程序,用于使得一个或多个计算机执行一种用于使用请求的小批处理的方法,包括:提供在一个或多个微处理器上执行的服务代理;提供多个服务器,其中每个服务器可包括客户数据;提供多个队列,其中每个服务器与一不同队列相关联;从网络实体接收使用请求;确定与该使用请求所请求的数据相关联的内部ID(标识);确定该使用请求所请求的数据被存储在多个服务器之中的哪个特定服务器上;将该使用请求入队在与该特定服务器相关联的特定队列中;以及在发生触发事件时,将该特定队列中的所有请求在一批中发送到该特定服务器。
附图说明
图1根据本发明的实施例示出了用于使用请求的小批处理的系统。
图2A示出了个体请求系统。
图2B示出了根据本发明的实施例的小批系统。
图3根据本发明的实施例示出了小批创建的序列图。
图4根据本发明的实施例示出了小批请求处理的序列图。
图5根据本发明的实施例示出了用于使用请求的小批处理的方法。
图6详细示出了根据本发明的实施例的例示性服务代理。
具体实施方式
在以下描述中,将在附图的图中以示例方式而不是以限制方式例示本发明。本公开中提及各种实施例不一定是提及同一实施例,并且这种提及指的是至少一个。虽然论述了特定实现方式,但要理解这只是为了例示而提供的。相关领域的技术人员将认识到,在不脱离本发明的范围和精神的情况下,可以使用其他组件和配置。
此外,在某些情况中,将阐述许多具体细节来提供对本发明的透彻描述。然而,本领域技术人员将清楚,没有这些具体细节也可实现本发明。在其他情况中,没有那么详细地描述公知的特征以免模糊本发明。
通常,大量的使用请求在连续的网络流中被发送到在线收费系统(OCS)。使用请求是任何形式的为了收费而需要客户数据的使用处理,例如包括:在高峰时段期间商业客户使用的电力的千瓦数;从一个订户到另一个的呼叫;或者下载请求。根据各种实施例,提供了提供使用请求的小批处理的系统和方法。一种用于使用请求的小批处理的系统可包括服务代理,以及形成OCS的多个服务器。每个服务器包括客户数据,以及多个队列,每个队列与一不同的服务器相关联。当从网络实体接收到使用请求时,服务代理被配置为确定与处理该使用请求所需要的数据相关联的内部ID,确定该使用请求所请求的数据被存储在多个服务器之中的哪个特定服务器上,将该使用请求入队在与该特定服务器相关联的特定队列中,并且在发生触发事件时,将该特定队列中的所有请求在一批中发送到该特定服务器。
根据本发明的各种实施例,不是将每个个体使用请求直接从OCS入口点发送到OCS业务逻辑层,而是可首先基于使用请求的OCS业务逻辑节点目的地来对使用请求排序。OCS业务逻辑层的每个节点执行相同的业务逻辑。然而,客户数据被分区在所有OCS业务逻辑上。基于客户数据的位置确定OCS业务逻辑节点目的地。
然后将具有相同目的地的所有使用请求放置在同一“小批”容器(即,队列)中。每个“小批”容器的最大大小可依据系统的特定需求和特征被设置为任意数字。虽然本文示出的示例使用了20的最大大小,但这并不打算以任何方式进行限定。一旦达到最大大小,则发送该“小批”容器。就网络IO操作、情境切换和传送延时而言发送“小批”容器的成本按每个使用请求远低于分别发送每个使用请求的成本。
作为增大个体使用请求延时的交换,可增大整体OCS吞吐量。个体使用请求的延时现在是“小批”的大小的函数并且增大到30ms(对于个体使用请求假定1ms处理时间)。仍满足了小于50ms的OCS延时要求。也可提供使得小批被发送的额外触发。例如,在低使用请求流量数量的时间期间,“小批”超时机制可触发对非完整“小批”的发送以保证小于50ms的延时。对于请求的优先级区分,可提供额外的触发。在特定类型的请求到达时,小批被立即发送。例如,在长运行请求到达时(即,如果执行该逻辑要花>25ms的处理时间),则该请求被独自在一小批中立即发送。
图1根据本发明的实施例示出了用于使用请求的小批处理的系统。在100,订户A 102向订户B 104发出呼叫。虽然在图1中示出了呼叫,但这可以是系统看作事件的任何东西,例如,从A到B的SMS,A作出的下载收费的媒体的请求,或者可导致使用请求的任何其他动作。请求106被发送到服务代理108,服务代理108可将该请求从网络中心协议转化成内部原生协议,例如OCS的内部原生协议。服务代理108随后可分析请求106以确定所请求的数据位于何处。根据一实施例,服务代理可利用缓存110来确定数据位置,该缓存110存储与请求中使用的外部ID相对应的数据的内部(客户)ID 112。
数据位于一个或多个服务器上,例如服务器A 114和服务器B116。客户数据分布在多个服务器机器上(第一维度)并且分布在单个服务器机器内的多个进程(这里称为“服务器”)上(第二维度)。典型的进程“容宿”多个分区。从而,每个服务器可包括多个分区,其中每个分区包括多个客户对象。一旦定位到包括处理请求所需的数据的进程(包括识别出该数据被存储在哪个服务器的哪个分区上),则该请求就可被放入与该进程相关联的队列中。每个队列是每服务器的队列,因此在此情况下将有两个队列,队列A 120和队列B 122。为特定服务器接收的流量累积在该特定服务器的关联队列中。例如,在请求106被转化之后,经转化的请求124被放置在队列B 122中。一旦触发事件发生,来自队列B的一批请求126就被发送到服务器B116以便处理。
根据本发明的实施例,服务器可顺序地处理该批请求126,依次取得每个请求并生成响应。当该批中的所有请求都已被服务器处理时,整批响应被发送回128到服务代理108。服务代理108随后将这些响应从其内部原生表示转化到请求者的网络中心协议,然后经转化的响应被发送回到请求者。例如,服务代理108可识别对经转化的请求124的响应并且将该响应从内部原生协议转化回到请求的网络中心协议。经转化的响应130随后被返回。
此外,如图1所示,来自服务器的数据可被同步串行化并备份在另一节点上。这样,数据可被复制134在另一节点上以提供高可用性。数据也可被异步存留132在数据库中。复制和/或存留的数据可包括例如处理请求所需的数据、客户数据和/或事件相关数据中的一个或多个。在节点失效的情况下——其中服务器在处理一批的中途崩溃,该批中包括的请求在备份服务器上线的同时被隔离。一旦隔离结束,请求就再次被处理。
图2A和2B根据本发明的实施例示出了个体请求处理和小批处理的比较。图2A和2B将典型的个体请求系统200与根据本发明的实施例的小批请求系统202相比较。
如图2A所示,个体请求系统200的客户端侧204——例如服务代理(比如服务代理108)——可包括收费处理器客户端208。当从网络实体214接收到使用请求212时(例如,当第一订户呼叫第二订户时,或者当订户请求下载媒体时),该请求212被转交(或者请求212被请求转交)到运行收费处理器客户端208的单独线程。(注意,在客户端204中通常会有数百个这种线程在同时运行)。收费处理器在将请求转发到个体请求系统200的服务器侧216之前可根据需要转化该请求。
在服务器侧216,入口处理器218接收请求212并将其转发到适当的收费服务220。然后以类似的方式返回响应。响应被同步返回。从而,在上文联系图2A描述的个体请求系统200中,每个请求在其进入时被接收、处理并发送到服务器。先前的系统认为此布置是可行的,因为典型的运送时间是1ms,而服务器处理时间更接近50ms。然而,体系结构的改进已将服务器处理时间减少到远少于1ms,从而使得运送时间成为一个重大因素。通过成批地提交请求,这个运送时间可被分散在许多请求上,从而大大减小了每个消息花费在运送上的时间量。
图2B示出了小批请求系统202。在小批请求系统202的客户端侧222,类似地从网络实体接收请求。然而,不是立即处理这些请求并将其转发到服务器侧224,请求批服务226而是将这些请求聚集到每服务器队列中(例如,如图1所示的队列120和122)。当触发事件发生时,例如超时或该批满了,则从队列的内容创建一批请求,并且使用收费可调用客户端228来将该批请求提交给服务器侧224。服务器侧收费可调用模块230随后可顺序地处理该批请求,将每个个体请求转发到入口处理器232,入口处理器232于是可将该请求转发到适当的收费服务234。当该批中的每个请求已被处理时,服务器侧收费可调用模块230可将现在被填充有响应数据的该批请求发送回到收费可调用客户端228,然后发送到请求批服务226。请求批服务226随后可将每个响应返回到其请求者。
图3根据本发明的实施例示出了小批创建的序列图。如上所述,根据本发明的实施例,可以使用多个不同的触发来将一批请求从队列发送到其关联的服务器。这些触发可包括——但不限于——时间段、最大队列大小或者与请求相关联的优先级信息。一旦满足了触发,则从队列的内容创建批请求,该批请求随后被发送到关联的服务器。
如图3所示,客户端300(例如,服务代理,比如服务代理108)可将经转化的请求提交302到批请求服务304。批请求服务可确定306存储处理该使用请求所需要的数据的节点并返回308存储所请求的数据的节点的名称。如果返回的节点信息是无效的,例如空的,例如因为该节点已崩溃,则系统可进入暂停310模式并且其关联队列中的请求在恢复过程期间被隔离(即,被从流通中取出)。否则,如312处所示,该个体请求被插入到用于所识别的节点的请求队列中。当触发事件发生314时,从请求队列318的内容作出批请求316。一旦创建320了批请求,该批请求就被转交到“专用线程”,该专用线程随后将该批请求发送322到该队列的关联服务器。“专用线程”是作为大线程池的一部分预先分配的。该专用线程从此以后应对该批请求的整个生命周期。然后返回324批响应。
图4根据本发明的实施例示出了小批请求处理的序列图。图4示出了批请求服务404、请求队列插入线程400和请求队列出队线程412。通常每个节点有许多个请求队列插入线程,但只有一个请求队列出队线程。请求队列插入线程400可用于将来自批请求服务404的请求添加402到请求队列。当添加请求时,请求队列插入线程400可确定所请求的节点是否仍存在,如果否406(例如,因为该服务器已崩溃),则暂停管理可开始。
请求队列插入线程400包括等待触发发生的循环408。请求队列插入线程和请求队列出队线程可使用监视器模式来确保对请求队列的互斥访问。请求队列插入线程仅当若干个条件变量(触发)之一为真时才会等待。触发的示例可包括该批是否已满、是否达到了超时条件或者是否发生差错。如果批满触发发生,则请求队列插入线程设置批满410的条件,并且处理继续到请求队列出队线程412。请求队列出队线程412可包括多个嵌套循环,包括监视任何差错条件的第一循环414和等待超时条件的第二循环416。如果逝去的时间大于或等于超时时间,则超时触发418已发生。一旦超时触发或批满触发已发生420,则队列中的请求就被出队422并且批请求424被创建。批请求424随后被发送426到专用的批请求线程,该线程将该批发送到服务器,等待响应批,然后将响应批返回给服务代理。
图5根据本发明的实施例示出了用于使用请求的小批处理的方法。在步骤500,提供在一个或多个微处理器上执行的服务代理。在步骤502,提供多个服务器,其中每个服务器包含客户数据(多个服务器中的每一个包含客户群的数据的子集)。在步骤504,提供多个队列。每个服务器与一不同的队列相关联。在步骤506,从网络实体接收使用请求。在步骤508,确定与使用请求所请求的数据相关联的内部ID。在步骤510,确定多个服务器之中存储该使用请求所请求的数据的特定服务器。在步骤512,使用请求被入队在与该特定服务器相关联的特定队列中。在步骤514,在触发事件发生时,该特定队列中的所有请求被在一批中发送到该特定服务器。
图6详细示出了根据本发明的实施例的例示性服务代理600。服务代理600可以是如图1所示的服务代理108的一个具体实施例。然而,本领域技术人员可理解,根据本发明的服务代理的实现方式不限于此。例如,服务代理600与多个服务器通信(比如N个服务器,并且在图1的情况中是两个服务器,即服务器A 114和服务器116B)。每个服务器可包括客户数据。例如,服务代理600被配置为与多个服务器合作执行使用请求的小批处理。
如图6所示,服务代理600包括多个队列容器(6001-1,6001-2...6001-N),这些队列容器被配置为包括相应的多个队列,其中每个服务器与一不同队列相关联。例如,如果有两个服务器,比如图1所示的服务器A 114和服务器116B,则可以有两个队列容器6001-1和6001-2(即,N=2),其中队列容器6001-1包括与服务器A114相关联的队列,并且队列容器6001-2包括与服务器116B相关联的队列。
服务代理600还可包括第一接收接口6003,其被配置为从网络实体接收使用请求。第一接收接口6003可以是现有技术中已知的或者在不久的将来就会知道的任何接口。在一个实施例中,使用请求可包括从一个订户到另一订户的呼叫或者下载请求。
如联系图1所述,服务代理可确定数据位置,例如利用存储与请求中使用的外部ID相对应的数据的内部(客户)ID的缓存来确定。如图6所示,服务代理600还包括被配置为确定与使用请求所请求的数据相关联的内部ID的第一确定单元6004,和被配置为确定使用请求所请求的数据被存储在多个服务器之中的哪个特定服务器上的第二确定单元6005。例如,使用请求可请求位于例如服务器A 114上的数据,从而第一确定单元6004确定与使用请求所请求的数据相关联的内部ID,并且第二确定单元6005确定使用请求所请求的数据被存储在服务器A 114上。第一确定单元6004和第二确定单元6005可以是分开的单元,或者可被集成到一个单元中。如本领域技术人员已知的,内部(客户)ID可被存储在除了缓存以外的其他存储装置中。
此外,如图6所示,服务代理600还包括队列处理单元6007,该队列处理单元6007被配置为将该使用请求入队在与该特定服务器相关联的特定队列中。在确定使用请求所请求的数据被存储在服务器A114上的上述示例中,队列处理单元6007可将该使用请求入队在与服务器A 114相关联的队列6001-1中。
服务代理600还可包括第一发送接口6009,该第一发送接口6009被配置为在触发事件发生时将该特定队列中的所有请求在一批中发送到该特定服务器。如上所述,触发事件可以是队列中达到预定数目的请求、特定类型的请求的到达、长运行请求的到达,等等。例如,在队列容器6001-1中的使用请求的数目达到预定数目时,队列容器6001-1中的所有请求被在一批中发送。
如上所述,服务代理可将该请求从网络中心协议转化成内部原生协议,例如OCS的内部原生协议。如图6所示,服务代理(600)还可包括被配置为将使用请求从网络中心协议转换成内部协议的转化器(6011)。
在该实施例中,每个服务器可处理该批中的每个请求并且向服务代理返回已被填充有对于每个请求的响应数据的批。在这种情况下,服务代理600还可包括第二接收接口6013,该第二接收接口6013被配置为当特定服务器已处理了该批中的每个请求并且把被填充有对于每个请求的响应数据的该批返回给服务代理时从该特定服务器接收该批。在一个实施例中,转化器6011还可被配置为把对于每个请求的响应数据从内部协议转化成网络中心协议,以创建经转化的响应数据。相应地,服务代理600还可包括被配置为将经转化的响应数据返回给每个请求者的第二发送接口6015。
本领域技术人员可理解,代理服务器600中的每个单元可由软件、硬件或者其组合实现。代理服务器600中的单元可被分开实现或者按任何组合集成。
正如软件领域的技术人员将会清楚的,熟练的程序员基于本公开的教导可容易准备适当的软件代码。正如本领域技术人员将容易清楚的,本发明也可通过准备专用集成电路或者通过互连传统组件电路的适当网络来实现。
各种实施例包括计算机程序产品,该计算机程序产品是其上/其中存储有指令的(一个或多个)存储介质,所述指令可用于对(一个或多个)通用或专用计算处理器/设备编程来执行本文给出的任何特征。存储介质可包括——但不限于——以下各项中的一个或多个:任何类型的物理介质,包括软盘、光盘、DVD、CD-ROM、微驱动器、磁光盘、全息存储装置、ROM、RAM、PRAM、EPROM、EEPROM、DRAM、VRAM、闪存设备、磁卡或光卡、纳米系统(包括分子存储器IC);纸或基于纸的介质;以及适用于存储指令和/或信息的任何类型的介质或设备。计算机程序产品可被全部或部分地、通过一个或多个公共和/或私有网络传送,其中该传送包括可被一个或多个处理器用来执行本文给出的任何特征的指令。该传送可包括多个单独的传送。然而,根据某些实施例,包含指令的计算机存储介质是非暂态的(即,不在被传送的过程中),而是存留在物理设备上的。
以上对本发明的优选实施例的描述是为了例示和描述而提供的。其并不打算是穷举性的或将本发明限制到所公开的精确形式。本领域技术人员可清楚许多修改和变化。这些修改和变化包括公开的特征的任何相关组合。选择和描述实施例是为了最好地说明本发明的原理及其实际应用,从而使得相关领域的技术人员能够理解本发明。希望本发明的范围由以下权利要求及其等同物来限定。
Claims (27)
1.一种用于使用请求的小批处理的系统,包括:
在一个或多个微处理器上执行的服务代理;
多个服务器,其中每个服务器可包括客户数据;
多个队列,其中每个服务器与一不同的队列相关联;
其中,当从网络实体接收到使用请求时,所述服务代理被配置为:
确定与所述使用请求所请求的数据相关联的内部ID(标识),
确定所述使用请求所请求的数据被存储在所述多个服务器中的哪个特定服务器上,
将所述使用请求入队在与所述特定服务器相关联的特定队列中,以及
在触发事件发生时,将所述特定队列中的所有请求在一批中发送到所述特定服务器。
2.如权利要求1或2所述的系统,其中,所述使用请求能够包括从一个订户到另一订户的呼叫或者下载请求。
3.如权利要求1或2所述的系统,其中,所述服务代理还能够将所述使用请求从网络中心协议转化到内部协议。
4.如任何前述权利要求所述的系统:
其中,所述特定服务器被配置为在所述特定服务器已处理了所述批中的每个请求时将所述批返回给所述服务代理,其中所述批被填充了对于每个请求的响应数据。
5.如权利要求4所述的系统,还包括:
其中,当所述服务代理从所述特定服务器接收到所述批时,所述服务代理被配置为:
将所述对于每个请求的响应数据从内部协议转化到网络中心协议,以创建经转化的响应数据,以及
将所述经转化的响应数据返回给每个请求者。
6.如任何前述权利要求所述的系统,其中,每个服务器上的数据是存留的。
7.如任何前述权利要求所述的系统,其中,通过把第一服务器上存储的数据存储在第二服务器上来使第一服务器上存储的数据高度可用。
8.一种用于使用请求的小批处理的方法,包括:
提供在一个或多个微处理器上执行的服务代理;
提供多个服务器,其中每个服务器包括客户数据;
提供多个队列,其中每个服务器与一不同队列相关联;
从网络实体接收使用请求;
确定与所述使用请求所请求的数据相关联的内部ID(标识);
确定所述使用请求所请求的数据被存储在所述多个服务器中的哪个特定服务器上;
将所述使用请求入队在与所述特定服务器相关联的特定队列中;以及
在触发事件发生时,将所述特定队列中的所有请求在一批中发送到所述特定服务器。
9.如权利要求8所述的方法,其中,所述使用请求包括从一个订户到另一订户的呼叫或者下载请求。
10.如权利要求8或9所述的方法,其中,所述服务代理还将所述使用请求从网络中心协议转化到内部协议。
11.如权利要求8至10的任何一者所述的方法,还包括:
当所述特定服务器已处理了所述批中的每个请求时,
用对于每个请求的响应数据填充所述批,以及
将所述批返回给所述服务代理。
12.如权利要求11所述的方法,还包括:
当所述服务代理从所述特定服务器接收到所述批时,
将所述对于每个请求的响应数据从内部协议转化到网络中心协议,以创建经转化的响应数据,以及
将所述经转化的响应数据返回给每个请求者。
13.如权利要求8至12的任何一者所述的方法,其中,每个服务器上的数据是存留的。
14.如权利要求8至13的任何一者所述的方法,其中,通过把第一服务器上存储的数据存储在第二服务器上来使第一服务器上存储的数据高度可用。
15.一种包括指令的计算机程序,所述指令当在计算机系统上被执行时使得该计算机系统执行如权利要求8至14的任何一者所述的方法的所有步骤。
16.一种计算机程序产品,包括其上存储有如权利要求15所述的计算机程序的非暂态计算机可读存储介质。
17.一种非暂态计算机可读存储介质,其上存储有指令,所述指令当被计算机执行时使得该计算机执行以下步骤:
提供在一个或多个微处理器上执行的服务代理;
提供多个服务器,其中每个服务器可包括客户数据;
提供多个队列,其中每个服务器与一不同队列相关联;
从网络实体接收使用请求;
确定与所述使用请求所请求的数据相关联的内部ID(标识);
确定所述使用请求所请求的数据被存储在所述多个服务器中的哪个特定服务器上;
将所述使用请求入队在与所述特定服务器相关联的特定队列中;以及
在触发事件发生时,将所述特定队列中的所有请求在一批中发送到所述特定服务器。
18.如权利要求17所述的非暂态计算机可读存储介质,其中,所述使用请求可包括从一个订户到另一订户的呼叫或者下载请求。
19.如权利要求17或18所述的非暂态计算机可读存储介质,其中,所述服务代理还可将所述使用请求从网络中心协议转化到内部协议。
20.如权利要求17至19的任何一者所述的非暂态计算机可读存储介质,其中,当所述特定服务器已处理了所述批中的每个请求时,所述特定服务器被配置为将所述批返回给所述服务代理,其中所述批被填充了对于每个请求的响应数据。
21.如权利要求20所述的非暂态计算机可读存储介质,还包括:
当所述服务代理从所述特定服务器接收到所述批时,
将所述对于每个请求的响应数据从内部协议转化到网络中心协议,以创建经转化的响应数据,以及
将所述经转化的响应数据返回给每个请求者。
22.如权利要求17至21的任何一者所述的非暂态计算机可读存储介质,其中,每个服务器上的数据是存留的,并且其中,通过把第一服务器上存储的数据存储在第二服务器上来使第一服务器上存储的数据高度可用。
23.一种服务代理(600),用于与多个服务器通信来执行使用请求的小批处理,其中每个服务器包括客户数据,该服务代理(600)包括:
多个队列容器(6001-1,6001-2和6001-N),被配置为包括相应的多个队列,其中每个服务器与一不同队列相关联;
第一接收接口(6003),被配置为从网络实体接收使用请求,
第一确定单元(6004),被配置为确定与所述使用请求所请求的数据相关联的内部ID,
第二确定单元(6005),被配置为确定所述使用请求所请求的数据被存储在所述多个服务器中的哪个特定服务器上,
队列处理单元(6007),被配置为将所述使用请求入队在与所述特定服务器相关联的特定队列中,以及
第一发送接口(6009),被配置为在触发事件发生时,将所述特定队列中的所有请求在一批中发送到所述特定服务器。
24.如权利要求23所述的服务代理(600),其中,所述使用请求能够包括从一个订户到另一订户的呼叫或者下载请求。
25.如权利要求23所述的服务代理(600),其中,所述服务代理还包括转化器(6011),该转化器(6011)被配置为将所述使用请求从网络中心协议转化到内部协议。
26.如权利要求23所述的服务代理(600),还包括第二接收接口(6013),该第二接收接口(6013)被配置为当所述特定服务器已处理了所述批中的每个请求并且把被填充了对于每个请求的响应数据的所述批返回给所述服务代理时从所述特定服务器接收所述批。
27.如权利要求23所述的服务代理(600),其中,所述转化器(6011)还被配置为把所述对于每个请求的响应数据从内部协议转化到网络中心协议,以创建经转化的响应数据,并且
所述服务代理(600)还包括被配置为将所述经转化的响应数据返回给每个请求者的第二发送接口(6015)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/622,546 | 2012-09-19 | ||
US13/622,546 US9736034B2 (en) | 2012-09-19 | 2012-09-19 | System and method for small batching processing of usage requests |
PCT/US2013/060591 WO2014047269A2 (en) | 2012-09-19 | 2013-09-19 | System and method for small batching processing of usage requests |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104685852A true CN104685852A (zh) | 2015-06-03 |
CN104685852B CN104685852B (zh) | 2018-07-10 |
Family
ID=49328618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380048892.6A Active CN104685852B (zh) | 2012-09-19 | 2013-09-19 | 用于使用请求的小批处理的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9736034B2 (zh) |
EP (1) | EP2898655B1 (zh) |
JP (1) | JP6336988B2 (zh) |
CN (1) | CN104685852B (zh) |
WO (1) | WO2014047269A2 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106856434A (zh) * | 2015-12-08 | 2017-06-16 | 阿里巴巴集团控股有限公司 | 访问请求转换的方法和装置 |
CN110740103A (zh) * | 2019-09-02 | 2020-01-31 | 深圳壹账通智能科技有限公司 | 业务请求处理方法、装置、计算机设备和存储介质 |
CN111124671A (zh) * | 2019-12-10 | 2020-05-08 | 广州小鹏汽车科技有限公司 | 批推理动态等待方法、服务器和计算机可读存储介质 |
CN111124708A (zh) * | 2019-12-10 | 2020-05-08 | 广州小鹏汽车科技有限公司 | 面向微服务的批推理方法、服务器和计算机可读存储介质 |
CN111788560A (zh) * | 2018-02-28 | 2020-10-16 | 国际商业机器公司 | 分布式存储网络中的动态授权批处理 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10333724B2 (en) * | 2013-11-25 | 2019-06-25 | Oracle International Corporation | Method and system for low-overhead latency profiling |
US9553998B2 (en) | 2014-06-09 | 2017-01-24 | Oracle International Corporation | Sharing group notification |
US9426307B2 (en) | 2014-10-03 | 2016-08-23 | Oracle International Corporation | Non-linear data charging |
US9549306B2 (en) | 2014-10-13 | 2017-01-17 | Oracle International Corporation | Usage triggered telecommunications charging |
US10318591B2 (en) * | 2015-06-02 | 2019-06-11 | International Business Machines Corporation | Ingesting documents using multiple ingestion pipelines |
US10108466B2 (en) | 2015-06-29 | 2018-10-23 | International Business Machines Corporation | Optimizing the initialization of a queue via a batch operation |
CN105303307B (zh) * | 2015-10-16 | 2020-02-14 | 京北方信息技术股份有限公司 | 一种分配工作任务的方法及装置 |
CN110362401A (zh) * | 2019-06-20 | 2019-10-22 | 深圳壹账通智能科技有限公司 | 数据跑批方法、装置、存储介质及集群中的成员主机 |
CN110413317B (zh) * | 2019-08-02 | 2023-06-06 | 四川新网银行股份有限公司 | 基于配置化的流程接口调用方法 |
US11290390B2 (en) | 2019-11-20 | 2022-03-29 | Oracle International Corporation | Methods, systems, and computer readable media for lockless communications network resource quota sharing |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050288941A1 (en) * | 2004-06-23 | 2005-12-29 | Dun & Bradstreet, Inc. | Systems and methods for USA Patriot Act compliance |
CN101060559A (zh) * | 2007-05-29 | 2007-10-24 | 中兴通讯股份有限公司 | 一种人机命令队列管理系统和方法 |
US7908358B1 (en) * | 2006-03-31 | 2011-03-15 | Amazon Technologies, Inc. | Method and apparatus for network services metering |
CN102185770A (zh) * | 2011-05-05 | 2011-09-14 | 汉柏科技有限公司 | 基于多核架构的批量式报文收发方法 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI982748A (fi) | 1998-10-19 | 2000-04-20 | Nokia Networks Oy | Laskutus tietoliikenneverkossa |
US6195682B1 (en) * | 1998-10-27 | 2001-02-27 | International Business Machines Corporation | Concurrent server and method of operation having client-server affinity using exchanged client and server keys |
US7136913B2 (en) | 2000-05-31 | 2006-11-14 | Lab 7 Networks, Inc. | Object oriented communication among platform independent systems across a firewall over the internet using HTTP-SOAP |
US20020025795A1 (en) | 2000-08-24 | 2002-02-28 | Msafe Inc., | Method, system and device for monitoring activity of a wireless communication device |
DE60124893T2 (de) | 2001-07-16 | 2007-06-21 | Francotyp-Postalia Gmbh | Sicherheitsmodul für ein Kontenverwaltungssystem |
JP2003316782A (ja) * | 2002-04-24 | 2003-11-07 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツのアグリゲーションサーバおよびそのアグリゲーション方法 |
WO2003101123A2 (en) | 2002-05-28 | 2003-12-04 | Voxtime, Inc. | Dynamic pricing and yield management in mobile communications |
US20050021376A1 (en) * | 2003-03-13 | 2005-01-27 | Zaleski John R. | System for accessing patient information |
JP2005071031A (ja) * | 2003-08-22 | 2005-03-17 | Nec Corp | キューイング装置、キュー処理方法、およびキュー処理プログラム |
US7526270B2 (en) | 2004-04-30 | 2009-04-28 | Alcatel-Lucent Usa Inc. | Selecting one of a plurality of service providers to handle a communication session |
US7483438B2 (en) | 2005-04-14 | 2009-01-27 | Alcatel Lucent | Systems and methods for managing network services between private networks |
CN101346634B (zh) | 2005-11-04 | 2012-10-24 | 甲骨文国际公司 | 用于通信网络中的网守的系统和方法 |
US20070130367A1 (en) * | 2005-11-18 | 2007-06-07 | Vivek Kashyap | Inbound connection prioritization |
US20070143470A1 (en) | 2005-12-20 | 2007-06-21 | Nortel Networks Limited | Facilitating integrated web and telecommunication services with collaborating web and telecommunication clients |
JP5216299B2 (ja) * | 2006-10-30 | 2013-06-19 | 株式会社日立製作所 | 注文システム |
US20080103923A1 (en) | 2006-10-31 | 2008-05-01 | Digital River, Inc. | Centralized Payment Gateway System and Method |
US7606818B2 (en) * | 2006-12-20 | 2009-10-20 | Sap Ag | Method and apparatus for aggregating change subscriptions and change notifications |
JP5034519B2 (ja) * | 2007-01-31 | 2012-09-26 | 富士通株式会社 | 通信装置、サーバ装置、及び情報処理システム |
US20090241118A1 (en) * | 2008-03-20 | 2009-09-24 | American Express Travel Related Services Company, Inc. | System and method for processing interface requests in batch |
US9143540B2 (en) | 2008-04-24 | 2015-09-22 | Oracle International Corporation | System and method for providing service correlation in a service access gateway environment |
US8296409B2 (en) | 2008-05-19 | 2012-10-23 | International Business Machines Corporation | Method for enabling on-demand communication services |
US9152457B2 (en) * | 2009-06-05 | 2015-10-06 | International Business Machines Corporation | Processing request management |
US8621099B2 (en) * | 2009-09-21 | 2013-12-31 | Sling Media, Inc. | Systems and methods for formatting media content for distribution |
US7975031B2 (en) | 2009-10-07 | 2011-07-05 | International Business Machines Corporation | Change management in multi-domain environments |
US8806502B2 (en) * | 2010-09-15 | 2014-08-12 | Qualcomm Incorporated | Batching resource requests in a portable computing device |
-
2012
- 2012-09-19 US US13/622,546 patent/US9736034B2/en active Active
-
2013
- 2013-09-19 JP JP2015533179A patent/JP6336988B2/ja active Active
- 2013-09-19 EP EP13774851.3A patent/EP2898655B1/en active Active
- 2013-09-19 WO PCT/US2013/060591 patent/WO2014047269A2/en active Application Filing
- 2013-09-19 CN CN201380048892.6A patent/CN104685852B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050288941A1 (en) * | 2004-06-23 | 2005-12-29 | Dun & Bradstreet, Inc. | Systems and methods for USA Patriot Act compliance |
US7908358B1 (en) * | 2006-03-31 | 2011-03-15 | Amazon Technologies, Inc. | Method and apparatus for network services metering |
CN101060559A (zh) * | 2007-05-29 | 2007-10-24 | 中兴通讯股份有限公司 | 一种人机命令队列管理系统和方法 |
CN102185770A (zh) * | 2011-05-05 | 2011-09-14 | 汉柏科技有限公司 | 基于多核架构的批量式报文收发方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106856434A (zh) * | 2015-12-08 | 2017-06-16 | 阿里巴巴集团控股有限公司 | 访问请求转换的方法和装置 |
CN106856434B (zh) * | 2015-12-08 | 2020-06-30 | 阿里巴巴集团控股有限公司 | 访问请求转换的方法和装置 |
CN111788560A (zh) * | 2018-02-28 | 2020-10-16 | 国际商业机器公司 | 分布式存储网络中的动态授权批处理 |
CN111788560B (zh) * | 2018-02-28 | 2024-01-30 | 国际商业机器公司 | 分布式存储网络中的动态授权批处理 |
CN110740103A (zh) * | 2019-09-02 | 2020-01-31 | 深圳壹账通智能科技有限公司 | 业务请求处理方法、装置、计算机设备和存储介质 |
CN111124671A (zh) * | 2019-12-10 | 2020-05-08 | 广州小鹏汽车科技有限公司 | 批推理动态等待方法、服务器和计算机可读存储介质 |
CN111124708A (zh) * | 2019-12-10 | 2020-05-08 | 广州小鹏汽车科技有限公司 | 面向微服务的批推理方法、服务器和计算机可读存储介质 |
CN111124671B (zh) * | 2019-12-10 | 2023-05-16 | 广州小鹏汽车科技有限公司 | 批推理动态等待方法、服务器和计算机可读存储介质 |
CN111124708B (zh) * | 2019-12-10 | 2023-05-16 | 广州小鹏汽车科技有限公司 | 面向微服务的批推理方法、服务器和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2015532073A (ja) | 2015-11-05 |
WO2014047269A2 (en) | 2014-03-27 |
WO2014047269A3 (en) | 2014-05-30 |
US20140082170A1 (en) | 2014-03-20 |
EP2898655B1 (en) | 2019-03-13 |
US9736034B2 (en) | 2017-08-15 |
EP2898655A2 (en) | 2015-07-29 |
JP6336988B2 (ja) | 2018-06-06 |
CN104685852B (zh) | 2018-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104685852A (zh) | 用于使用请求的小批处理的系统和方法 | |
CN104620559B (zh) | 用于支持分布式数据网格集群中的可伸缩消息总线的系统和方法 | |
CN1881944B (zh) | 改进型分布式核心操作系统 | |
US6195682B1 (en) | Concurrent server and method of operation having client-server affinity using exchanged client and server keys | |
CN111091429A (zh) | 电子票据标识分配方法及装置、电子票据生成系统 | |
CN109150987B (zh) | 基于主机层和容器层的两层式容器集群弹性扩容方法 | |
CN109756508B (zh) | 基于多协议接入区块链网络的消息代理方法及相关设备 | |
JP6636142B2 (ja) | スケールアウト関連付けの方法および装置、ならびにシステム | |
CN111338774A (zh) | 分布式定时任务调度系统及计算装置 | |
CN101420391A (zh) | 由触发器子系统提供专用及基于标准触发器的系统和方法 | |
CN106484321A (zh) | 一种数据存储方法及数据中心 | |
CN111309491B (zh) | 一种作业协同处理方法及系统 | |
CN112286688B (zh) | 一种内存管理和使用方法、装置、设备和介质 | |
CN104854845B (zh) | 使用高效的原子操作的方法和装置 | |
WO2021159831A1 (zh) | 编程平台的用户代码运行方法及平台、节点、设备、介质 | |
CN111404931B (zh) | 一种基于持久性内存的远程数据传输方法 | |
WO2021051881A1 (zh) | Vpp 集群管理方法及装置、计算机设备及存储介质 | |
CN109327511A (zh) | 一种基于http协议的数据请求方法和服务器 | |
CN115080479B (zh) | 传输方法、服务器、设备、裸金属实例及基板管理控制器 | |
CN114448983A (zh) | 基于ZooKeeper的分布式数据交换方法 | |
CN111835809B (zh) | 工单消息分配方法、装置、服务器及存储介质 | |
CN104657240B (zh) | 多内核操作系统的失效控制方法及装置 | |
CN115643271A (zh) | 一种云上多应用数据同步方法、装置、服务器及介质 | |
CN113051044A (zh) | 一种基于无服务架构的分布式事务处理方法及装置 | |
CN110162415B (zh) | 用于处理数据请求的方法、服务器、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |