CN109408244B - 一种基于Azure WebJob的应用数据获取方法及装置 - Google Patents

一种基于Azure WebJob的应用数据获取方法及装置 Download PDF

Info

Publication number
CN109408244B
CN109408244B CN201710706791.3A CN201710706791A CN109408244B CN 109408244 B CN109408244 B CN 109408244B CN 201710706791 A CN201710706791 A CN 201710706791A CN 109408244 B CN109408244 B CN 109408244B
Authority
CN
China
Prior art keywords
calling
api
information
call
http
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710706791.3A
Other languages
English (en)
Other versions
CN109408244A (zh
Inventor
林斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201710706791.3A priority Critical patent/CN109408244B/zh
Publication of CN109408244A publication Critical patent/CN109408244A/zh
Application granted granted Critical
Publication of CN109408244B publication Critical patent/CN109408244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Abstract

本发明公开了一种基于Azure WebJob的应用数据获取方法及装置，该方法能够识别出API接口的调用频次限制错误，并通过阻塞线程暂停针对该API接口的HTTP请求任务的执行，从而避免启动Azure WebJob的错误重试机制，进而节省了大量资源。此外，该方法是在遇到调用频次限制后暂停预设时长后再执行相应的API调用任务，无论API接口的调用频次限制是多少次该方法都适用，因此，该方法适用性广。

Description

一种基于Azure WebJob的应用数据获取方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于Azure WebJob的应用数据获取方法及装置。
背景技术
随着智能移动终端飞速发展，移动终端的应用程序也应运而生，某些应用程序的公共数据具有较大的价值，例如，社交类的应用程序，如微博、QQ，微信等。可以根据这些数据分析人们的态度、喜好、人际关系等等。应用程序一般都提供了应用程序编程接口(Application Programming Interface，API)，通过API能够获取上述的公共数据。
Azure WebJob是微软提供的一项云服务，它允许我们在其上运行自己开发的任务程序，并提供了错误重试机制，以及队列触发器(QueueTrigger)来按需触发任务程序的运行。基于Azure WebJob实现应用数据获取的过程大体包括：向任务队列(Queue)中注入任务消息；然后，队列触发器(Queue Trigger)检测到任务队列中有消息后，触发该QueueTrigger所对应的任务方法执行任务；即Queue→Queue Trigger→任务方法，这一流程中的三个部分都是配套对应的。其中，任务方法即自定义的任务程序，用于获取应用公共数据，Queue和Queue Trigger用于为任务方法提供配置参数以及触发任务方法执行。通过多条不同的“Queue→Queue Trigger→任务方法”的链条，可以按需执行不同应用公共数据获取工作。
但是，一般API有调用频次限制，即每个IP地址、每个用户身份标识(UserIdentification，UID)每小时调用API不得超过N次。而且，不同的API接口的具体限制次数不相同。如果API被频繁调用，当超过该API对应的调用频次限制后，API会针对超出调用频次限制之后的调用返回错误；如果调用API的任务接收到该错误并抛出异常，此时，AzureWebJob提供的错误重试机制会生效，并立刻进行重试，但是这种因为超过调用频次限制而导致的错误，不可能通过重试纠正，只是浪费计算资源；而且，同一队列中的下一个任务所调用的还是同一个API，仍然会由于超过调用频次限制而失效。
发明内容
鉴于上述问题，提出了本发明提供了一种基于Azure WebJob的应用程序数据获取方法及装置，以解决超过调用频次限制后，Azure WebJob基于错误重试机制立即重试导致资源浪费的技术问题。
第一方面，本申请提供了一种基于Azure WebJob的应用数据获取方法，其特征在于，包括：
向应用服务器发送调用应用程序编程接口API的超文本传输协议HTTP请求；
接收所述应用服务器返回的响应所述HTTP请求的HTTP返回信息；
当根据所述HTTP返回信息确定当前API调用超过所述API对应的调用频次限制时，产生调用超限异常信息并抛出所述调用超限异常信息；
当检测到所述调用超限异常信息后，将执行所述HTTP请求的当前线程阻塞预设时长；
当所述当前线程的阻塞时长达到所述预设时长后，唤醒所述当前线程。
可选地，所述方法还包括：
当所述当前线程的阻塞时长达到所述预设时长后，复制所述HTTP请求对应的任务消息，并将复制后的任务消息重新添加到任务队列的队尾，以便重新执行所述HTTP请求；
其中，所述复制后的任务消息与HTTP请求对应的任务消息除任务ID之外的其它信息均相同。
可选地，当根据所述HTTP返回信息确定当前API调用超过所述API对应的调用频次限制时，产生调用超限异常信息，并抛出所述调用超限异常信息，包括：
解析所述HTTP返回信息；
判断所述HTTP返回信息中是否包含调用超过频次限制的信息；
当所述HTTP返回信息包含所述调用超过频次限制的信息时，确定所述当前API调用超过所述API对应的调用频次限制，以及，产生调用超限异常信息，并向程序上层逐层抛出所述调用超限异常信息；
当所述HTTP返回信息中不包含所述调用超过频次限制的信息时，确定所述当前API调用未超过所述API对应的调用频次限制。
可选地，所述预设时长小于1小时。
可选地，所述方法还包括：
当所述当前API调用未超过所述调用频次限制时，从所述HTTP返回信息中提取所述应用服务器返回的数据。
第二方面，本申请还提供了一种基于Azure WebJob的数据获取装置，包括：
发送单元，用于向服务器发送调用应用程序编程接口API的超文本传输协议HTTP请求；
接收单元，用于接收所述服务器返回的响应所述HTTP请求的HTTP返回信息；
异常抛出单元，用于当根据所述HTTP返回信息确定当前API调用超过所述API对应的调用频次限制时，产生调用超限异常信息并抛出所述调用超限异常信息；
线程阻塞单元，用于当检测到所述调用超限异常信息后，将执行所述HTTP请求的当前线程阻塞预设时长；
线程唤醒单元，用于当所述当前线程的阻塞时长达到所述预设时长后，唤醒所述当前线程。
可选地，所述装置还包括：
复制单元，用于当所述当前线程的阻塞时长达到所述预设时长后，复制所述HTTP请求对应的任务消息，并将复制后的任务消息重新添加到任务队列的队尾，以便重新执行所述HTTP请求；
其中，所述复制后的任务消息与HTTP请求对应的任务消息除任务ID之外的其它信息均相同。
可选地，所述异常抛出单元包括：
解析子单元，用于解析所述HTTP返回信息；
判断子单元，用于判断所述HTTP返回信息中是否包含调用超过频次限制的信息；
第一确定子单元，用于当所述HTTP返回信息包含所述调用超过频次限制的信息时，确定所述当前API调用超过所述API对应的调用频次限制，以及，产生调用超限异常信息，并向程序上层逐层抛出所述调用超限异常信息；
第二确定子单元，用于当所述HTTP返回信息中不包含所述调用超过频次限制的信息时，确定所述当前API调用未超过所述API对应的调用频次限制。
可选地，所述预设时长小于1小时。
可选地，所述装置还包括：
数据获取单元，用于当所述当前API调用未超过所述调用频次限制时，从所述HTTP返回信息中提取所述应用服务器返回的数据。
第三方面，本申请还提供了一种存储介质，其上存储有程序，所述程序被处理器执行时实现上述任意一种基于Azure WebJob的应用数据获取方法。
第四方面，本申请还提供了一种处理器，所述处理器用于运行程序，所述程序运行时执行上述任意一种基于Azure WebJob的应用数据获取方法。
借由上述技术方案，本发明提供的基于Azure WebJob的应用数据获取方法，接收应用服务器返回的HTTP返回信息，以及，根据该HTTP返回信息确定当前API调用是否超过该API对应的调用频次限制后，产生并抛出调用超限异常信息；当上层程序检测到该调用超限异常信息后，将执行所述HTTP请求的当前线程阻塞预设时长，当达到预设时长后唤醒所述当前线程继续执行任务队列中的HTTP请求任务。该方法能够识别出API接口的调用频次限制错误，并通过阻塞线程暂停针对该API接口的HTTP请求任务的执行，从而避免启动AzureWebJob的错误重试机制，进而节省了大量资源。此外，该方法是在遇到调用频次限制后暂停预设时长后再执行相应的API调用任务，无论API接口的调用频次限制是多少次该方法都适用，因此，该方法适用性广。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请实施例一种基于Azure WebJob的应用数据获取方法流程图；
图2示出了本申请实施例一种根据HTTP返回信息判断当前API调用是否超过调用频次限制过程的流程图；
图3示出了本申请实施例另一种基于Azure WebJob的应用数据获取方法流程图；
图4示出了本申请实施例一种基于Azure WebJob的应用数据获取装置的框图；
图5示出了本申请实施例一种异常抛出单元的框图；
图6示出了本申请实施例另一种基于Azure WebJob的应用数据获取装置的框图；
图7示出了本申请实施例又一种基于Azure WebJob的应用数据获取装置的框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
请参见图1，示出了本申请实施例一种基于Azure WebJob的应用数据获取方法流程图，如图1所示，该方法可以包括以下步骤：
S110，向应用服务器发送调用API的超文本传输协议(Hyper Text TransferProtocol，HTTP)请求。
在本申请实施例中，基于Azure WebJob实现应用数据获取，因此，需要开发调用API接口以获取应用程序数据的任务程序，在Azure WebJob中运行该任务程序，以实现通过用API获取应用程序中的公共数据。
在本申请的一个实施例中，建立HTTP请求的公共方法，该公共方法用于请求API，即向应用服务器发送一个用于请求该应用的API的HTTP请求。用于获取应用公共数据的任务程序通过调用该公共方法实现请求API。
S120，接收应用服务器返回的响应所述HTTP请求的HTTP返回信息。
以获取微博公共数据为例，该步骤是向微博服务器发送用于请求微博API的HTTP请求后，微博服务器接收并响应该HTTP请求并返回HTTP返回信息。
S130，当根据所述HTTP返回信息确定当前API调用超过API对应的调用频次限制时，产生调用超限异常信息并抛出所述调用超限异常信息。
在本申请的一个实施例中，如图2所示，根据HTTP返回信息判断当前API调用是否超过调用频次限制的过程可以包括：
S131，解析应用服务器返回的HTTP返回信息。
如果请求API的HTTP请求超过了调用频次限制，则应用服务器返回的HTTP返回信息中会包含表明当前调用超限的信息。例如，返回的HTTP状态码为403，并且返回的内容可以为“{"error":"exceed uid rate hour limited","error_code":10014,"request":"[此处为任意值]"}”。
S132，判断HTTP返回信息中是否包含调用超过频次限制的信息；如果是，则执行S133；如果否，则执行S135；
例如，如果检测到HTTP返回信息中包含错误是"exceed uid rate hourlimited"，则确定当前调用超限。
S133，确定当前API调用超过所述API对应的调用频次限制。
S134，产生调用超限异常信息，并向程序上层逐层抛出所述调用超限异常信息。
S110中的公共方法检测到HTTP返回信息包含此类内容，则确定当前的API调用超过API对应的调用频次限制，产生一个调用超限异常信息，并向上层抛出该异常信息。
在任务程序中，方法的调用是逐层向下深入，如果底层的方法执行产生异常，则会将异常逐层向上传递，如果某一层没有捕获该异常，则该异常会传递到上一层，依次类推，整个过程称为“抛出异常”。
S135，确定当前API调用未超过API对应的调用频次限制，并返回获得的数据。
如果HTTP返回信息中不包含调用超过频次限制的信息，则表明当前调用没有超过调用频次限制，直接向API调用者返回HTTP返回信息中所包含的公共数据。
S140，当检测到所述调用超限异常信息后，将执行所述HTTP请求的当前线程阻塞预设时长。
如果上层程序检测到底层抛出的调用超限异常信息后，将阻塞当前线程预设时长。例如，若API的调用频次限制以小时为单位，则该预设时长可以取小于1小时的任何时间，例如，5min，20min等。
当前线程是指执行当前HTTP请求的线程，阻塞该当前线程后，对应的任务程序就不会继续执行下一个任务，从而达到所有排在队列中的此类任务都暂停执行的效果。
S150，当当前线程的阻塞时长达到所述预设时长后，唤醒所述当前线程。
当当前线程被阻塞预设时长后，唤醒该当前线程继续执行队列中的任务。
本实施例提供的基于Azure WebJob的应用数据获取方法，接收应用服务器返回的HTTP返回信息，以及，根据该HTTP返回信息确定当前API调用是否超过该API对应的调用频次限制后，产生并抛出调用超限异常信息；当上层程序检测到该调用超限异常信息后，将执行所述HTTP请求的当前线程阻塞预设时长，当达到预设时长后唤醒所述当前线程继续执行任务队列中的HTTP请求任务。该方法能够识别出API接口的调用频次限制错误，并通过阻塞线程暂停针对该API接口的HTTP请求任务的执行，从而避免启动Azure WebJob的错误重试机制，进而节省了大量资源。此外，该方法是在遇到调用频次限制后暂停预设时长后再执行相应的API调用任务，无论API接口的调用频次限制是多少次该方法都适用，因此，该方法适用性广。
请参见图3，示出了本申请实施例另一种基于Azure WebJob的应用数据获取方法流程图，该方法在图1所示实施例的基础上还包括以下步骤：
S210，当当前线程的阻塞时长达到预设时长后，复制所述HTTP请求对应的任务消息，并将复制后的任务消息重新添加到任务队列的队尾。
如果当前线程被阻塞的时长达到预设时长后，将当前HTTP请求对应的任务消息复制一份，从任务队列的队首去除该任务消息，同时，将复制的任务消息添加到任务队列的队尾，从而实现在任务执行出现异常后，延时预设时长后重新执行出现异常的任务。
因为复制后的任务消息与原任务消息的任务ID不同，具体的任务内容均相同，任务队列中以任务ID来区分任务，复制后的任务消息具有新的任务ID，所以，任务队列会将复制的任务消息作为一个全新的任务来处理。
本实施例提供的基于Azure WebJob的应用数据获取方法，在对线程阻塞达到预设时长后，将该任务消息复制后重新添加到任务队列的队尾，以实现该任务的延时重试，从而实现对不同API的调用频次限制的自适应。
下面将结合一个获取微博公共数据的实例来详细说明在Azure WebJob中如何实现上述方法。
1)建立用于请求微博API的HTTP请求的公共方法，此公共方法能够根据微博服务器返回的HTTP返回信息来判断本次调用微博API的请求是否超过调用频次限制，如果超出调用频次限制，则抛出一个调用超限异常信息，例如，可以称为“ExceedApiCallLimitException”，当然，也可以称为其它名字，本申请对此并不限定。
任务方法通过调用该公共方法来请求微博API，并允许该公共方法产生的“ExceedApiCallLimitException”向上层抛出。任务方法即调用微博API获取微博公共数据的任务程序。一个任务方法用于实现同一类微博API的调用，不同的任务方法用于实现对不同微博API的调用。
2)Azure WebJob SDK中QueueProcessor类用来负责任务方法的执行前、中、后的行为；因此，需要重新自定义QueueProcessor，为了描述方便称之为“WeiboWebJobQueueProcessor”，在WeiboWebJobQueueProcessor类里用自定义实现的“CompleteProcessingMessageAsync”方法覆盖QueueProcessor类中的原有CompleteProcessingMessageAsync方法；自定义的CompleteProcessingMessageAsync方法用于检查任务方法的执行结果是否抛出了“ExceedApiCallLimitException”这个异常；
如果抛出该异常，则阻塞当前线程若干时间，然后，在阻塞时间结束后，将出现异常的任务复制一份，将该任务从任务队列的队首去除，并将复制的任务添加到任务队列的队尾。
如果没有抛出该异常，则不作特殊处理。
3)在Azure WebJob启动时，会调用QueueProcessorFactory的Create方法为每一个任务方法创建一个对应的QueueProcessor类，然后由这个QueueProcessor类来负责该任务方法的执行前、中、后的行为。因此，在本申请中，需要重新自定义QueueProcessorFactory，为了描述方便可以称为“WeiboWebJobQueueProcessorFactory”，并实现其中的Creat方法，该Creat方法实现为通过上述自定义的WeiboWebJobQueueProcessor类来返回QueueProcessor的新实例。这样，在Azure WebJob启动时，就会使用自定义的WeiboWebJobQueueProcessorFactory，进而通过Creat方法创建自定义的WeiboWebJobQueueProcessor类，实现此类中自定义实现的CompleteProcessingMessageAsync方法。
由上述的描述可见，实际程序执行流程是Azure WebJob启动→创建WeiboWebJobQueueProcessorFactory→创建WeiboWebJobQueueProcessor类。
相应于上述的基于Azure WebJob的应用数据获取方法实施例，本申请还提供了相应的装置实施例。
请参见图4，示出了本申请实施例一种基于Azure WebJob的应用数据获取装置的框图，该装置应用于基于Azure WebJob的平台中。如图4所示，该装置包括：发送单元110、接收单元120、异常抛出单元130、线程阻塞单元140和线程唤醒单元150。
发送单元110，用于向应用服务器发送调用API的HTTP请求。
基于Azure WebJob实现应用程序的公共数据获取，需要开发调用API接口以获取应用数据的任务程序，在Azure WebJob中运行该任务程序，以实现通过用API获取应用中的公共数据。
在本申请的一个实施例中，建立HTTP请求的公共方法，该公共方法用于请求API，即向应用服务器发送一个用于请求API的HTTP请求。用于获取应用程序中公共数据的任务程序。通过调用该公共方法实现请求API。
接收单元120，用于接收应用服务器返回的响应HTTP请求的HTTP返回信息。
向应用服务器发送用于请求应用API的HTTP请求后，应用服务器接收并响应该HTTP请求并返回HTTP返回信息。
异常抛出单元130，用于当根据HTTP返回信息确定当前API调用超过所述API对应的调用频次限制时，产生调用超限异常信息并抛出调用超限异常信息。
在本申请的一个实施例中，如图5所示，该异常抛出单元可以包括：解析子单元131、判断子单元132、第一确定子单元133和第二确定子单元134；
解析子单元131，用于解析所述HTTP返回信息。
如果请求API的HTTP请求超过了调用频次限制，则应用服务器返回的HTTP返回信息中会包含表明当前调用超限的信息。例如，返回的HTTP状态码为403，并且返回的内容可以为“{"error":"exceed uid rate hour limited","error_code":10014,"request":"[此处为任意值]"}”。如果检测到HTTP返回信息中包含错误是"exceed uid rate hourlimited"，则确定当前调用超限。
判断子单元132，用于判断所述HTTP返回信息中是否包含调用超过频次限制的信息。
如果检测到HTTP返回信息中包含错误是"exceed uid rate hour limited"，则确定当前调用超限。
第一确定子单元133，用于当所述HTTP返回信息包含所述调用超过频次限制的信息时，确定所述当前API调用超过所述API对应的调用频次限制，以及，产生调用超限异常信息，并向程序上层逐层抛出所述调用超限异常信息。
检测到HTTP返回信息包含此类内容，则确定当前的API调用超过API对应的调用频次限制，产生一个调用超限异常信息，并向上层抛出该异常信息。
在任务程序中，方法的调用是逐层向下深入，如果底层的方法执行产生异常，则会将异常逐层向上传递，如果某一层没有捕获该异常，则该异常会传递到上一层，依次类推，整个过程称为“抛出异常”。
第二确定子单元134，用于当所述HTTP返回信息中不包含所述调用超过频次限制的信息时，确定所述当前API调用未超过所述API对应的调用频次限制。
如果HTTP返回信息中不包含调用超过频次限制的信息，则表明当前调用没有超过调用频次限制，直接向API调用者返回HTTP返回信息中所包含的应用公共数据。
线程阻塞单元140，用于当检测到调用超限异常信息后，将执行HTTP请求的当前线程阻塞预设时长。
如果上层程序检测到底层抛出的调用超限异常信息后，将阻塞当前线程预设时长。若API的调用频次限制以小时为单位，则该预设时长可以取小于1小时的任何时间，例如，5min，20min等。
当前线程是指执行当前HTTP请求的线程，阻塞该当前线程后，对应的任务程序就不会继续执行下一个任务，从而达到所有排在队列中的此类任务都暂停执行的效果。
线程唤醒单元150，用于当当前线程的阻塞时长达到预设时长后，唤醒所述当前线程。
当当前线程被阻塞预设时长后，唤醒该当前线程继续执行队列中的任务。
本实施例提供的基于Azure WebJob的应用数据获取装置，接收应用服务器返回的HTTP返回信息，以及，根据该HTTP返回信息确定当前API调用是否超过该API对应的调用频次限制后，产生并抛出调用超限异常信息；当上层程序检测到该调用超限异常信息后，将执行所述HTTP请求的当前线程阻塞预设时长，当达到预设时长后唤醒所述当前线程继续执行任务队列中的HTTP请求任务。该装置能够识别出API接口的调用频次限制错误，并通过阻塞线程暂停针对该API接口的HTTP请求任务的执行，从而避免启动Azure WebJob的错误重试机制，进而节省了大量资源。此外，该装置是在遇到调用频次限制后暂停预设时长后再执行相应的API调用任务，无论API接口的调用频次限制是多少次该方法都适用，因此，该装置适用性广。
请参见图6，示出了本申请实施例另一种基于Azure WebJob的应用数据获取装置的框图，该装置在图4所示实施例的基础上还包括：复制单元210。
复制单元210，用于当当前线程的阻塞时长达到所述预设时长后，复制所述HTTP请求对应的任务消息，并将复制后的任务消息重新添加到任务队列的队尾，以便重新执行所述HTTP请求。
如果当前线程被阻塞的时长达到预设时长后，将当前HTTP请求对应的任务消息复制一份，从任务队列的队首去除该任务消息，同时，将复制的任务消息添加到任务队列的队尾，从而实现在任务执行出现异常后，延时预设时长后重新执行出现异常的任务。
因为复制后的任务消息与原任务消息的任务ID不同，具体的任务内容均相同，任务队列中以任务ID来区分任务，复制后的任务消息具有新的任务ID，所以，任务队列会将复制的任务消息作为一个全新的任务来处理。
本实施例提供的基于Azure WebJob的应用数据获取装置，在对线程阻塞达到预设时长后，将该任务消息复制后重新添加到任务队列的队尾，以实现该任务的延时重试，从而实现对不同API的调用频次限制的自适应。
请参见图7，示出了本申请实施例又一种基于Azure WebJob的应用数据获取装置的框图，该装置在图4所示实施例的基础上还包括：数据获取单元310；
数据获取单元310，用于当所述当前API调用未超过所述调用频次限制时，从所述HTTP返回信息中提取所述应用服务器返回的数据。
如果HTTP返回信息中不包含调用超过频次限制的信息，则表明当前调用没有超过调用频次限制，直接向API调用者返回HTTP返回信息中所包含的应用公共数据。
本实施例提供的基于Azure WebJob的应用数据获取装置，如果当前API调用未超过调用频次限制，则直接将应用服务器返回的数据返回给API调用者，从而，实现通过于Azure WebJob自动获取应用公共数据。
所述基于Azure WebJob的应用数据获取装置包括处理器和存储器，上述发送单元、接收单元、异常抛出单元、线程阻塞单元、线程唤醒单元、复制单元和数据获取单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现识别API的调用频次限制错误，并通过阻塞线程暂停针对该API接口的HTTP请求任务的执行，从而避免启动Azure WebJob的错误重试机制，进而节省了大量资源。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash
RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述基于Azure WebJob的应用数据获取方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述基于Azure WebJob的应用数据获取方法方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：
向应用服务器发送调用API的HTTP请求；
接收所述应用服务器返回的响应所述HTTP请求的HTTP返回信息；
当根据所述HTTP返回信息确定当前API调用超过所述应用API对应的调用频次限制时，产生调用超限异常信息并抛出所述调用超限异常信息；
当检测到所述调用超限异常信息后，将执行所述HTTP请求的当前线程阻塞预设时长；
当所述当前线程的阻塞时长达到所述预设时长后，唤醒所述当前线程。
在本申请的一个实施例中，所述方法还包括：
当所述当前线程的阻塞时长达到所述预设时长后，复制所述HTTP请求对应的任务消息，并将复制后的任务消息重新添加到任务队列的队尾，以便重新执行所述HTTP请求；
其中，所述复制后的任务消息与HTTP请求对应的任务消息除任务ID之外的其它信息均相同。
在本申请的一个实施例中，当根据所述HTTP返回信息确定当前API调用超过所述API对应的调用频次限制时，产生调用超限异常信息，并抛出所述调用超限异常信息，包括：
解析所述HTTP返回信息；
判断所述HTTP返回信息中是否包含调用超过频次限制的信息；
当所述HTTP返回信息包含所述调用超过频次限制的信息时，确定所述当前API调用超过所述API对应的调用频次限制，以及，产生调用超限异常信息，并向程序上层逐层抛出所述调用超限异常信息；
当所述HTTP返回信息中不包含所述调用超过频次限制的信息时，确定所述当前API调用未超过所述API对应的调用频次限制。
在本申请的一个实施例中，所述预设时长小于1小时。
在本申请的一个实施例中，所述方法还包括：
当所述当前API调用未超过所述调用频次限制时，从所述HTTP返回信息中提取所述应用服务器返回的数据。
本文中的设备可以是服务器、PC等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：。
向应用服务器发送调用API的HTTP请求；
接收所述应用服务器返回的响应所述HTTP请求的HTTP返回信息；
当根据所述HTTP返回信息确定当前API调用超过所述应用API对应的调用频次限制时，产生调用超限异常信息并抛出所述调用超限异常信息；
当检测到所述调用超限异常信息后，将执行所述HTTP请求的当前线程阻塞预设时长；
当所述当前线程的阻塞时长达到所述预设时长后，唤醒所述当前线程。
在本申请的一个实施例中，所述方法步骤还包括：
当所述当前线程的阻塞时长达到所述预设时长后，复制所述HTTP请求对应的任务消息，并将复制后的任务消息重新添加到任务队列的队尾，以便重新执行所述HTTP请求；
其中，所述复制后的任务消息与HTTP请求对应的任务消息除任务ID之外的其它信息均相同。
在本申请的一个实施例中，当根据所述HTTP返回信息确定当前API调用超过所述API对应的调用频次限制时，产生调用超限异常信息，并抛出所述调用超限异常信息，包括：
解析所述HTTP返回信息；
判断所述HTTP返回信息中是否包含调用超过频次限制的信息；
当所述HTTP返回信息包含所述调用超过频次限制的信息时，确定所述当前API调用超过所述API对应的调用频次限制，以及，产生调用超限异常信息，并向程序上层逐层抛出所述调用超限异常信息；
当所述HTTP返回信息中不包含所述调用超过频次限制的信息时，确定所述当前API调用未超过所述API对应的调用频次限制。
在本申请的一个实施例中，所述预设时长小于1小时。
在本申请的一个实施例中，所述方法步骤还包括：
当所述当前API调用未超过所述调用频次限制时，从所述HTTP返回信息中提取所述应用服务器返回的数据。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于Azure WebJob的应用数据获取方法，其特征在于，包括：
向应用服务器发送调用应用程序编程接口API的超文本传输协议HTTP请求；
接收所述应用服务器返回的响应所述HTTP请求的HTTP返回信息，所述应用服务器用于在当前API调用超过所述API对应的调用频次限制时，在所述HTTP返回信息中包含调用超限异常信息；
当根据所述HTTP返回信息确定当前API调用超过所述API对应的调用频次限制时，产生所述调用超限异常信息并抛出所述调用超限异常信息，所述确定当前API调用超过所述API对应的调用频次限制的过程包括：解析所述HTTP返回信息；判断所述HTTP返回信息中是否包含所述调用超限异常信息；当所述HTTP返回信息包含所述调用超限异常信息时，确定所述当前API调用超过所述API对应的调用频次限制；
当检测到所述调用超限异常信息后，将执行所述HTTP请求的当前线程阻塞预设时长；
当所述当前线程的阻塞时长达到所述预设时长后，唤醒所述当前线程。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述当前线程的阻塞时长达到所述预设时长后，复制所述HTTP请求对应的任务消息，并将复制后的任务消息重新添加到任务队列的队尾，以便重新执行所述HTTP请求；
其中，所述复制后的任务消息与HTTP请求对应的任务消息除任务ID之外的其它信息均相同。
3.根据权利要求1所述的方法，其特征在于，当根据所述HTTP返回信息确定当前API调用超过所述API对应的调用频次限制时，产生调用超限异常信息，并抛出所述调用超限异常信息，包括：
当所述HTTP返回信息包含所述调用超过频次限制的信息时，产生调用超限异常信息，并向程序上层逐层抛出所述调用超限异常信息；
当所述HTTP返回信息中不包含所述调用超过频次限制的信息时，确定所述当前API调用未超过所述API对应的调用频次限制。
4.根据权利要求1所述的方法，其特征在于，所述预设时长小于1小时。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
当所述当前API调用未超过所述调用频次限制时，从所述HTTP返回信息中提取所述应用服务器返回的数据。
6.一种基于Azure WebJob的应用数据获取装置，其特征在于，包括：
发送单元，用于向服务器发送调用应用程序编程接口API的超文本传输协议HTTP请求；
接收单元，用于接收所述服务器返回的响应所述HTTP请求的HTTP返回信息，所述服务器用于在当前API调用超过所述API对应的调用频次限制时，在所述HTTP返回信息中包含调用超限异常信息；
异常抛出单元，用于当根据所述HTTP返回信息确定当前API调用超过所述API对应的调用频次限制时，产生所述调用超限异常信息并抛出所述调用超限异常信息，所述确定当前API调用超过所述API对应的调用频次限制的过程包括：解析所述HTTP返回信息；判断所述HTTP返回信息中是否包含所述调用超限异常信息；当所述HTTP返回信息包含所述调用超限异常信息时，确定所述当前API调用超过所述API对应的调用频次限制；
线程阻塞单元，用于当检测到所述调用超限异常信息后，将执行所述HTTP请求的当前线程阻塞预设时长；
线程唤醒单元，用于当所述当前线程的阻塞时长达到所述预设时长后，唤醒所述当前线程。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
复制单元，用于当所述当前线程的阻塞时长达到所述预设时长后，复制所述HTTP请求对应的任务消息，并将复制后的任务消息重新添加到任务队列的队尾，以便重新执行所述HTTP请求；
其中，所述复制后的任务消息与HTTP请求对应的任务消息除任务ID之外的其它信息均相同。
8.根据权利要求6所述的装置，其特征在于，所述异常抛出单元包括：
解析子单元，用于解析所述HTTP返回信息；
判断子单元，用于判断所述HTTP返回信息中是否包含调用超过频次限制的信息；
第一确定子单元，用于当所述HTTP返回信息包含所述调用超过频次限制的信息时，确定所述当前API调用超过所述API对应的调用频次限制，以及，产生调用超限异常信息，并向程序上层逐层抛出所述调用超限异常信息；
第二确定子单元，用于当所述HTTP返回信息中不包含所述调用超过频次限制的信息时，确定所述当前API调用未超过所述API对应的调用频次限制。
9.一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现权利要求1至5任一项所述的基于Azure WebJob的应用数据获取方法。
10.一种处理器，所述处理器用于运行程序，其特征在于，所述程序运行时执行权利要求1至5任一项所述的基于Azure WebJob的应用数据获取方法。
CN201710706791.3A 2017-08-17 2017-08-17 一种基于Azure WebJob的应用数据获取方法及装置 Active CN109408244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710706791.3A CN109408244B (zh) 2017-08-17 2017-08-17 一种基于Azure WebJob的应用数据获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710706791.3A CN109408244B (zh) 2017-08-17 2017-08-17 一种基于Azure WebJob的应用数据获取方法及装置

Publications (2)

Publication Number Publication Date
CN109408244A CN109408244A (zh) 2019-03-01
CN109408244B true CN109408244B (zh) 2022-04-22

Family

ID=65454914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710706791.3A Active CN109408244B (zh) 2017-08-17 2017-08-17 一种基于Azure WebJob的应用数据获取方法及装置

Country Status (1)

Country Link
CN (1) CN109408244B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325148A (zh) * 2011-05-25 2012-01-18 重庆新媒农信科技有限公司 一种WebService服务调用方法
CN103164273A (zh) * 2012-09-06 2013-06-19 佳都新太科技股份有限公司 一种利用自扩展的阻塞算法将同步服务调用转换为异步并行式调用的方法
CN106550010A (zh) * 2016-09-21 2017-03-29 南京途牛科技有限公司 一种实时控制分布式系统调用外系统服务频次的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325148A (zh) * 2011-05-25 2012-01-18 重庆新媒农信科技有限公司 一种WebService服务调用方法
CN103164273A (zh) * 2012-09-06 2013-06-19 佳都新太科技股份有限公司 一种利用自扩展的阻塞算法将同步服务调用转换为异步并行式调用的方法
CN106550010A (zh) * 2016-09-21 2017-03-29 南京途牛科技有限公司 一种实时控制分布式系统调用外系统服务频次的方法及系统

Also Published As

Publication number Publication date
CN109408244A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109669776B (zh) 检测任务的处理方法、装置和系统
CN112346829B (zh) 一种用于任务调度的方法及设备
EP1337919A1 (fr) Procede de securisation rendant deterministe l'execution en temps reel d'applications multitaches du type controle-commande avec confinement d'erreur
CN110232010A (zh) 一种告警方法、告警服务器及监控服务器
CN107276970B (zh) 一种解绑、绑定方法和装置
CN108038039B (zh) 记录日志的方法及微服务系统
US9973306B2 (en) Freshness-sensitive message delivery
CN109428682B (zh) 一种消息处理确认方法及装置
CN108366098B (zh) 一种网络节点的数据交互方法及装置
CN111752822A (zh) 一种容器化压测调度方法、计算机设备及可读存储介质
CN106775620B (zh) 一种定时方法及装置
CN110019260B (zh) 一种用户数据的更新方法及相关设备
CN107633080B (zh) 一种用户任务处理方法及装置
CN109408244B (zh) 一种基于Azure WebJob的应用数据获取方法及装置
CN110489576B (zh) 图片资源处理方法和系统、客户端、服务器、处理器及介质
CN109558249B (zh) 一种并发操作的控制方法及装置
CN111488373A (zh) 用于处理请求的方法和系统
CN116594734A (zh) 容器迁移方法、装置、存储介质及电子设备
CN112148420B (zh) 基于容器技术的异常任务处理方法、服务器及云平台
CN110968406B (zh) 处理任务的方法、装置、存储介质和处理器
US10102052B2 (en) Dumping resources
CN108628615B (zh) 一种废弃代码检测方法、装置以及设备
CN112416534A (zh) 一种基于Agent的任务管理方法及装置
CN112148419B (zh) 云平台中镜像管理方法、装置、系统及存储介质
CN109241066B (zh) 请求处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100080 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant