CN107872498B - 一种业务数据订阅方法、装置及系统 - Google Patents

一种业务数据订阅方法、装置及系统 Download PDF

Info

Publication number
CN107872498B
CN107872498B CN201610861955.5A CN201610861955A CN107872498B CN 107872498 B CN107872498 B CN 107872498B CN 201610861955 A CN201610861955 A CN 201610861955A CN 107872498 B CN107872498 B CN 107872498B
Authority
CN
China
Prior art keywords
service data
service
data
waiting time
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610861955.5A
Other languages
English (en)
Other versions
CN107872498A (zh
Inventor
马静山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610861955.5A priority Critical patent/CN107872498B/zh
Publication of CN107872498A publication Critical patent/CN107872498A/zh
Application granted granted Critical
Publication of CN107872498B publication Critical patent/CN107872498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/62Establishing a time schedule for servicing the requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请提供了一种业务数据订阅方法、装置及系统。所述系统包括业务处理系统、业务数据订阅装置、业务数据分析系统;所述业务数据分析系统,用于向所述业务数据订阅装置发送请求获取所述业务处理系统的业务数据的当前订阅请求;所述业务数据订阅装置,用于在接收到所述当前订阅请求后,获取表征所述业务处理系统的传输性能的传输参数;根据所述传输参数,预估所述业务处理系统下次可提供业务数据的等待时间;将所述等待时间反馈至所述业务数据分析系统;所述业务数据分析系统,还用于根据所述等待时间发送下次订阅请求。通过本申请可以最大化减少空读订阅请求,有效提高数据请求的成功率,避免增加业务处理系统的负载。

Description

一种业务数据订阅方法、装置及系统
技术领域
本申请涉及数据传输技术领域,特别是涉及一种业务数据订阅方法、一种业务数据订阅装置,以及,一种业务数据订阅系统。
背景技术
通常,数据订阅系统由数据发布端、订阅服务端、数据订阅端三方构成,数据发布端将数据通过订阅服务端发布一个数据源,数据订阅端通过订阅服务端订阅自己感兴趣的数据源。
目前数据订阅系统主要有数据推送(push)和数据拉取(pull)两种订阅方式。
数据推送的过程中,数据订阅端在订阅服务端注册自己感兴趣的数据源,并通过监听等待订阅服务端发送的数据。订阅服务端在收到数据发布端发布的数据后,将最新的数据发送给所有对该数据感兴趣的数据订阅端。数据推送的方式实时性高,可以将新的数据可以及时推送到数据数据订阅端。但由于订阅服务端需要将数据分别发送给所有数据订阅端,并且需要维护每个数据订阅端对每个数据源的订阅状态,从而导致订阅服务端的系统复杂度升高。并且,由于是订阅服务端发送数据,需要数据订阅端基于某种特定数据接收协议来接收数据,从而限制了数据订阅应用的实现方式,也增加了整个系统的复杂度,影响了整个订阅系统的实现和易用性。
数据拉取的方式中,数据订阅端反复多次的向订阅服务端发送数据请求。订阅服务端收到数据请求检查到新数据后,返回数据至数据订阅端。
数据拉取的实现方案简单,当一个数据订阅端读取最新的数据而数据发布者并没有新的数据发布的时候,数据订阅端需要一直重复发出请求,以保证最新数据发布的时候能够及时读取数据。大量的重复请求对于订阅服务端的性能和网络资源都造成了一定的浪费,当订阅服务的性能达到瓶颈的时候,空的数据请求甚至可能会影响到有效的数据请求。
发明内容
本申请所要解决的技术问题是提供一种部分或全部解决上述技术问题的数据订阅方法和装置。
为了解决上述问题,本申请公开了一种业务数据订阅系统,包括业务处理系统、业务数据订阅装置、业务数据分析系统;
所述业务数据分析系统,用于向所述业务数据订阅装置发送请求获取所述业务处理系统的业务数据的当前订阅请求;
所述业务数据订阅装置,用于在接收到所述当前订阅请求后,获取表征所述业务处理系统的传输性能的传输参数;根据所述传输参数,预估所述业务处理系统下次可提供业务数据的等待时间;将所述等待时间反馈至所述业务数据分析系统;
所述业务数据分析系统,用于根据所述等待时间发送下次订阅请求。
本申请还公开了一种业务数据订阅方法,所述方法包括:
接收业务数据分析系统发送的请求获取业务处理系统的业务数据的当前订阅请求;
获取表征所述业务处理系统的传输性能的传输参数;
根据所述传输参数预估所述业务处理系统下次可提供业务数据的等待时间;
将所述等待时间反馈至所述业务数据分析系统,以使所述业务数据分析系统根据所述等待时间发送下次订阅请求。
可选地,所述根据所述传输参数预估所述业务处理系统下次可提供业务数据的等待时间包括:
查找针对不同传输环境信息预设的控制参数,所述控制参数用于控制所预估的等待时间;
结合查找的控制参数和传输参数确定所述等待时间。
可选地,所述传输环境信息包括所述业务数据的数据属性,所述数据属性包括所请求业务数据的存在状态和/或所请求业务数据的业务类型,所述查找针对不同传输环境信息预设的控制参数,所述控制参数用于控制所预估的等待时间包括:
查找针对所述数据属性预设的第一控制参数。
可选地,所述传输环境信息包括所述业务处理系统的当前业务处理量和/或当前所处时段;所述查找针对不同传输环境信息预设的控制参数,所述控制参数用于控制所预估的等待时间包括:
查找针对所述当前业务处理量和/或当前所处时段预设的第二控制参数。
可选地,所述传输参数包括提供所请求业务数据的业务处理系统的每秒查询率、网络流量、数据发布频率、CPU负载量中至少一种。
可选地,在所述将等待时间反馈至所述业务数据分析系统时,所述方法还包括:
确定存在所述当前订阅请求所请求的业务数据,则提取所请求的业务数据反馈至所述业务数据分析系统。
可选地,所述接收业务数据分析系统发送的请求获取业务处理系统的业务数据的当前订阅请求包括:
接收所述业务数据分析系统基于超文本传输协议发送、并由超文本传输协议服务器通过远程过程调用协议转发的当前订阅请求。
可选地,所述方法还包括:
基于远程过程调用协议发送所述当前订阅请求至超文本传输协议服务器,以由所述超文本传输协议服务器通过超文本传输协议将所述当前订阅请求转发至提供所请求业务数据的业务处理系统。
可选地,所述将所述等待时间反馈至所述业务数据分析系统包括:
接收所述业务处理系统针对所述当前订阅请求反馈的响应信息;
将所述等待时间插入所述响应信息后,反馈至所述数据订阅端。
本申请还公开了一种业务数据订阅方法,所述方法包括:
发送对业务处理系统的业务数据的当前订阅请求;
接收所述业务处理系统下次可提供业务数据的等待时间,所述等待时间根据表征所述业务处理系统的传输性能的传输参数预估;
根据所述等待时间发送下次订阅请求。
本申请还公开了一种业务数据订阅装置,所述装置包括:
订阅请求接收模块,用于接收业务数据分析系统发送的请求获取业务处理系统的业务数据的当前订阅请求;
传输参数获取模块,用于获取表征所述业务处理系统的传输性能的传输参数;
等待时间预估模块,用于根据所述传输参数预估所述业务处理系统下次可提供业务数据的等待时间;
等待时间反馈模块,用于将所述等待时间反馈至所述业务数据分析系统,以使所述业务数据分析系统根据所述等待时间发送下次订阅请求。
本申请还公开了一种业务数据订阅装置,所述装置包括:
第一订阅请求发送模块,用于发送对业务处理系统的业务数据的当前订阅请求;
等待时间接收模块,用于接收所述业务处理系统下次可提供业务数据的等待时间,所述等待时间根据表征所述业务处理系统的传输性能的传输参数预估;
第二订阅请求发送模块,用于根据所述等待时间发送下次订阅请求。
与现有技术相比,本申请包括以下优点:
依据本申请实施例,在接收到业务数据分析系统对业务处理系统的业务数据的当前订阅请求后,从业务处理系统获取表征其传输性能的传输参数,根据传输参数预估下次可提供数据的等待时间并反馈至业务数据分析系统,以使业务数据分析系统根据等待时间发送下次订阅请求,从而避免业务数据分析系统在有新数据之前发送请求或是在未获取到数据时多次重复发送请求,可以最大化减少空读订阅请求,有效提高数据请求的成功率,避免增加业务处理系统的负载。
并且,针对业务处理系统较空闲的情况,采用根据下次可提供数据的等待时间发送订阅请求的方式,可以自动提高所有数据请求的频率,以保证数据订阅的实时性。
本申请实施例支持针对不同的传输环境配置不同的控制参数以控制对应计算的等待时间,以针对不同的业务类型配置不同控制参数为例,可以通过控制参数的设置,保证在系统繁忙的时候优先级较高的请求可以优先得到处理。
附图说明
图1是本申请的一种业务数据订阅系统的应用示意图;
图2是本申请的一种业务数据订阅方法实施例1的流程图;
图3是本申请的一种业务数据订阅方法实施例2的流程图;
图4是本申请的一种业务数据订阅方法实施例3的流程图;
图5是本申请实施例的一种业务数据订阅的数据流示意图;
图6是实现本申请实施例的多协议架构示意图;
图7是本申请的一种业务数据订阅装置实施例1的结构框图;
图8是本申请的一种业务数据订阅装置实施例2的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请提供了一种业务数据订阅系统,包括业务处理系统、业务数据订阅装置、业务数据分析系统。参考图1,示出了本申请的一种业务数据订阅系统的应用示意图。其中,业务数据分析系统向业务数据订阅装置发送请求获取业务处理系统的业务数据的当前订阅请求;业务数据订阅装置在接收到当前订阅请求后,获取表征业务处理系统的传输性能的传输参数;根据传输参数,预估业务处理系统下次可提供业务数据的等待时间;将等待时间反馈至业务数据分析系统;业务数据分析系统还根据等待时间发送下次订阅请求。其中,业务数据订阅装置可以位于业务处理系统或业务数据分析系统,也可以独立于业务处理系统和业务数据分析系统,位于负责接收和转发请求的前端服务器,或是位于除上述之外的独立服务器。上述业务数据订阅系统的实现过程具体可以采用如下方法步骤:
参考图2,示出了本申请的一种业务数据订阅方法实施例1的流程图,具体可以包括:
步骤101,接收业务数据分析系统发送的请求获取业务处理系统的业务数据的当前订阅请求。
业务处理系统用于支撑具体某项业务的处理过程,例如可以是交易系统等。相应的,业务数据是指业务处理系统所涉及到的数据,可以是各个环节的处理结果、辅助处理的各项参数、历史记录数据、用户数据等。业务数据分析系统用于按照设定的分析方法对业务处理系统的业务数据进行统计分析,以得到所需的分析结果。
业务数据分析系统主动向业务处理系统发送订阅请求以获取所需的业务数据。订阅请求可以携带所需数据的数据源的标识信息,以使业务处理系统根据该标识信息识别相应数据源,并获取该数据源的最新数据反馈至业务数据分析系统。
步骤102,获取表征所述业务处理系统的传输性能的传输参数。
传输参数表征业务处理系统的传输性能,具体可以是订阅提供端的每秒查询率(QPS)、网络流量、数据发布频率、一个或多个服务器的CPU负载量(CPU load数)等各种参数中至少一种。其中,数据发布频率是业务处理系统对业务数据的发布频率,可以从业务处理系统获取,具体可以表示为数据发布时间、数据发布周期、数据发布次数等。上述各种数据可以取系统的实时数据,或是系统的最大值,或是同时使用实时数据和最大值,系统的实时数据是处理请求时的状态值,最大数据可以根据硬件计算得出。例如,CPU load的最大值可以根据机器的CPU个数得出,网络流量的最大值可以根据网卡的容量计算得到。
步骤103,根据所述传输参数预估所述业务处理系统下次可提供业务数据的等待时间。
业务处理系统下次可提供数据的时间,记为数据订阅端需要等待数据的等待时间。
基于订阅服务端当前的传输参数进行预估,若当前传输能力较好,则说明负载较少,根据计算得到的等待时间较短,若传输能力较差,则说明负载较多,根据计算得到的等待时间较短。
本申请实施例根据传输参数预估下次可提供数据的等待时间,具体可以采用任意适用的算法,本申请对此并不做限制。
具体可以预置算法公式,算法公式基于各种传输参数确定等待时间。优选地,可以设置可调整的控制参数,用于采用同一等待时间的算法公式进行等待时间的预估时,针对不同的传输环境,通过不同的控制参数实现对等待时间的调整。在确定等待时间时,首先查找针对不同传输环境信息预设的控制参数;进一步结合查找的控制参数和传输参数确定所述等待时间。
其中,传输环境信息可以是所请求的业务数据的数据属性、业务处理系统的当前业务处理量、当前所处时段中任意一种或多种,数据属性具体可以是所请求业务数据的存在状态、所请求业务数据的业务类型的任意一种或多种。
一种优选的实现方式中,可以针对不同的数据属性设定不同的控制参数,记为第一控制参数,查找针对数据属性预设的第一控制参数后,进一步结合第一控制参数和传输参数确定等待时间。例如,可以针对所请求的业务数据的业务类型配置不同的控制参数,从而通过控制参数的调整,使传输参数相同的情况下,获取优先级较高的业务类型的业务数据对应较短的等待时间,保证在系统繁忙的时候优先级较高业务类型的请求可以优先得到处理。
另一种优选的实现方式中,可以针对当前业务处理量与当前所处时段中至少一种设定不同的控制参数,记为第二控制参数,查找针对所述当前业务处理量和/或当前所处时段预设的第二控制参数后,进一步结合第二控制参数和传输参数确定等待时间。
例如,以CPU load、网络流量为传输参数计算传输参数,根据业务类型配置不同的传输参数,具体优选可以采用下述公式进行计算。其中,c(小写)代表CPU load的当前值,C(大写)代表CPU load的最大值,即max CPU load,n代表网络流量network volume当前值,N代表网络流量最大值,即max network wolume,p(小写)代表最新数据发布时间,P(大写)代表平均数据发布时间,r为阈值,α为加权参数,t为计算的等待时间。其中,可以为业务数据的业务类型设置不同的控制参数。
Figure BDA0001123053150000081
Figure BDA0001123053150000082
Figure BDA0001123053150000083
Figure BDA0001123053150000084
Figure BDA0001123053150000085
Figure BDA0001123053150000086
步骤104,将所述等待时间反馈至所述业务数据分析系统,以使所述业务数据分析系统根据所述等待时间发送下次订阅请求。
根据表征传输能力的传输参数确定等待时间,使业务处理系统传输能力较差时,预估较长的等待时间,而传输能力较强时,预估较短的等待时间,以使业务数据分析系统根据等待时间发送下次订阅请求,从而避免业务数据分析系统在有新数据之前发送请求或是在未获取到数据时多次重复发送请求,可以最大化减少空读订阅请求,有效提高数据请求的成功率,避免增加业务处理系统的负载。
并且,针对业务处理系统较空闲的情况,采用根据下次可提供数据的等待时间发送订阅请求的方式,可以自动提高所有数据请求的频率,以保证数据订阅的实时性。
参考图3,示出了本申请的一种业务数据订阅方法实施例2的流程图,上个实施例可以具体实施在业务处理系统或业务数据分析系统,也可以独立于业务处理系统和业务数据分析系统,位于负责接收和转发请求的前端服务器,或是位于除上述之外的独立服务器。本实施例具体给出了部署在独立服务器的实施过程。本实施例具体可以包括以下步骤:
步骤201,接收业务数据分析系统基于超文本传输协议发送、并由超文本传输协议服务器通过远程过程调用协议转发的当前订阅请求。
在采用多种协议通信的系统架构中,通常会将前端服务器独立部署,前端服务器基于超文本传输协议(http协议)实现数据通信,也称之为超文本传输协议服务器,而本实施例中业务处理系统和业务数据分析系统、业务数据订阅装置分别直接与前端服务器进行交互,而业务数据订阅装置基于远程过程调用协议(rpc协议)实现数据通信。
业务数据分析系统基于超文本传输协议将当前订阅请求发送至前端服务器,前端服务器通过远程过程调用协议发送至业务数据订阅装置。
步骤202,基于远程过程调用协议发送所述当前订阅请求至超文本传输协议服务器,以由所述超文本传输协议服务器通过超文本传输协议将所述当前订阅请求转发至提供所请求业务数据的业务处理系统。
业务数据订阅装置将当前订阅请求发送至业务处理系统的过程中,首先基于远程过程调用协议发送所述当前订阅请求至超文本传输协议服务器,进一步由超文本传输协议服务器将该当前订阅请求转发至业务处理系统。
步骤203,获取表征所述业务处理系统的传输性能的传输参数。
步骤204,根据所述传输参数预估所述业务处理系统下次可提供业务数据的等待时间。
等待时间的预估方法可以按照上个实施例所述,此处不再赘述。当采用所请求数据的数据状态、表征传输能力的传输状态进行计算时,可以从业务处理系统获取上述数据进行计算。
步骤205,接收所述业务处理系统针对所述当前订阅请求反馈的响应信息。
业务处理系统针对当前订阅请求会反馈相应的响应信息。本实施例采用的响应信息为超文本传输协议格式,相应业务数据分析系统也可以采用http协议,使得数据订阅实现方式实现较为简单,降低因协议复杂度限制数据订阅实现方式增加系统复杂度的问题。
步骤206,将所述等待时间插入所述响应信息后,反馈至所述数据订阅端,以使所述业务数据分析系统根据所述等待时间发送下次订阅请求。
上述计算的等待时间进一步插入响应信息中,与响应信息一同反馈至业务数据分析系统。
步骤207,确定存在所述当前订阅请求所请求的业务数据,则提取所请求的业务数据反馈至所述业务数据分析系统。
在接收到订阅请求后,根据是否存在请求的数据判断该订阅请求所属数据请求类型,若存在请求获取的数据,则为有效请求,若不存在请求获取的数据,则为无效请求。
若为有效请求,则进一步反馈所请求的数据,若为无效请求,则可以反馈空值(null)。
依据本申请实施例,在接收到业务数据分析系统对业务处理系统的业务数据的当前订阅请求后,从业务处理系统获取表征其传输性能的传输参数,根据传输参数预估下次可提供数据的等待时间并反馈至业务数据分析系统,以使业务数据分析系统根据等待时间发送下次订阅请求,从而避免业务数据分析系统在有新数据之前发送请求或是在未获取到数据时多次重复发送请求,可以最大化减少空读订阅请求,有效提高数据请求的成功率,避免增加业务处理系统的负载。
并且,针对业务处理系统较空闲的情况,采用根据下次可提供数据的等待时间发送订阅请求的方式,可以自动提高所有数据请求的频率,以保证数据订阅的实时性。
本申请实施例支持针对不同的传输环境配置不同的控制参数以控制对应计算的等待时间,以针对不同的业务类型配置不同控制参数为例,可以通过控制参数的设置,保证在系统繁忙的时候优先级较高的请求可以优先得到处理。
参考图4,示出了本申请的一种业务数据订阅方法实施例3的流程图,具体可以包括以下步骤:
步骤301,发送请求获取业务处理系统的业务数据的当前订阅请求。
步骤302,接收所述业务处理系统下次可提供业务数据的等待时间,所述等待时间根据表征所述业务处理系统的传输性能的传输参数预估。
步骤303,根据所述等待时间发送下次订阅请求。
本实施例的执行主体为业务数据分析系统。
依据本申请实施例,在接收到业务数据分析系统对业务处理系统的业务数据的当前订阅请求后,从业务处理系统获取表征其传输性能的传输参数,根据传输参数预估下次可提供数据的等待时间并反馈至业务数据分析系统,以使业务数据分析系统根据等待时间发送下次订阅请求,从而避免业务数据分析系统在有新数据之前发送请求或是在未获取到数据时多次重复发送请求,可以最大化减少空读订阅请求,有效提高数据请求的成功率,避免增加业务处理系统的负载。
并且,针对业务处理系统较空闲的情况,采用根据下次可提供数据的等待时间发送订阅请求的方式,可以自动提高所有数据请求的频率,以保证数据订阅的实时性。
本申请实施例支持针对不同的传输环境配置不同的控制参数以控制对应计算的等待时间,以针对不同的业务类型配置不同控制参数为例,可以通过控制参数的设置,保证在系统繁忙的时候优先级较高的请求可以优先得到处理。
为使本领域技术人员更好地理解本申请实施例的方案,以下通过具体的示例进行说明。
参考图5示出了本申请实施例的一种业务数据订阅的数据流示意图,具体过程可以包括:
a、由业务处理系统发起数据订阅请求;
b、业务数据订阅装置收到请求后,从业务处理系统获取传输参数;
d、查找针对传输参数对应设置的控制参数,并结合控制参数和传输参数确定等待时间;
e、业务数据订阅装置将所请求的业务数据和等待时间一同返回给业务数据分析系统;
f、业务数据分析系统接收订阅服务返回的数据和等待时间;
g、业务数据分析系统处理收到的数据;
h、业务数据分析系统根据收到的等待时间进入等待状态;
i、业务数据分析系统发起下一次订阅请求。
图6是实现本申请实施例的多协议架构示意图,其中数据发布者指业务处理系统,数据订阅者指业务数据分析系统,通过监控服务和订阅服务实现业务数据的订阅功能,http服务由前端服务器提供。具体过程包括:
1、数据订阅端将订阅请求发送至http服务;
2、http服务将接收到的订阅请求转发给订阅服务;
3、订阅服务只实现基本的订阅功能;
4、http服务通过监控服务获取当前的传输参数以及传输环境信息;
5、http服务根据传输环境信息确定对应的控制参数,根据传输参数和控制参数确定等待时间,并将结果写入到http请求的响应中返回。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
参考图7,示出了本申请的一种业务数据订阅装置实施例1的结构框图,具体可以包括以下模块:
订阅请求接收模块401,用于接收业务数据分析系统发送的请求获取业务处理系统的业务数据的当前订阅请求;
传输参数获取模块402,用于获取表征所述业务处理系统的传输性能的传输参数;
等待时间预估模块403,用于根据所述传输参数预估所述业务处理系统下次可提供业务数据的等待时间;
等待时间反馈模块404,用于将所述等待时间反馈至所述业务数据分析系统,以使所述业务数据分析系统根据所述等待时间发送下次订阅请求。
本申请实施例中,优选地,所述等待时间预估模块包括:
控制参数查找子模块,用于查找针对不同传输环境信息预设的控制参数,所述控制参数用于控制所预估的等待时间;
等待时间确定子模块,用于结合查找的控制参数和传输参数确定所述等待时间。
本申请实施例中,优选地,所述传输环境信息包括所述业务数据的数据属性,所述数据属性包括所请求业务数据的存在状态和/或所请求业务数据的业务类型,所述控制参数查找子模块,具体用于查找针对所述数据属性预设的第一控制参数。
本申请实施例中,优选地,所述传输环境信息包括所述业务处理系统的当前业务处理量和/或当前所处时段;所述控制参数查找子模块,具体用于查找针对所述当前业务处理量和/或当前所处时段预设的第二控制参数。
本申请实施例中,优选地,所述传输参数包括提供所请求业务数据的业务处理系统的每秒查询率、网络流量、数据发布频率、CPU负载量中至少一种。
本申请实施例中,优选地,所述装置还包括:
业务数据反馈模块,用于在所述将等待时间反馈至所述业务数据分析系统时,确定存在所述当前订阅请求所请求的业务数据,则提取所请求的业务数据反馈至所述业务数据分析系统。
本申请实施例中,优选地,所述订阅请求接收模块,具体用于接收所述业务数据分析系统基于超文本传输协议发送、并由超文本传输协议服务器通过远程过程调用协议转发的当前订阅请求。
本申请实施例中,优选地,所述装置还包括:
当前订阅请求发送模块,用于基于远程过程调用协议发送所述当前订阅请求至超文本传输协议服务器,以由所述超文本传输协议服务器通过超文本传输协议将所述当前订阅请求转发至提供所请求业务数据的业务处理系统。
本申请实施例中,优选地,所述等待时间反馈模块包括:
响应信息接收子模块,用于接收所述业务处理系统针对所述当前订阅请求反馈的响应信息;
响应信息反馈子模块,用于将所述等待时间插入所述响应信息后,反馈至所述数据订阅端。
依据本申请实施例,在接收到业务数据分析系统对业务处理系统的业务数据的当前订阅请求后,从业务处理系统获取表征其传输性能的传输参数,根据传输参数预估下次可提供数据的等待时间并反馈至业务数据分析系统,以使业务数据分析系统根据等待时间发送下次订阅请求,从而避免业务数据分析系统在有新数据之前发送请求或是在未获取到数据时多次重复发送请求,可以最大化减少空读订阅请求,有效提高数据请求的成功率,避免增加业务处理系统的负载。
并且,针对业务处理系统较空闲的情况,采用根据下次可提供数据的等待时间发送订阅请求的方式,可以自动提高所有数据请求的频率,以保证数据订阅的实时性。
本申请实施例支持针对不同的传输环境配置不同的控制参数以控制对应计算的等待时间,以针对不同的业务类型配置不同控制参数为例,可以通过控制参数的设置,保证在系统繁忙的时候优先级较高的请求可以优先得到处理。
参考图8,示出了本申请的一种业务数据订阅装置实施例2的结构框图,具体可以包括以下模块:
第一订阅请求发送模块501,用于发送对业务处理系统的业务数据的当前订阅请求;
等待时间接收模块502,用于接收所述业务处理系统下次可提供业务数据的等待时间,所述等待时间根据表征所述业务处理系统的传输性能的传输参数预估;
第二订阅请求发送模块503,用于根据所述等待时间发送下次订阅请求。
依据本申请实施例,在接收到业务数据分析系统对业务处理系统的业务数据的当前订阅请求后,从业务处理系统获取表征其传输性能的传输参数,根据传输参数预估下次可提供数据的等待时间并反馈至业务数据分析系统,以使业务数据分析系统根据等待时间发送下次订阅请求,从而避免业务数据分析系统在有新数据之前发送请求或是在未获取到数据时多次重复发送请求,可以最大化减少空读订阅请求,有效提高数据请求的成功率,避免增加业务处理系统的负载。
并且,针对业务处理系统较空闲的情况,采用根据下次可提供数据的等待时间发送订阅请求的方式,可以自动提高所有数据请求的频率,以保证数据订阅的实时性。
本申请实施例支持针对不同的传输环境配置不同的控制参数以控制对应计算的等待时间,以针对不同的业务类型配置不同控制参数为例,可以通过控制参数的设置,保证在系统繁忙的时候优先级较高的请求可以优先得到处理。
由于所述装置实施例基本相应于前述图2-4所示的方法实施例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此就不赘述了。
本申请可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种业务数据订阅方法,以及,一种业务数据订阅装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种业务数据订阅系统,其特征在于,包括业务处理系统、业务数据订阅装置、业务数据分析系统;
所述业务数据分析系统,用于向所述业务数据订阅装置发送请求获取所述业务处理系统的业务数据的当前订阅请求;
所述业务数据订阅装置,用于在接收到所述当前订阅请求后,获取表征所述业务处理系统的传输性能的传输参数;根据所述传输参数,预估所述业务处理系统下次可提供业务数据的等待时间;将所述等待时间反馈至所述业务数据分析系统;
所述业务数据分析系统,用于根据所述等待时间发送下次订阅请求;
其中,所述传输性能与所述等待时间负相关。
2.一种业务数据订阅方法,其特征在于,所述方法包括:
接收业务数据分析系统发送的请求获取业务处理系统的业务数据的当前订阅请求;
获取表征所述业务处理系统的传输性能的传输参数;
根据所述传输参数预估所述业务处理系统下次可提供业务数据的等待时间;
将所述等待时间反馈至所述业务数据分析系统,以使所述业务数据分析系统根据所述等待时间发送下次订阅请求;
其中,所述传输性能与所述等待时间负相关。
3.根据权利要求2所述的方法,其特征在于,所述根据所述传输参数预估所述业务处理系统下次可提供业务数据的等待时间包括:
查找针对不同传输环境信息预设的控制参数,所述控制参数用于控制所预估的等待时间;
结合查找的控制参数和传输参数确定所述等待时间。
4.根据权利要求3所述的方法,其特征在于,所述传输环境信息包括所述业务数据的数据属性,所述数据属性包括所请求业务数据的存在状态和/或所请求业务数据的业务类型,所述查找针对不同传输环境信息预设的控制参数,所述控制参数用于控制所预估的等待时间包括:
查找针对所述数据属性预设的第一控制参数。
5.根据权利要求3所述的方法,其特征在于,所述传输环境信息包括所述业务处理系统的当前业务处理量和/或当前所处时段;所述查找针对不同传输环境信息预设的控制参数,所述控制参数用于控制所预估的等待时间包括:
查找针对所述当前业务处理量和/或当前所处时段预设的第二控制参数。
6.根据权利要求2所述的方法,其特征在于,所述传输参数包括提供所请求业务数据的业务处理系统的每秒查询率、网络流量、数据发布频率、CPU负载量中至少一种。
7.根据权利要求2所述的方法,其特征在于,在所述将等待时间反馈至所述业务数据分析系统时,所述方法还包括:
确定存在所述当前订阅请求所请求的业务数据,则提取所请求的业务数据反馈至所述业务数据分析系统。
8.根据权利要求2所述的方法,其特征在于,所述接收业务数据分析系统发送的请求获取业务处理系统的业务数据的当前订阅请求包括:
接收所述业务数据分析系统基于超文本传输协议发送、并由超文本传输协议服务器通过远程过程调用协议转发的当前订阅请求。
9.根据权利要求2所述的方法,其特征在于,所述方法还包括:
基于远程过程调用协议发送所述当前订阅请求至超文本传输协议服务器,以由所述超文本传输协议服务器通过超文本传输协议将所述当前订阅请求转发至提供所请求业务数据的业务处理系统。
10.根据权利要求2所述的方法,其特征在于,所述将所述等待时间反馈至所述业务数据分析系统包括:
接收所述业务处理系统针对所述当前订阅请求反馈的响应信息;
将所述等待时间插入所述响应信息后,反馈至数据订阅端。
11.一种业务数据订阅方法,其特征在于,所述方法包括:
发送对业务处理系统的业务数据的当前订阅请求;
接收所述业务处理系统下次可提供业务数据的等待时间,所述等待时间根据表征所述业务处理系统的传输性能的传输参数预估;
根据所述等待时间发送下次订阅请求;
其中,所述传输性能与所述等待时间负相关。
12.一种业务数据订阅装置,其特征在于,所述装置包括:
订阅请求接收模块,用于接收业务数据分析系统发送的请求获取业务处理系统的业务数据的当前订阅请求;
传输参数获取模块,用于获取表征所述业务处理系统的传输性能的传输参数;
等待时间预估模块,用于根据所述传输参数预估所述业务处理系统下次可提供业务数据的等待时间;
等待时间反馈模块,用于将所述等待时间反馈至所述业务数据分析系统,以使所述业务数据分析系统根据所述等待时间发送下次订阅请求;
其中,所述传输性能与所述等待时间负相关。
13.一种业务数据订阅装置,其特征在于,所述装置包括:
第一订阅请求发送模块,用于发送对业务处理系统的业务数据的当前订阅请求;
等待时间接收模块,用于接收所述业务处理系统下次可提供业务数据的等待时间,所述等待时间根据表征所述业务处理系统的传输性能的传输参数预估;
第二订阅请求发送模块,用于根据所述等待时间发送下次订阅请求;
其中,所述传输性能与所述等待时间负相关。
CN201610861955.5A 2016-09-28 2016-09-28 一种业务数据订阅方法、装置及系统 Active CN107872498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610861955.5A CN107872498B (zh) 2016-09-28 2016-09-28 一种业务数据订阅方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610861955.5A CN107872498B (zh) 2016-09-28 2016-09-28 一种业务数据订阅方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107872498A CN107872498A (zh) 2018-04-03
CN107872498B true CN107872498B (zh) 2021-04-13

Family

ID=61762042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610861955.5A Active CN107872498B (zh) 2016-09-28 2016-09-28 一种业务数据订阅方法、装置及系统

Country Status (1)

Country Link
CN (1) CN107872498B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177127B (zh) * 2019-04-15 2021-12-07 创新先进技术有限公司 基于grpc框架的数据传输方法、装置及设备
CN113448708B (zh) * 2021-06-30 2023-05-12 平安养老保险股份有限公司 异步等待时长优化方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859329A (zh) * 2006-03-29 2006-11-08 华为技术有限公司 一种呈现信息更新通知方法与系统
CN101674143A (zh) * 2008-09-11 2010-03-17 北大方正集团有限公司 一种面向移动设备的新闻定时发布方法及系统
CN103150353A (zh) * 2013-02-18 2013-06-12 人民搜索网络股份公司 微博信息的获取方法及装置
CN105208081A (zh) * 2015-08-14 2015-12-30 深圳联友科技有限公司 一种通过订阅方式实现网络通信的方法和系统
CN105912552A (zh) * 2015-12-23 2016-08-31 乐视网信息技术(北京)股份有限公司 网页视频抓取的方法及网页视频抓取的终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859329A (zh) * 2006-03-29 2006-11-08 华为技术有限公司 一种呈现信息更新通知方法与系统
CN101674143A (zh) * 2008-09-11 2010-03-17 北大方正集团有限公司 一种面向移动设备的新闻定时发布方法及系统
CN103150353A (zh) * 2013-02-18 2013-06-12 人民搜索网络股份公司 微博信息的获取方法及装置
CN105208081A (zh) * 2015-08-14 2015-12-30 深圳联友科技有限公司 一种通过订阅方式实现网络通信的方法和系统
CN105912552A (zh) * 2015-12-23 2016-08-31 乐视网信息技术(北京)股份有限公司 网页视频抓取的方法及网页视频抓取的终端设备

Also Published As

Publication number Publication date
CN107872498A (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
CN110300050B (zh) 消息推送方法、装置、计算机设备及存储介质
CN107566786B (zh) 一种获取监控视频的方法、装置及终端设备
WO2017190641A1 (zh) 拦截爬虫的方法、装置、服务器终端以及计算机可读介质
US9769248B1 (en) Performance-based content delivery
CN106534243B (zh) 基于http协议的缓存、请求、响应方法及相应装置
WO2017167050A1 (zh) 配置信息生成、发送方法及资源加载方法和装置及系统
US20130046811A1 (en) Stream processing using a client-server architecture
CN104243611B (zh) 一种基于分发思想的消息服务中间件系统
JP2000232446A (ja) データを転送する方法および装置
WO2015106692A1 (en) Webpage pushing method, client, server, and system
US20100174775A1 (en) Communication apparatus, communication method and computer-readable storage medium
WO2017202255A1 (zh) 页面展示方法、装置和客户端设备
US20090106358A1 (en) Cache control program, storage medium storing cache control program, and cache control apparatus
WO2019128357A1 (zh) 图片请求方法、响应图片请求的方法及客户端
CN107872498B (zh) 一种业务数据订阅方法、装置及系统
CN112231606B (zh) 一种网页处理方法和装置
US9400547B2 (en) Processing device and method thereof
US20190370293A1 (en) Method and apparatus for processing information
US9270776B2 (en) Dynamically adjusting delivery of content between terminal device and server
KR101650829B1 (ko) 대상을 획득하는 방법, 장치, 및 시스템
CN112954013A (zh) 一种网络文件信息获取方法、装置、设备及存储介质
CN112672187A (zh) 页面生成方法、装置及计算机设备
CN104168274A (zh) 数据获取请求的处理方法、客户端及服务器
CN114553944A (zh) 预警消息推送方法和系统
CN108667863B (zh) 一种基于本地代理的web业务适配系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant