CN105281981B - 网络服务的数据流量监控方法和装置 - Google Patents

网络服务的数据流量监控方法和装置 Download PDF

Info

Publication number
CN105281981B
CN105281981B CN201510740596.3A CN201510740596A CN105281981B CN 105281981 B CN105281981 B CN 105281981B CN 201510740596 A CN201510740596 A CN 201510740596A CN 105281981 B CN105281981 B CN 105281981B
Authority
CN
China
Prior art keywords
request
rate
exception
time
consuming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510740596.3A
Other languages
English (en)
Other versions
CN105281981A (zh
Inventor
王天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201510740596.3A priority Critical patent/CN105281981B/zh
Publication of CN105281981A publication Critical patent/CN105281981A/zh
Application granted granted Critical
Publication of CN105281981B publication Critical patent/CN105281981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了网络服务的数据流量控制方法和装置。所述方法的一具体实施方式包括:获取数据流量的相关信息,所述数据流量的相关信息包括客户端的请求信息和业务状态参数;基于所述业务状态参数监测网络服务中是否存在异常请求;响应于所述网络服务中存在异常请求,基于所述请求信息识别所述异常请求的类型;根据所述异常请求的类型进行相应的数据流量控制。该实施方式实现了网络服务中数据流量的自动监控以及更有针对性的流量控制,有效提升了业务受损时的故障恢复速度,提升了网络服务的稳定性。

Description

网络服务的数据流量监控方法和装置
技术领域
本申请涉及计算机网络技术领域,具体涉及数据库的流量控制领域,尤其涉及网络服务的数据流量监控方法和装置。
背景技术
在网络通信中,数据库作为互联网数据的存储介质,其容量具有一定的限制。当客户端的访问量或访问频率异常突增时,服务器处理数据库的访问请求过程中数据流量的请求异常突增,导致数据库的CPU和内存资源消耗过多,数据库连接数被打满。这时,服务器无法处理客户端的数据访问请求,从而影响了业务处理速度和成功率。因此,需要对流量过大或流量突增的异常请求进行监测和控制。
现有的解决方案通常是当数据库的流量突增导致业务受损之后,人工介入进行排查,根据请求的执行时间判断造成异常的原因,并联系前端研发人员进行修复等处理。一方面,人工排查的时效性较差,故障恢复时间较长,另一方面,由于人工排查过程中数据库无法对数据流量突增的异常请求进行流量控制,客户端不断发出异常请求,进一步拉长了故障恢复时间。此外,人工排查方式缺乏对当前数据的全面分析,导致故障识别的准确性低,在故障过程中可能对业务受损的原因产生误判。
发明内容
有鉴于此,期望提供一种能够快速、准确地监测和控制网络服务的数据流量的方法。进一步地,还期望能够提供一种网络服务的数据流量的自动监控方法。为了解决上述一个或多个问题,本申请提供了网络服务的数据流量监控方法和装置。
第一方面,本申请提供了一种网络服务的数据量流量监控方法,所述方法包括:获取数据流量的相关信息,所述数据流量的相关信息包括客户端的请求信息和业务状态参数;基于业务状态参数监测网络服务中是否存在异常请求;响应于网络服务中存在异常请求,基于请求信息识别异常请求的类型;根据异常请求的类型进行相应的数据流量控制。
在一些实施例中,上述业务状态参数包括数据库连接数和业务受损率;上述基于所述业务状态参数监测网络服务中是否存在异常请求,包括:判断数据库连接数是否达到网络服务的数据库允许的最大连接数;判断业务受损率是否超过预设受损率阈值;若数据库连接数达到网络服务的数据库允许的最大连接数且业务受损率超过预设受损率阈值,则确定网络服务中存在异常请求。
在一些实施例中,异常请求的类型包括每秒查询率异常和请求耗时异常。
在一些实施例中,上述请求信息至少包括请求速率;上述基于请求信息识别异常请求的类型,包括:比较客户端的当前请求速率和数据流量正常情况下的最大请求速率;若客户端的当前请求速率大于数据流量正常情况下的最大请求速率,则客户端的当前请求为每秒查询率异常的异常请求;其中,数据流量正常情况下的最大请求速率预先保存在网络服务的存储介质中。
在一些实施例中,上述请求信息还包括请求耗时;上述基于请求信息识别异常请求的类型,还包括:若客户端的当前请求速率小于数据流量正常情况下的最大请求速率,则基于请求速率和请求耗时计算所述当前请求的执行频率;判断当前请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及当前请求的请求耗时是否大于预设请求耗时;若当前请求的执行频率大于数据流量正常情况下的最大执行频率,且当前请求的请求耗时大于预设请求耗时,确定客户端的当前请求为请求耗时异常的异常请求;其中,数据流量正常情况下的最大执行频率预先保存在网络服务的存储介质中。
在一些实施例中,上述基于请求信息识别异常请求的类型,还包括:按照请求耗时对客户端的当前请求进行排序,建立请求耗时由长到短的请求队列;判断当前请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及当前请求的请求耗时是否大于预设请求耗时,包括:按照上述排序依次判断请求队列中的请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及请求队列中的请求的请求耗时是否大于预设请求耗时。
在一些实施例中,根据异常请求的类型进行相应的数据流量控制,包括:对每秒查询率异常的异常请求,判断是否满足第一预设条件和是否满足第二预设条件;若满足第一预设条件,则将客户端的当前请求发送至数据库,并在数据库允许处理的请求余量大于0时将数据库允许处理的请求余量减1;若满足第二预设条件,则将客户端的当前请求发送至数据库并将数据库允许处理的请求余量减1;若不满足第一预设条件且不满足第二预设条件,将客户端的当前请求加入缓存队列;确定缓存队列中请求的访问对象;根据访问对象控制当前请求的速率;其中,第一预设条件为当前请求为预设类型的请求,第二预设条件为缓存队列的长度为0且数据库允许处理的请求余量大于0。
在一些实施例中,访问对象包括网络服务的主数据库和从数据库;根据访问对象控制当前请求的速率,包括:若客户端的当前请求的访问对象为主数据库,则对所述客户端的写请求的速率进行控制;若客户端的当前请求的访问对象为从数据库,则对所述客户端读请求的速率进行控制。
在一些实施例中,上述请求信息还包括请求内容;根据异常请求的类型进行相应的数据流量控制,包括:基于请求内容提取请求耗时异常的异常请求以及当前请求的特征信息;将与请求耗时异常的异常请求具有类似特征信息的当前请求记录至黑名单;在第一预定时间段之后将黑名单内的请求移至红名单;在第二预定时间段之后将红名单内的请求移出红名单;将黑名单内请求的请求速率限制为0;将红名单内请求的请求速率的上限控制为数据流量正常情况下的最大请求速率。
在一些实施例中,所述方法还包括:统计客户端的请求速率和请求耗时;将异常请求的请求速率和请求耗时从客户端的请求速率的统计结果和请求耗时的统计结果中移除;根据请求速率和所述请求耗时的统计结果确定流量正常情况下的最大请求速率以及最大执行频率。
第二方面,本申请提供了一种网络服务的数据流量监控装置,所述装置包括:获取单元,配置用于获取数据流量的相关信息,数据流量的相关信息包括客户端的请求信息和业务状态参数;监测单元,配置用于基于业务状态参数监测网络服务中是否存在异常请求;识别单元,配置用于响应于网络服务中存在异常请求,基于请求信息识别异常请求的类型;控制单元,配置用于根据异常请求的类型进行相应的数据流量控制。
在一些实施例中,上述业务状态参数包括数据库连接数和业务受损率;监测单元进一步配置用于按如下方式监测网络服务中是否存在异常请求:判断数据库连接数是否达到网络服务的数据库允许的最大连接数;判断业务受损率是否超过预设受损率阈值;若数据库连接数达到网络服务的数据库允许的最大连接数且业务受损率超过预设受损率阈值,则确定网络服务中存在异常请求。
在一些实施例中,上述异常请求的类型包括每秒查询率异常和请求耗时异常。
在一些实施例中,上述请求信息至少包括请求速率;识别单元包括:比较模块,配置用于比较客户端的当前请求速率和数据流量正常情况下的最大请求速率;第一确定模块,配置用于响应于客户端的当前请求速率大于数据流量正常情况下的最大请求速率,确定客户端的当前请求为每秒查询率异常的异常请求;其中,数据流量正常情况下的最大请求速率预先保存在网络服务的存储介质中。
在一些实施例中,上述请求信息还包括请求耗时;识别单元还包括:计算模块,配置用于响应于客户端的当前请求速率小于数据流量正常情况下的最大请求速率,基于请求速率和请求耗时计算当前请求的执行频率;判断模块,配置用于判断当前请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及当前请求的请求耗时是否大于预设请求耗时;第二确定模块,配置用于响应于当前请求的执行频率大于数据流量正常情况下的最大执行频率,且当前请求的请求耗时大于预设请求耗时,确定客户端的当前请求为请求耗时异常的异常请求;其中,数据流量正常情况下的最大执行频率预先保存在网络服务的存储介质中。
在一些实施例中,识别单元还包括:排序模块,配置用于按照请求耗时对客户端的当前请求进行排序,建立请求耗时由长到短的请求队列;判断模块进一步按照如下方式判断当前请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及当前请求的请求耗时是否大于预设请求耗时:按照上述排序依次判断请求队列中的请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及请求队列中的请求的请求耗时是否大于预设请求耗时。
在一些实施例中,控制单元配置用于按如下方式进行相应的数据流量控制:对每秒查询率异常的异常请求,判断是否满足第一预设条件和是否满足第二预设条件;若满足第一预设条件,则将客户端的当前请求发送至数据库,并在数据库允许处理的请求余量大于0时将数据库允许处理的请求余量减1;若满足第二预设条件,则将客户端的当前请求发送至数据库并将述数据库允许处理的请求余量减1;若不满足第一预设条件且不满足第二预设条件,将客户端的当前请求加入缓存队列;确定缓存队列中请求的访问对象;根据访问对象控制当前请求的速率;其中,第一预设条件为当前请求为预设类型的请求,第二预设条件为缓存队列的长度为0且数据库允许处理的请求余量大于0。
在一些实施例中,访问对象包括网络服务的主数据库和从数据库;控制单元进一步配置用于按如下方式控制当前请求的速率:若客户端的当前请求的访问对象为主数据库,则对客户端的写请求的速率进行控制;若客户端的当前请求的访问对象为从数据库,则对客户端读请求的速率进行控制。
在一些实施例中,上述请求信息还包括请求内容;控制单元进一步按如下方式进行相应的数据流量控制:基于请求内容提取请求耗时异常的异常请求以及当前请求的特征信息;将与请求耗时异常的异常请求具有类似特征信息的当前请求记录至黑名单;在第一预定时间段之后将黑名单内的请求移至红名单;在第二预定时间段之后将红名单内的请求移出红名单;将黑名单内请求的请求速率限制为0;将红名单内请求的请求速率的上限控制为数据流量正常情况下的最大请求速率。
在一些实施例中,所述装置还包括统计单元,配置用于:统计客户端的请求速率和请求耗时;将异常请求的请求速率和请求耗时从客户端的请求速率的统计结果和请求耗时的统计结果中移除;根据请求速率和请求耗时的统计结果确定流量正常情况下的最大请求速率以及最大执行频率。
本申请提供的网络服务的数据流量监控方法和装置,通过监测业务状态参数来检测网络服务中的异常请求,并根据请求信息确定异常请求的类型,基于异常请求的类型进行相应的流量控制,实现了网络服务中数据流量的自动监控,并进行了更有针对性的流量控制,有效提升了业务受损时的故障恢复速度,提升了网络服务的稳定性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的网络服务的数据流量监控方法的一个实施例的流程图;
图3是根据本申请实施例的基于业务状态参数监测网络服务中是否存在异常请求的一个场景示意图;
图4是根据本申请的网络服务的数据流量监控方法的另一个实施例的流程图;
图5是根据本申请实施例的对每秒查询率异常的异常请求进行流量控制的场景示意图;
图6是根据本申请实施例的对请求耗时异常的异常请求进行流量控制的场景示意图;
图7是根据本申请的网络服务的数据流量监控装置的一个实施例的结构示意图;
图8是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1,其示出了本申请可以应用于其中的示例性系统架构图。如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户110可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种网络服务应用,例如网页浏览器应用、网上购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件、在线音/视频播放应用等。在本申请的应用中,用户110使用设备101、102、103上的应用向服务器105发出网络服务请求,并从服务器105接收所请求的网络服务的相关数据。设备101、102、103可以配置用户读写服务器105的数据的接口。
终端设备101、102、103可以是具有显示屏并且支持用户操作的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的数据提供支持的后台数据服务器。后台数据服务器可以对接收到的数据服务请求进行解析、查找等处理,并将处理结果反馈给终端设备。
需要说明的是,本申请实施例所提供的网络服务的数据流量监控方法一般由服务器105执行,相应地,网络服务的数据流量监控装置一般设置于服务器105中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
请参考图2,其示出了根据本申请的网络服务的数据流量监控方法的一个实施例的流程图。如图2所示,所述网络服务的数据流量监控方法的流程200包括以下步骤:
步骤201,获取数据流量的相关信息。
在本实施例中,网络服务的数据流量监控方法运行于其上的电子设备(例如图1中的服务器105)可以通过保存操作日志等方式来记录网络服务的数据流量的相关信息。其中,网络服务器的数据流量可以是数据读写量或数据库访问次数等用于表征与数据库处理的业务量相关的物理量。所述的数据流量的相关信息可以包括客户端的请求信息和业务状态参数。其中,客户端的请求信息可以是用户通过客户端(例如图1所示的终端设备101、102、103)发出网络服务请求的相关数据,可以包括发出请求的频率、所请求的数据量、发出请求的时间以及所请求的内容等。业务状态参数是表征当前网络服务的数据库处理客户端请求的状态的参数,可以包括处理速度、业务处理量、业务的完成率等。
通常,用户利用终端设备所安装的应用来访问网络服务的数据库。这时,用户可以通过选择安装在应用中的网络链接(例如“搜索”、“发送”、“播放”等按键对应的链接)向服务器发出请求。网络服务的数据库可以以分布式存储的方式保存在服务器中。在接收到用户发出的请求后,服务器进行相应的查找、添加或删除操作。
上述网络服务的数据流量监控方法运行于其上的电子设备(例如图1中的服务器105)可以通过有线连接方式或者无线连接方式从用户利用其发出网络服务请求的终端设备获取上述客户端的请求信息,通过统计当前业务处理的相关数据来获取业务状态参数。
在本实施例的一些可选的实现方式中,用户通过终端设备发出网络服务请求后,终端设备上的浏览器等网络应用可以将用户的请求转换为结构化查询语言((StructuredQuery Language,SQL)请求,服务器可以通过接收并解析SQL请求执行相应的操作。在此过程中,服务器可以获取SQL请求的数量以及请求的数据,计算请求的频率,将所获取的请求数量、请求的数据、请求频率作为客户端的请求信息。服务器的业务状态参数可以为与数据库的CPU和内存资源占用率相关的参数。这时,可以通过计算CPU和内存资源的占用率来计算业务状态参数。例如可以利用业务处理速度与CPU和内存资源占用率的反比关系计算当前的业务处理速度。
步骤202,基于业务状态参数监测网络服务中是否存在异常请求。
在本实施例中,异常请求可以为数据流量异常的请求,即数据读写量异常、数据库访问数量异常的请求。在实际场景中,异常请求的一个具体实例可以为扫描1500万数据+排序的SQL请求。这一类请求的访问量超过正常场景下的数据访问量,其访问频率也较正常场景的访问频率有较大的增长。这时,服务器的CPU和内存资源消耗增加,数据库的连接数可能被打满,服务器无法再接收新的请求。
由于异常请求存在时CPU和内存资源消耗过多,造成服务器处理请求的速度降低,客户端所请求的业务的处理成功率随之降低,业务处理的失败率随之上升,从而导致业务受损。在本实施例中,基于步骤201获取的业务状态参数,上述电子设备(例如图1所示的服务器)可以监测网络服务中是否存在异常请求。例如可以对CPU和内存的资源占用率进行实时监测,当资源占用率超过一阈值时即可以认为存在异常请求。在实际应用中,资源占用率过高可能是异常请求之外的其他原因造成的,则还可以统计业务处理数量,计算业务处理速度,若资源占用率超过阈值且业务处理速度过低,可以确定存在对网络服务的异常请求。
在本实施例的一些可选的实现方式中,步骤201所获取的业务状态参数可以包括数据库连接数和业务受损率。这时,基于业务状态参数监测网络服务中是否存在异常请求,可以包括:判断数据库连接数是否达到所述网络服务的数据库允许的最大连接数;判断业务受损率是否超过预设受损率阈值;若数据库连接数达到网络服务的数据库允许的最大连接数且业务受损率超过预设受损率阈值,则确定网络服务中存在异常请求。其中,数据库允许的最大连接数是数据库最多可同时接受的连接数,若客户端请求的连接数超过数据库允许的最大连接数,则客户端的请求会被加入等待队列,影响业务的处理效率。业务受损率为业务受损的请求数量占总请求数量的百分比。其中,业务受损的请求可以为被加入等待队列的请求或在预定时间内未处理完成的请求。在实际应用中,当监测到连接数达到数据库允许的最大连接数时,可以监测之后一个时间段内(例如10秒内)的业务受损率是否超过预设受损率阈值,如果超过,则可以确定网络服务中存在异常请求。可选地,该预设受损率阈值是可配置的值,可以为0。
步骤203,响应于网络服务中存在异常请求,基于请求信息识别异常请求的类型。
如果步骤202中确定网络服务中存在异常请求,上述电子设备(例如图1所示的服务器)可以基于步骤201获取的客户端的请求信息识别异常请求的类型。在一些可选的实现方式中,可以同时识别出异常请求和异常请求的类型。
以上述1500万的数据+查询SQL请求为例,由于该请求的请求数量过多、造成CPU和内存的资源消耗过多,从而导致业务受损。这时,上述电子设备可以根据请求数量确定该请求为异常请求。
异常请求的类型可以由异常请求的原因确定。在本实施例中,可以识别异常请求的异常原因,从而确定异常请求的类型。异常请求的类型可以包括请求数量异常、恶意重复请求等类型。
在本实施例中,客户端的请求信息可以包括发出请求的频率、所请求的数据量、发出请求的时间以及所请求的内容等。上述电子设备可以根据这些信息确定异常请求的类型。具体地,可以设定各异常请求类型对应的请求信息满足的条件,当请求信息满足某一类型的异常请求对应的条件时,可以确定当前请求为该类型的异常请求。例如,若请求信息中包括请求内容和发出请求的频率,则当前请求的频率超过之前一段时间的请求频率的均值且当前每一次请求的请求内容均相同时,可以确定当前请求为异常请求,且其类型为恶意重复请求。
在本实施例的一些可选的实现方式中,异常请求的类型包括每秒查询率异常和请求耗时异常。每秒查询率异常的请求可以为每秒查询率超过网络服务的数据流量正常情况下的每秒查询率峰值的请求,请求耗时异常的请求可以为客户端的请求耗时超过网络服务的数据流量正常情况下的请求耗时峰值的请求。
每秒查询率(Query Per Second,QPS)是对服务器在规定时间内所处理流量多少的衡量标准,表示单位时间内所处理的数据查询量。当客户端的请求速率超过服务器所能负荷的最大请求速率时,客户端的每秒查询率突增,这时可以将客户端发出的请求确定为每秒查询率异常的请求。
请求耗时是服务器处理请求所用的时间,用以衡量服务器的处理速度。当客户端的请求数量过多时,服务器的CPU和内存资源占用率增加,请求耗时会随之增长,服务器的处理速度降低。如果客户端的请求数量超过一定的范围,服务器的处理速度过慢,则无法保证业务处理成功率,从而使得业务受损,这时可以监测客户端请求的耗时,如果请求耗时超过网络服务的数据流量正常情况下的请求耗时峰值,则可以认为客户端的请求为请求耗时异常的请求。
在本实施例的一些可选的实现方式中,上述电子设备可以基于获取的客户端的请求信息建立异常请求识别模型,并基于已有的数据对模型进行训练,采用已训练的异常请求识别模型识别当前网络服务中异常请求的类型。
步骤204,根据异常请求的类型进行相应的数据流量控制。
在本实施例中,上述电子设备(如图1所示的服务器)可以基于异常请求的类型对客户端的请求进行相应的数据流量控制。数据流量控制的方式可以包括但不限于:为请求设置处理优先级、限制请求速率、限制请求执行频率、删除恶意重复请求等。可以根据步骤204识别出的异常请求的类型对网络中的数据流量进行针对性的控制。例如,当异常请求的类型为每秒查询率异常时,可以对发出该异常请求的客户端或用户进行标记,将该用户所发出的请求的处理优先级降低。当异常请求的类型为请求耗时异常时,可以对该异常请求进行标记,并计算其他请求与该异常请求的相似度,限制该异常请求的执行频率以及与该异常请求的相似度大于某一阈值的请求的执行频率。
在对数据流量进行控制的同时,可以实时监测业务状态参数,如果业务状态参数恢复正常,例如业务受损率降为0或数据库连接数减少,则可以停止流量控制,从而保证网络服务的高效稳定。
在本实施例的一些可选的实现方式中,上述基于业务状态参数监测网络服务中是否存在异常请求的步骤可以包括:基于业务状态参数实时监测网络服务的状态,根据网络服务的状态判断网络服务中是否存在异常请求。其中,网络服务的状态可以包括正常、过载以及异常三种状态。
进一步参考图3,其示出了根据本申请实施例的基于业务状态参数监测网络服务中是否存在异常请求的一个场景示意图。如图3所示,以1秒为监测的时间单位,在网络服务的正常状态下,如果监测到1秒内有数据库连接数打满且业务受损率大于0,则当前网络服务的状态为过载状态。在过载状态下服务器可以不进行流量控制,仅作告警处理,例如输出告警信息。在过载状态下连续监控10秒,如果10秒内业务受损率超过预设受损率阈值,则将网络服务的状态切换为异常状态,这时,可以基于获取的请求信息识别异常请求的类型,并根据异常类型执行相应的流量控制操作。如果在执行流量控制60秒之后无数据库连接打满且业务受损率下降为0,则可以确定网络服务的状态恢复正常,停止流量控制。在过载状态下10秒之内如果业务受损率未超过预设业务受损率阈值,也可以确定网络服务的状态恢复正常。
在本实施例的一些可选的实现方式中,还可以在对网络服务的监控过程中对获取的数据流量的相关信息进行数据处理。具体的处理方法可以为:统计客户端的请求速率和请求耗时,将异常请求的请求速率和请求耗时从客户端的请求速率的统计结果和请求耗时的统计结果中移除,根据请求速率和请求耗时的统计结果确定正常情况下的最大请求速率以及最大执行频率。其中,正常情况下的最大执行频率为网络服务的数据流量正常时数据库处理请求的最大频率,与正常情况下的最大请求速率为正相关的关系,与正常情况下的最小请求耗时或平均请求耗时为负相关的关系。进一步地,可以根据请求速率的统计结果确定正常情况下的最大请求速率,将请求速率的统计结果中的最大值作为正常情况下的最大请求速率。可以根据请求速率和请求耗时的统计结果确定正常情况下的最大执行频率,例如最大执行频率可以为最大请求速率和最小请求耗时的比值,或者可以为请求速率和请求耗时比值的最大值。
本申请的上述实施例提供的方法通过基于业务状态参数确定网络服务中是否存在异常请求,并根据客户端的请求信息识别异常请求的类型,对异常请求进行相应的数据流量控制,实现了网络服务中数据流量的自动监控,并通过更有针对性的流量控制,避免网络服务故障时客户端仍然不断发送请求导致的故障恢复慢的问题,有效提升了业务受损时的故障恢复速度,提升了网络服务的稳定性。
请参考图4,其示出了根据本申请的网络服务的数据流量监控方法的另一个实施例的流程图。如图4所示,所述网络服务的数据流量监控方法的流程400包括以下步骤:
步骤401,获取数据流量的相关信息。
其中,数据量流量的相关信息包括客户端的请求信息和业务状态参数。在本实施例中,网络服务的数据流量监控方法运行于其上的电子设备(例如图1所示的服务器)可以通过网络接收客户端的请求并获取客户端的请求信息。所述的请求信息可以包括请求速率、请求耗时、请求数量、请求内容等。上述电子设备可以实时监测网络服务的业务状态参数。所述的业务状态参数可以包括数据库的连接数和业务受损率。
步骤402,基于业务状态参数监测网络服务中是否存在异常请求。
在本实施例中,上述电子设备可以基于步骤401获取的业务状态参数判断网络服务中是否存在数据流量过大的异常请求。例如当数据库的连接数打满,即数据库的连接数达到数据库允许的最大连接数并且业务受损率超过预设的业务受损率阈值时,可以确定网络服务中存在上述异常请求。
步骤403,比较客户端的当前请求速率和数据流量正常情况下的最大请求速率。
在本实施例中,步骤401中获取的客户端的请求信息至少包括请求速率。如果步骤402确定网络服务中存在异常请求,则可以计算当前请求速率,并与数据流量正常情况下的最大请求速率进行比较。其中,客户端的当前请求速率可以为以当前时间为结束时间的第一预设时间区间内的请求速率的加权平均值,请求速率的权重与请求时间相关,请求时间距当前时间越近,请求速率的权重越高。用QPSi表示请求速率,fi表示请求速率的权重,i=1,2,3,…n,n为请求速率的数量,则当前请求速率QPS可以按照式(1)计算:
流量正常情况下的最大请求速率可以预先保存在网络服务的存储介质中,例如可以保存在网络服务的数据库和/或内存中。计算出客户端的当前请求速率之后,可以与数据流量正常情况下最大请求速率QPSmax进行比较,判断当前请求速率QPS是否大于数据流量正常情况下的最大请求速率QPSmax
在实际应用场景中,还可以通过以当前时间为结束时间的一段时间之内的请求数量的分布来描述当前请求速率。例如,在当前时刻之前的90秒~60秒之内,客户端所发出的请求数量为10个,在当前时刻之前的60秒~30秒之内,客户端所发出的请求数量为0个,在当前时刻之前的30秒~0秒之内,客户端所发出的请求数量为5个,则可以用请求速率以如下数组表示:(90s-60s,10),(60s-30s,0),(30s-0s,5)。在判断其是否大于数据流量正常情况下的最大请求速率QPSmax时,可以根据上述以请求数量的分布对应的单位时间内的请求数量,取以当前时间为结束时间的一段时间之内单位时间的请求数量的最大值、均值或中值进行比较。
在本实施例的一些可选的实现方式中,上述正常情况下的最大请求速率为可配置的值,可以根据请求速率的均值、峰值来进行配置。例如可以配置为请求速率日均峰值的2倍。进一步地,还可以在网络服务的数据流量监控期间对配置的值进行调整,以进一步缩短下一次网络服务发生故障时业务受损的时间。
步骤4041,如果步骤403的比较结果为客户端的当前请求速率大于数据流量正常情况下的最大请求速率,确定客户端的当前请求为每秒查询率异常的异常请求。
如果客户端的当前请求速率大于数据流量正常情况下的最大请求速率,表示当前客户端单位时间内发出的请求数量大于正常情况下单位时间内的请求数量的最大值。为了处理客户端的请求,服务器的查询数量会突增,每秒查询率随之突增。这时,可以确定网络服务中的异常请求为每秒查询率异常的请求。
步骤4042,如果步骤403的比较结果为客户端的当前请求速率小于数据流量正常情况下的最大请求速率,基于请求速率和请求耗时计算当前请求的执行频率。
在本实施例中,如果执行请求所消耗的时间过长,服务器对当前请求的执行频率过低,则可以确定异常请求的类型为请求耗时异常。在实际场景中,请求耗时异常的请求表现为慢查询,即客户端发出的查询请求在较长时间内未收到服务器的应答。
在本实施例中,步骤401中获取的客户端的请求信息除了包括请求速率之外,还包括请求耗时。请求耗时是执行当前请求所消耗的时间。在本实施例中,当前请求的执行频率可以是当前的单位时间内执行的请求的数量,与当前的请求速率具有正相关的关系,与当前的请求耗时具有负相关的关系。上述电子设备可以基于客户端的请求耗时和请求速率来计算当前请求的执行频率。例如可以用将请求速率和请求耗时的比值乘以换算因子作为当前请求的执行频率,该换算因子可以根据经验设定。
在本实施例的一些可选的实现方式中,计算当前请求的执行频率时,也可以通过计算以当前时间为结束时间的一个时间段内的请求执行的频率,并进行加权求和来得出当前请求的执行频率。其中,请求执行的频率与请求的时间相关,请求的时间越接近当前时间,权重越大。
在本实施例的一些可选的实现方式中,客户端的当前请求的执行频率可以利用以当前时间为结束时间的一个时间段内的请求执行总数和峰值来描述。例如,可以通过当前时间之前90秒内执行的请求总数和每秒执行的请求数的最大值来描述当前请求的执行频率。相应地,数据流量正常情况下的最大执行频率也可以采用类似的方式描述,例如通过网络服务中不存在异常请求时90秒内的请求总数和每秒执行的请求数的最大值来表征数据流量正常情况下的最大执行频率。
步骤4043,判断当前请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及请求耗时是否大于预设请求耗时。
在本实施例的实际场景中,如果网络服务中存在请求耗时异常的请求,一方面,服务器CPU和内存资源占用率增长,服务器处理请求的速度减慢,另一方面,客户端不断发出新的请求,若不能收到服务器的应答消息,客户端可能重发已经发出的请求,造成客户端请求速率增大,服务器端请求的执行频率下降。在这种场景下,可以基于请求耗时和请求的而执行频率来判断网络服务中的异常请求是否为请求耗时异常的请求。具体地,可以判断当前请求的执行频率是否大于数据量流量正常情况下的最大执行频率,若大于,则继续判断当前请求的请求耗时是否大于预设请求耗时。数据流量正常情况下的请求执行频率也可以保存在网络服务的存储介质中,例如保存在网络服务的数据库和/或内存中。预设请求耗时是可配置的时间参数,可以是人工配置的值,例如1000毫秒,也可以基于网络服务的请求耗平均值或最大值自动配置。
在本实施例的一些可选的实现方式中,在判断当前请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及当前请求的请求耗时是否大于预设请求耗时之前,还可以按照请求耗时对客户端的当前请求进行排序,建立请求耗时由长到短的请求队列。这时,电子设备可以按照请求队列的排序依次判断请求队列中的请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及请求队列中的请求的请求耗时是否大于预设请求耗时。请求耗时越长,对应的请求为异常请求的概率越大,按照请求耗时的排序依次将当前请求的执行频率和请求耗时与作为参考值的正常情况下的最大执行频率和预设请求耗时进行比对,可以加快异常请求的识别速度。
步骤4044,如果步骤4043的判断结果为是,确定客户端的当前请求为请求耗时异常的异常请求。
如果步骤4043的判断结果为当前请求的执行频率大于数据流量正常情况下的最大执行频率且当前请求的请求耗时大于预设请求耗时,则可以确定客户端的当前请求为请求耗时异常的请求。
步骤405,根据异常请求的类型进行相应的数据流量控制。
在本实施例中,上述电子设备(如图1所示的服务器)可以基于异常请求的类型对客户端的请求进行相应的数据流量控制。数据流量控制的方式可以包括但不限于:为请求设置处理优先级、限制请求速率、限制请求执行频率、删除恶意重复请求等。可以根据步骤4041-步骤4044识别出的异常请求的类型对网络中的数据流量进行针对性的控制。例如,当异常请求的类型为每秒查询率异常时,可以对发出该异常请求的客户端或用户进行标记,将该用户所发出的请求的处理优先级降低。当异常请求的类型为请求耗时异常时,可以对该异常请求进行标记,并计算其他请求与该异常请求的相似度,限制该异常请求的执行频率以及与该异常请求的相似度大于某一阈值的请求的执行频率。
从图4中可以看出,与图2对应的实施例相比,本实施例中的网络服务的数据流量监控方法的流程400细化了基于请求信息识别异常请求的类型的步骤。由此,本实施例描述的方案可以在网络服务的业务受损过程对当前网络服务中的数据流量的相关信息进行更全面的分析,快速识别异常请求的类型,从而可以有效提升故障定位准确度,缩短故障恢复时间,提升网络服务的稳定性。
以下结合图5和图6进一步说明电子设备根据异常请求的类型进行相应的数据流量控制的流程,即进一步说明步骤405的实现方式。
如果客户端的异常请求的类型为每秒查询率异常,则上述电子设备(如图1所示的服务器)可以通过对异常请求引入时延的方式,通过数据库的令牌数控制请求队列中请求的处理速度,从而降低发出异常请求的用户的每秒查询率。其中,令牌数可以是网络服务的数据库允许处理的请求余量。
在具体的实现方式中,对每秒查询率异常的异常请求,可以判断是否满足第一预设条件和是否满足第二预设条件;若满足第一预设条件,则将客户端的当前请求发送至数据库,并在数据库允许处理的请求余量大于0时将数据库允许处理的请求余量减1;若满足第二预设条件,则将客户端的当前请求发送至数据库并将数据库允许处理的请求余量减1;若不满足第一预设条件且不满足第二预设条件,将客户端的当前请求加入缓存队列。其中,第一预设条件为当前请求为预设类型的请求,第二预设条件为缓存队列的长度为0且数据库允许处理的请求余量大于0。预设类型的请求可以为重要性高的请求或优先级高的请求。
进一步参考图5,其示出了根据本申请实施例的对每秒查询率异常的异常请求进行流量控制的场景示意图。如图5所示,服务器对接收到的请求510,首先执行步骤501,判断请求速率是否大于正常情况下的最大请求速率,即判断当前QPS的加权均值是否大于正常情况下的QPS加权均值。如果是,则确定该请求为每秒查询率异常的请求520。之后,在步骤502中,判断该请求是否为重要请求,如果是,则执行步骤5031,将该请求发送至数据库进行处理。之后在步骤5032中判断数据库的令牌数是否大于零,如果令牌数大于0,则执行步骤5033,将令牌数减1。如果步骤502的判断结果为该异常请求不是重要请求,则进一步执行步骤5041,判断当前缓存队列的长度是否大于0,如果是,则在步骤5042中,将该异常请求添加至缓存队列。对于缓存队列中的请求,执行步骤5043,判断令牌数是否大于0,如果令牌数大于0,则可以执行步骤5044,从缓存队列中取出一个请求发送至数据库,并执行步骤5045,将令牌数减1。如果步骤5041的判断结果为缓存队列的长度不大于0,则可以直接执行步骤5043,判断令牌数是否大于0,如果令牌数大于0,则执行步骤5044,将异常请求中的一个请求发送至数据库进行处理,同时在步骤5045中将令牌数减1。
对于加入缓存队列的请求,可以确定缓存队列中请求的访问对象,根据访问对象控制当前请求的速率。访问对象可以包括网络服务的主数据库和从数据库。若客户端的当前请求的访问对象为主数据库,则可以对客户端的写请求的速率进行控制;若客户端的当前请求的访问对象为从数据库,则可以对客户端读请求的速率进行控制。控制读请求或写请求的速率的方式可以为按照图5所示的方式对读请求或写请求引入时延,判断其是否为重要请求,建立读请求或写请求的缓存队列,通过令牌数来控制服务器执行的读请求或写请求的数量。
在图4所示实施例的一些可选的实现方式中,客户端的请求信息还可以包括请求内容。如果客户端的异常请求的类型为请求耗时异常,则上述电子设备(如图1所示的服务器)可以通过如下方式进行数据量流量控制:基于请求内容提取请求耗时异常的异常请求以及当前请求的特征信息,将与请求耗时异常的异常请求具有类似特征信息的当前请求记录至黑名单,在第一预定时间段之后将黑名单内的请求移至红名单;在第二预定时间段之后将红名单内的请求移出红名单。对黑名单和红名单内的请求分别执行以下操作:将黑名单内请求的请求速率限制为0;将红名单内请求的请求速率的上限控制为数据流量正常情况下的最大请求速率。其中,黑名单中的请求为被封禁的请求,红名单中的请求为需要限速的请求。上述电子设备可以对黑名单中的请求不进行处理,对红名单中的请求进行降速处理。第一预定时间段和第二预定时间段可以为人工设置的时间段,例如300秒。
在上述对请求耗时异常的请求进行数据流量控制的过程中,异常请求的特征信息的提取可以如下进行:对异常请求进行抽样,对抽样出的异常请求的字符串进行过滤和识别,提取其中的关键字符串作为异常请求的特征信息。当前请求的特征信息的提取也可以按照同样的方式执行。在比对当前请求的特征信息是否与异常请求的特征信息相类似时,可以根据提取出的特征信息的相似性来判断。例如可以计算特征信息之间的一致性度量,若一致性度量大于某一阈值(例如80%),则可以确定当前请求与请求耗时异常的请求具有类似的特征信息。
请参考图6,其示出了根据本申请实施例的对请求耗时异常的异常请求进行流量控制的场景示意图。如图6所示,服务器对接收到的请求610,执行步骤601,判断当前执行频率是否正常情况下的最大执行频率。如果是,则继续执行步骤602,判断当前请求耗时是否大于预设请求耗时,如果是,则确定当前请求为请求耗时异常的请求620。之后可以执行步骤603,根据异常请求的请求耗时对请求耗时异常的请求进行排序,建立请求队列630。然后,在步骤604中,依次提取请求队列中的异常请求的特征,并在步骤605中判断当前请求是否具有与异常请求类似的特征。如果是,则执行步骤606,将当前请求加入黑名单,封禁黑名单内的请求,将黑名单内的请求与数据库的连接断开。在一预设时间段(例如300秒)之后,执行步骤607,将黑名单内的请求移至红名单,对红名单内的请求限速一段时间(例如300秒)之后,恢复红名单内的请求与数据库的连接,执行步骤608,将红名单内的请求发送至数据库进行处理。
以上结合图5和图6所描述的数据流量控制的具体实现方式中,由于在流量控制时对客户端的请求速率进行了限制,从而避免了故障处理过程中客户端不断发出异常请求导致故障恢复时间拉长的问题,进一步提升了故障恢复速度。
进一步参考图7,作为对上述各图所示方法的实现,本申请提供了一种网络服务的数据流量监控装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图7所示,本实施例所述的网络服务的数据流量监控装置700包括:获取单元701、监测单元702、识别单元703以及控制单元704。其中,获取单元701配置用于获取网络服务的数据流量的相关信息,所述的数据流量的相关信息包括客户端的请求信息和业务状态参数;监测单元702配置用于基于上述业务状态参数监测网络服务中是否存在异常请求;识别单元703配置用于响应于上述网络服务中存在异常请求,基于上述请求信息识别上述异常请求的类型;控制单元704配置用于根据上述异常请求的类型进行相应的数据流量控制。
在本实施例中,获取单元701可以通过网络获取客户端的请求信息,通过检测网络服务的数据库的连接状态和业务的执行进程来获取业务状态参数。上述客户端的请求信息可以包括请求速率、请求数量、请求耗时、请求内容等等,业务状态参数可以包括数据库连接数、业务处理速度、业务受损率等。
监测单元702可以基于获取单元701所获取的业务状态参数对网络服务中是否存在异常请求进行实时监测。如果监测到当前业务状态参数异常,则可以确定网络服务中存在数据流量异常的请求。例如,如果监测到数据库的连接数达到最大连接数且业务受损率大于0,可以确定存在异常请求。
在监测单元702监测到存在异常请求时,识别单元703可以响应于该监测结果,基于获取单元701获取的客户端的请求信息对异常请求的类型进行识别。可选地,异常请求的类别包括每秒查询率异常和请求耗时异常。客户端的请求信息可以包括请求速率、请求耗时和请求内容等。识别单元可以通过比对当前的请求速率、请求耗时、请求执行频率与正常情况下的请求速率、请求耗时、请求执行频率来识别当前请求的异常类型。
控制单元704可以基于识别单元703识别出的异常请求的类型对网络服务中的异常请求进行针对性的流量控制,例如通过限速、限制请求数量、引入时延等方式,降低异常请求的请求速率和请求耗时,从而快速恢复业务的正常运行。
可以理解,装置700中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作和特征同样适用于装置700及其中包含的单元,在此不再赘述。
本领域技术人员可以理解,上述网络服务的数据流量监控装置700还包括一些其他公知结构,例如处理器、存储器等,为了不必要地模糊本公开的实施例,这些公知的结构在图7中未示出。
本申请上述实施例所提供的网络服务的数据流量监控装置,通过监控网络服务的业务状态参数来监控网络服务中的异常请求,进一步通过客户端的请求信息识别异常请求的类型,可以实现网络服务的自动监控和故障的自动处理。同时,由于根据与异常请求的类型进行了针对性的流量控制,加快了故障处理速度,提升了网络服务的稳定性。
下面参考图8,其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统800的结构示意图。
如图8所示,计算机系统800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中,还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分609经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、监测单元、识别单元和控制单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“用于获取网络服务的数据流量的相关信息的单元”。
作为另一方面,本申请还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质;也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:获取数据流量的相关信息,所述数据流量的相关信息包括客户端的请求信息和业务状态参数;基于所述业务状态参数监测网络服务中是否存在异常请求;响应于所述网络服务中存在异常请求,基于所述请求信息识别所述异常请求的类型;根据所述异常请求的类型进行相应的数据流量控制。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (20)

1.一种网络服务的数据流量监控方法,其特征在于,所述方法包括:
获取所述数据流量的相关信息,所述数据流量的相关信息包括客户端的请求信息和业务状态参数;
基于所述业务状态参数监测网络服务中是否存在异常请求;
响应于所述网络服务中存在异常请求,基于所述请求信息识别所述异常请求的类型,所述异常请求的类型包括每秒查询率异常;
根据所述异常请求的类型进行相应的数据流量控制,包括:对每秒查询率异常的异常请求,若不满足第一预设条件且不满足第二预设条件,将所述客户端的当前请求加入缓存队列,确定所述缓存队列中的请求的访问对象,根据所述访问对象控制所述当前请求的速率,其中第一预设条件为当前请求为预设类型的请求,第二预设条件为缓存队列的长度为0且数据库允许处理的请求余量大于0。
2.根据权利要求1所述的方法,其特征在于,所述业务状态参数包括数据库连接数和业务受损率;
所述基于所述业务状态参数监测网络服务中是否存在异常请求,包括:
判断所述数据库连接数是否达到所述网络服务的数据库允许的最大连接数;
判断所述业务受损率是否超过预设受损率阈值;
若所述数据库连接数达到所述网络服务的数据库允许的最大连接数且所述业务受损率超过预设受损率阈值,则确定所述网络服务中存在异常请求。
3.根据权利要求1所述的方法,其特征在于,所述异常请求的类型还包括请求耗时异常。
4.根据权利要求3所述的方法,其特征在于,所述请求信息至少包括请求速率;
所述基于所述请求信息识别所述异常请求的类型,包括:
比较所述客户端的当前请求速率和数据流量正常情况下的最大请求速率;
若所述客户端的当前请求速率大于数据流量正常情况下的最大请求速率,则确定所述客户端的当前请求为每秒查询率异常的异常请求;
其中,所述数据流量正常情况下的最大请求速率预先保存在所述网络服务的存储介质中。
5.根据权利要求4所述的方法,其特征在于,所述请求信息还包括请求耗时;
所述基于所述请求信息识别所述异常请求的类型,还包括:
若所述客户端的当前请求速率小于数据流量正常情况下的最大请求速率,则基于所述请求速率和所述请求耗时计算当前请求的执行频率;
判断所述当前请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及所述当前请求的请求耗时是否大于预设请求耗时;
若所述当前请求的执行频率大于数据流量正常情况下的最大执行频率,且所述当前请求的请求耗时大于预设请求耗时,确定所述客户端的当前请求为请求耗时异常的异常请求;
其中,所述数据流量正常情况下的最大执行频率预先保存在所述网络服务的存储介质中。
6.根据权利要求5所述的方法,其特征在于,所述基于所述请求信息识别所述异常请求的类型,还包括:
按照所述请求耗时对客户端的当前请求进行排序,建立请求耗时由长到短的请求队列;
所述判断所述当前请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及所述当前请求的请求耗时是否大于预设请求耗时,包括:
按照所述排序依次判断所述请求队列中的请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及所述请求队列中的请求的请求耗时是否大于预设请求耗时。
7.根据权利要求4所述的方法,其特征在于,所述根据所述异常请求的类型进行相应的数据流量控制,还包括:
对每秒查询率异常的异常请求,执行如下操作:
若满足所述第一预设条件,则将所述客户端的当前请求发送至数据库,并在数据库允许处理的请求余量大于0时将所述数据库允许处理的请求余量减1;
若满足所述第二预设条件,则将所述客户端的当前请求发送至数据库并将所述数据库允许处理的请求余量减1。
8.根据权利要求7所述的方法,其特征在于,所述访问对象包括所述网络服务的主数据库和从数据库;
所述根据所述访问对象控制所述当前请求的速率,包括:
若所述客户端的当前请求的访问对象为主数据库,则对所述客户端的写请求的速率进行控制;
若所述客户端的当前请求的访问对象为从数据库,则对所述客户端读请求的速率进行控制。
9.根据权利要求5所述的方法,其特征在于,所述请求信息还包括请求内容;
所述根据所述异常请求的类型进行相应的数据流量控制,包括:
基于所述请求内容提取所述请求耗时异常的异常请求以及所述当前请求的特征信息;
将特征信息与所述请求耗时异常的异常请求的特征信息之间的一致性度量大于阈值的当前请求记录至黑名单;
在第一预定时间段之后将所述黑名单内的请求移至红名单;
在第二预定时间段之后将所述红名单内的请求移出红名单;
将所述黑名单内请求的请求速率限制为0;
将所述红名单内请求的请求速率的上限控制为所述数据流量正常情况下的最大请求速率。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述方法还包括:
统计客户端的请求速率和请求耗时;
将异常请求的请求速率和请求耗时从客户端的请求速率的统计结果和请求耗时的统计结果中移除;
根据所述请求速率和所述请求耗时的统计结果确定流量正常情况下的最大请求速率以及最大执行频率。
11.一种网络服务的数据流量监控装置,其特征在于,所述装置包括:
获取单元,配置用于获取所述数据流量的相关信息,所述数据流量的相关信息包括客户端的请求信息和业务状态参数;
监测单元,配置用于基于所述业务状态参数监测网络服务中是否存在异常请求;
识别单元,配置用于响应于所述网络服务中存在异常请求,基于所述请求信息识别所述异常请求的类型,所述异常请求的类型包括每秒查询率异常;
控制单元,配置用于根据所述异常请求的类型进行相应的数据流量控制;
其中,所述控制单元配置用于对每秒查询率异常的异常请求按照如下方式进行数据流量控制:若不满足第一预设条件且不满足第二预设条件,将所述客户端的当前请求加入缓存队列,确定所述缓存队列中的请求的访问对象,根据所述访问对象控制所述当前请求的速率,其中第一预设条件为当前请求为预设类型的请求,第二预设条件为缓存队列的长度为0且数据库允许处理的请求余量大于0。
12.根据权利要求11所述的装置,其特征在于,所述业务状态参数包括数据库连接数和业务受损率;
所述监测单元进一步配置用于按如下方式监测网络服务中是否存在异常请求:
判断所述数据库连接数是否达到所述网络服务的数据库允许的最大连接数;
判断所述业务受损率是否超过预设受损率阈值;
若所述数据库连接数达到所述网络服务的数据库允许的最大连接数且所述业务受损率超过预设受损率阈值,则确定所述网络服务中存在异常请求。
13.根据权利要求11所述的装置,其特征在于,所述异常请求的类型还包括请求耗时异常。
14.根据权利要求13所述的装置,其特征在于,所述请求信息至少包括请求速率;
所述识别单元包括:
比较模块,配置用于比较所述客户端的当前请求速率和数据流量正常情况下的最大请求速率;
第一确定模块,配置用于响应于所述客户端的当前请求速率大于数据流量正常情况下的最大请求速率,确定所述客户端的当前请求为每秒查询率异常的异常请求;
其中,所述数据流量正常情况下的最大请求速率预先保存在所述网络服务的存储介质中。
15.根据权利要求14所述的装置,其特征在于,所述请求信息还包括请求耗时;
所述识别单元还包括:
计算模块,配置用于响应于所述客户端的当前请求速率小于数据流量正常情况下的最大请求速率,基于所述请求速率和所述请求耗时计算当前请求的执行频率;
判断模块,配置用于判断所述当前请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及所述当前请求的请求耗时是否大于预设请求耗时;
第二确定模块,配置用于响应于所述当前请求的执行频率大于数据流量正常情况下的最大执行频率,且所述当前请求的请求耗时大于预设请求耗时,确定所述客户端的当前请求为请求耗时异常的异常请求;
其中,所述数据流量正常情况下的最大执行频率预先保存在所述网络服务的存储介质中。
16.根据权利要求15所述的装置,其特征在于,所述识别单元还包括:
排序模块,配置用于按照所述请求耗时对客户端的当前请求进行排序,建立请求耗时由长到短的请求队列;
所述判断模块进一步按照如下方式判断所述当前请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及所述当前请求的请求耗时是否大于预设请求耗时:
按照所述排序依次判断所述请求队列中的请求的执行频率是否大于数据流量正常情况下的最大执行频率,以及所述请求队列中的请求的请求耗时是否大于预设请求耗时。
17.根据权利要求14所述的装置,其特征在于,所述控制单元还配置用于对每秒查询率异常的异常请求按如下方式进行相应的数据流量控制:
若满足所述第一预设条件,则将所述客户端的当前请求发送至数据库,并在数据库允许处理的请求余量大于0时将所述数据库允许处理的请求余量减1;
若满足所述第二预设条件,则将所述客户端的当前请求发送至数据库并将所述数据库允许处理的请求余量减1。
18.根据权利要求17所述的装置,其特征在于,所述访问对象包括所述网络服务的主数据库和从数据库;
所述控制单元进一步配置用于按如下方式控制所述当前请求的速率:
若所述客户端的当前请求的访问对象为主数据库,则对所述客户端的写请求的速率进行控制;
若所述客户端的当前请求的访问对象为从数据库,则对所述客户端读请求的速率进行控制。
19.根据权利要求15所述的装置,其特征在于,所述请求信息还包括请求内容;
所述控制单元进一步按如下方式进行相应的数据流量控制:
基于所述请求内容提取所述请求耗时异常的异常请求以及所述当前请求的特征信息;
将特征信息与所述请求耗时异常的异常请求的特征信息之间的一致性度量大于阈值的当前请求记录至黑名单;
在第一预定时间段之后将所述黑名单内的请求移至红名单;
在第二预定时间段之后将所述红名单内的请求移出红名单;
将所述黑名单内请求的请求速率限制为0;
将所述红名单内请求的请求速率的上限控制为所述数据流量正常情况下的最大请求速率。
20.根据权利要求11-19任一项所述的装置,其特征在于,所述装置还包括统计单元,配置用于:
统计客户端的请求速率和请求耗时;
将异常请求的请求速率和请求耗时从客户端的请求速率的统计结果和请求耗时的统计结果中移除;
根据所述请求速率和所述请求耗时的统计结果确定流量正常情况下的最大请求速率以及最大执行频率。
CN201510740596.3A 2015-11-04 2015-11-04 网络服务的数据流量监控方法和装置 Active CN105281981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510740596.3A CN105281981B (zh) 2015-11-04 2015-11-04 网络服务的数据流量监控方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510740596.3A CN105281981B (zh) 2015-11-04 2015-11-04 网络服务的数据流量监控方法和装置

Publications (2)

Publication Number Publication Date
CN105281981A CN105281981A (zh) 2016-01-27
CN105281981B true CN105281981B (zh) 2019-04-02

Family

ID=55150350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510740596.3A Active CN105281981B (zh) 2015-11-04 2015-11-04 网络服务的数据流量监控方法和装置

Country Status (1)

Country Link
CN (1) CN105281981B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106878241A (zh) * 2015-12-18 2017-06-20 北京奇虎科技有限公司 恶意热点检测方法和系统
CN107291370B (zh) * 2016-03-30 2021-06-04 杭州海康威视数字技术股份有限公司 一种云存储系统调度方法和装置
CN106302390A (zh) * 2016-07-27 2017-01-04 福建富士通信息软件有限公司 一种基于nginx访问频率限制的方法以及系统
CN106302020B (zh) * 2016-08-18 2019-08-16 上海帝联信息科技股份有限公司 网络带宽统计方法及装置
CN106330548B (zh) * 2016-08-29 2019-12-31 优酷网络技术(北京)有限公司 流量统计方法、装置及系统
CN106685850A (zh) * 2016-12-27 2017-05-17 天津数集科技有限公司 一种广告流量控制逻辑方法和装置
CN106603695B (zh) * 2016-12-28 2020-10-02 北京奇艺世纪科技有限公司 一种每秒查询率的调整方法及装置
CN106650501B (zh) * 2016-12-30 2019-12-06 迈普通信技术股份有限公司 数据库访问控制方法和装置
CN108880920B (zh) * 2017-05-08 2022-01-25 阿里巴巴集团控股有限公司 云服务管理方法、装置以及电子设备
CN108111487B (zh) * 2017-12-05 2022-08-09 全球能源互联网研究院有限公司 一种安全监控方法及系统
CN108040266A (zh) * 2017-12-06 2018-05-15 深圳市雷鸟信息科技有限公司 数据同步的异常处理方法、装置及存储介质
CN109547257B (zh) * 2018-12-05 2022-08-12 深圳前海微众银行股份有限公司 网络流量控制方法、装置、设备、系统及存储介质
CN110221777A (zh) * 2019-05-17 2019-09-10 上海新储集成电路有限公司 一种智能调节数据中心i/o访问负载的方法
CN112866175B (zh) * 2019-11-12 2022-08-19 华为技术有限公司 一种异常流量类型保留方法、装置、设备及存储介质
CN112866179B (zh) * 2019-11-27 2023-06-27 北京沃东天骏信息技术有限公司 限流方法和限流装置
CN111080276A (zh) * 2019-12-31 2020-04-28 北京三快在线科技有限公司 代扣订单的支付方法、装置、设备及存储介质
CN111555974B (zh) * 2020-03-19 2023-05-02 视联动力信息技术股份有限公司 一种数据包的处理方法、装置、终端设备和存储介质
CN111541653B (zh) * 2020-04-02 2023-01-24 山东商业职业技术学院 一种数据通讯监控系统及方法
CN111629056B (zh) * 2020-05-27 2023-04-07 浙江百世技术有限公司 一种网络请求处理方法及应用
CN112099983A (zh) * 2020-09-22 2020-12-18 北京知道创宇信息技术股份有限公司 服务异常处理方法、装置、电子设备和计算机可读存储介质
CN112835921B (zh) * 2021-01-27 2024-03-19 北京达佳互联信息技术有限公司 慢查询处理方法、装置、电子设备及存储介质
CN113225263B (zh) * 2021-04-20 2022-10-11 新华三半导体技术有限公司 一种流量请求处理方法、装置及网络芯片
CN113595784B (zh) * 2021-07-26 2024-05-31 招商银行股份有限公司 网络流量检测方法、装置、设备、存储介质及程序产品
CN114389905B (zh) * 2021-12-08 2023-10-13 阿里巴巴(中国)有限公司 网络流量统计方法、相关装置和介质
CN114844838B (zh) * 2022-04-13 2024-07-09 中国农业银行股份有限公司 一种流量控制方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1691617A (zh) * 2004-04-21 2005-11-02 华为技术有限公司 在通信系统中进行流量控制的方法
CN101257416A (zh) * 2008-03-11 2008-09-03 南京邮电大学 基于网络与基于主机相结合的联网式异常流量防御方法
CN101370008A (zh) * 2007-08-13 2009-02-18 杭州安恒信息技术有限公司 Sql注入web攻击的实时入侵检测系统
CN101572701A (zh) * 2009-02-10 2009-11-04 中科正阳信息安全技术有限公司 针对DNS服务的抗DDoS攻击安全网关系统
CN101719906A (zh) * 2009-11-10 2010-06-02 电子科技大学 一种基于蠕虫传播行为的蠕虫检测方法
CN101826996A (zh) * 2010-03-19 2010-09-08 中国科学院计算机网络信息中心 域名系统流量检测方法与域名服务器
CN102571547A (zh) * 2010-12-29 2012-07-11 北京启明星辰信息技术股份有限公司 一种http流量的控制方法及装置
CN104954272A (zh) * 2014-03-27 2015-09-30 苏州与或信息科技有限公司 分组交换网络的流量控制方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4720295B2 (ja) * 2005-06-02 2011-07-13 日本電気株式会社 異常検出システムおよび保全システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1691617A (zh) * 2004-04-21 2005-11-02 华为技术有限公司 在通信系统中进行流量控制的方法
CN101370008A (zh) * 2007-08-13 2009-02-18 杭州安恒信息技术有限公司 Sql注入web攻击的实时入侵检测系统
CN101257416A (zh) * 2008-03-11 2008-09-03 南京邮电大学 基于网络与基于主机相结合的联网式异常流量防御方法
CN101572701A (zh) * 2009-02-10 2009-11-04 中科正阳信息安全技术有限公司 针对DNS服务的抗DDoS攻击安全网关系统
CN101719906A (zh) * 2009-11-10 2010-06-02 电子科技大学 一种基于蠕虫传播行为的蠕虫检测方法
CN101826996A (zh) * 2010-03-19 2010-09-08 中国科学院计算机网络信息中心 域名系统流量检测方法与域名服务器
CN102571547A (zh) * 2010-12-29 2012-07-11 北京启明星辰信息技术股份有限公司 一种http流量的控制方法及装置
CN104954272A (zh) * 2014-03-27 2015-09-30 苏州与或信息科技有限公司 分组交换网络的流量控制方法及系统

Also Published As

Publication number Publication date
CN105281981A (zh) 2016-01-27

Similar Documents

Publication Publication Date Title
CN105281981B (zh) 网络服务的数据流量监控方法和装置
CN109684358B (zh) 数据查询的方法和装置
CN109672627A (zh) 基于集群服务器的业务处理方法、平台、设备及存储介质
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
CN108874640A (zh) 一种集群性能的评估方法和装置
CN104536965B (zh) 一种大数据条件下的数据查询展示系统及方法
CN113467910B (zh) 基于业务等级的过载保护调度方法
WO2019062405A1 (zh) 应用程序的处理方法、装置、存储介质及电子设备
CN108897854A (zh) 一种超时任务的监控方法和装置
CN110334036A (zh) 一种实现缓存数据调度的方法和装置
US11750711B1 (en) Systems and methods for adaptively rate limiting client service requests at a blockchain service provider platform
CN109634833A (zh) 一种软件缺陷预测方法和装置
CN111813573A (zh) 管理平台与机器人软件的通信方法及其相关设备
WO2019062404A1 (zh) 应用程序的处理方法、装置、存储介质及电子设备
CN113127057B (zh) 多任务并行执行的方法和装置
CN105872082B (zh) 基于容器集群负载均衡算法的细粒度资源响应系统
CN110262955A (zh) 基于pinpoint的应用性能监控工具
CN112162762B (zh) 灰度发布方法、灰度发布装置和电子设备
CN106874371A (zh) 一种数据处理方法及装置
CN106603631A (zh) 分布式消息系统及扩容方法
CN110930238A (zh) 提高审核任务效率的方法、装置、设备和计算机可读介质
CN110493291A (zh) 一种处理http请求的方法和装置
CN112783637B (zh) 一种资源调控方法和装置
CN107908555A (zh) 一种sql脚本的异常检测方法及其终端
CN105591980B (zh) 一种带宽消耗管理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant