CN110535779A - 流量降级方法及装置 - Google Patents

流量降级方法及装置 Download PDF

Info

Publication number
CN110535779A
CN110535779A CN201910815509.4A CN201910815509A CN110535779A CN 110535779 A CN110535779 A CN 110535779A CN 201910815509 A CN201910815509 A CN 201910815509A CN 110535779 A CN110535779 A CN 110535779A
Authority
CN
China
Prior art keywords
strategy
marking section
flow
degradation
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910815509.4A
Other languages
English (en)
Other versions
CN110535779B (zh
Inventor
林泽诚
白松
郑志洵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910815509.4A priority Critical patent/CN110535779B/zh
Publication of CN110535779A publication Critical patent/CN110535779A/zh
Application granted granted Critical
Publication of CN110535779B publication Critical patent/CN110535779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提出一种流量降级方法及装置，其中方法包括：获取当前时刻之前预设时间窗口内各个打分区间的历史流量信息；针对每个打分区间，根据打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为打分区间对应的降级策略；根据各个打分区间对应的降级策略，对相应打分区间内的低质流量进行降级处理，该方法能够在确保折算拒绝量小于预设拒绝量阈值的情况下，从多个降级策略中选择机器节省量最大的降级策略作为该打分区间的降级策略，从而可以对各个打分区间的降级策略进行动态调整，大大提高机器节省量。

Description

流量降级方法及装置
技术领域
本申请涉及搜索技术领域，尤其涉及一种流量降级方法及装置。
背景技术
目前在搜索技术领域，存在内容被抓取的现象，其中，抓取者一般高频次的发送抓取请求，这些抓取请求被称为低质流量。目前，为了确保搜索后台服务器的性能，需要对低质流量进行识别并处理，但目前对低质流量的识别准确率无法达到百分百，容易将普通用户的请求流量识别为低质流量，造成误伤损失。因此，为了确保实际误伤损失较低，识别低质流量后，对低质流量进行打分，只对分数特别高的低质流量，即识别准确率特别高的低质流量采用预设的降级策略进行降级处理。
上述方案中，只对识别准确率特别高的低质流量采用预设的降级策略进行降级处理，导致机器节省量明显受限。另外，降级策略是固定不变的，即提供的劣质结果的占比是固定的，当误伤流量数量较大时，实际误伤损失难以得到确保。
发明内容
本申请的目的旨在至少在一定程度上解决上述技术问题之一。
为此，本申请的第一个目的在于提出一种流量降级方法，该方法可以对各个打分区间的降级策略进行动态调整，在确保实际误伤损失较低的情况下大大提高机器节省量。
本申请的第二个目的在于提出一种流量降级装置。
本申请的第三个目的在于提出另一种流量降级装置。
本申请的第四个目的在于提出一种非临时性计算机可读存储介质。
本申请的第五个目的在于提出一种计算机程序产品。
为达上述目的，本申请第一方面实施例提出了一种流量降级方法，包括：获取搜索引擎在当前时刻之前预设时间窗口内各个打分区间的历史流量信息，历史流量信息包括：低质流量信息和误伤流量信息；针对每个打分区间，根据打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为打分区间对应的降级策略；折算拒绝量，根据误伤流量信息和降级策略的误伤折算率确定；根据各个打分区间对应的降级策略，对相应打分区间内的低质流量进行降级处理。
本申请实施例的流量降级方法，通过获取搜索引擎在当前时刻之前预设时间窗口内各个打分区间的历史流量信息，历史流量信息包括：低质流量信息和误伤流量信息；针对每个打分区间，根据打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为打分区间对应的降级策略；折算拒绝量，根据误伤流量信息和降级策略的误伤折算率确定；根据各个打分区间对应的降级策略，对相应打分区间内的低质流量进行降级处理。该方法根据各个打分区间的误伤流量、识别流量，在确保折算拒绝量小于预设拒绝量阈值的情况下，从多个降级策略中选择机器节省量最大的降级策略作为该打分区间的降级策略，从而可以对各个打分区间的降级策略进行动态调整，大大提高机器节省量。
为达上述目的，本申请第二方面实施例提出了一种流量降级装置，包括：获取模块，用于获取搜索引擎在当前时刻之前预设时间窗口内各个打分区间的历史流量信息，历史流量信息包括：低质流量信息和误伤流量信息；确定模块，用于针对每个打分区间，根据打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为打分区间对应的降级策略；折算拒绝量，根据误伤流量信息和降级策略的误伤折算率确定；降级处理模块，用于根据各个打分区间对应的降级策略，对相应打分区间内的低质流量进行降级处理。
本申请实施例的流量降级装置，通过获取搜索引擎在当前时刻之前预设时间窗口内各个打分区间的历史流量信息，历史流量信息包括：低质流量信息和误伤流量信息；针对每个打分区间，根据打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为打分区间对应的降级策略；折算拒绝量，根据误伤流量信息和降级策略的误伤折算率确定；根据各个打分区间对应的降级策略，对相应打分区间内的低质流量进行降级处理。该装置根据各个打分区间的误伤流量、识别流量，在确保折算拒绝量小于预设拒绝量阈值的情况下，从多个降级策略中选择机器节省量最大的降级策略作为该打分区间的降级策略，从而可以对各个打分区间的降级策略进行动态调整，大大提高机器节省量。
为达上述目的，本申请第三方面实施例提出了另一种流量降级装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的流量降级方法。
为了实现上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的流量降级方法。
为了实现上述目的，本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上所述的流量降级方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请一个实施例的流量降级方法的流程示意图；
图2为根据本申请另一个实施例的流量降级方法的流程示意图；
图3为根据本申请一个实施例的流量降级方法的示意图；
图4为根据本申请一个实施例的流量降级装置的结构示意图；
图5为根据本申请一个实施例的另一种流量降级装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的流量降级方法及装置。本申请提供的流量降级方法的执行主体为流量降级装置，流量降级装置可以为终端设备、服务器等硬件设备，或者为硬件设备上安装的软件。其中，软件例如可以为搜索引擎等。
图1为本申请实施例提供的一种流量降级方法的流程示意图。如图1所示，该流量降级方法包括以下步骤：
步骤101，获取搜索引擎在当前时刻之前预设时间窗口内各个打分区间的历史流量信息，历史流量信息包括：低质流量信息和误伤流量信息。
在本申请实施例中，流量降级装置可实时的对搜索引擎接收到的请求进行识别，在识别到低质流量时进行打分，并根据打分将低质流量映射到打分区间内进行降级处理。因此，流量降级装置可周期性的(例如每天)获取搜索引擎在当前时刻之前预设时间窗口内各个打分区间的历史流量信息。其中，预设时间窗口可以为一个周期长度，或者小于一个周期长度。
需要说明的是，不同打分的低质流量的识别准确率不同，打分越高，请求为低质流量的可能性越高，识别准确率越高；打分越低，请求为低质流量的可能性越低，识别准确率越低。本实施例中，历史流量信息可包括但不限于低质流量信息和误伤流量信息。
可选地，针对每个打分区间，获取搜索引擎在当前时刻之前预设时间窗口内的低质流量信息；获取打分区间对应的识别误伤率；将识别误伤率与低质流量信息的乘积，确定为打分区间的误伤流量信息。
也就是说，流量降级装置可针对每个打分区间，获取搜索引擎在当前时刻之前预设时间窗口内的该打分区间对应的低质流量信息，其中，由于对低质流量的识别准确率无法达到百分百，可能会存在将普通用户的请求流量识别为低质流量，则该识别为低质流量的普通用户请求流量确定为误伤流量，误伤流量信息指的是误伤流量的数量，可通过打分区间对应的识别误伤率与低质流量信息确定，比如，将识别误伤率与低质流量信息的乘积，确定为打分区间的误伤流量信息。其中，每个打分区间的识别误伤率可根据该打分区间的识别准确率进行确定，比如，识别误伤率＝1-识别准确率，其中，识别准确率为低质流量的识别准确率，该识别准确率可预先进行设定，或者，对样本流量进行低质流量识别及打分，根据各个打分区间内的低质流量以及样本流量，确定识别准确率。识别准确率可根据实际情况选择设置方式进行设置，本申请不做具体限定。
步骤102，针对每个打分区间，根据打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为打分区间对应的降级策略；折算拒绝量，根据误伤流量信息和误伤折算率确定。
进一步地，获取到历史流量信息之后，可针对每个打分区间，根据打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为打分区间对应的降级策略；其中，折算拒绝量可根据误伤流量信息和误伤折算率确定。
可选地，如图2所示，针对每个打分区间，根据打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为打分区间对应的降级策略的具体步骤如下：
步骤201，获取各个降级策略的参数信息，所述参数信息包括：误伤折算率和单位流量降级机器节省；
不难理解的是，为了机器节省量最大化，需要根据不同打分区间的流量信息为不同打分区间选择合适的降级策略，因而，在获取搜索引擎在当前时刻之前预设时间窗口内各个打分区间的历史流量信息之后，可获取各个降级策略的参数信息，方便后续根据各个打分区间的历史流量信息和各个降级策略的参数信息，为打分区间选择机器节省量最大的降级策略。其中，参数信息可包括但不限于误伤折算率和单位流量降级机器节省。
作为一种示例，对每个降级策略，可预先设置单位流量降级机器节省，进一步地，可根据单位流量降级机器节省和低质流量信息获取机器节省量，比如：机器节省量＝单位流量降级机器节省*低质流量信息。另外，可根据降级策略为低质流量提供的劣质结果的占比，确定降级策略的相关性分数；根据降级策略的相关性分数和拒绝状态的相关性分数，确定降级策略的误伤折算率。其中，劣质结果的占比，指的是劣质结果数量与结果总数量的占比。比如，对于抓取请求，服务器根据降级策略返回50条优质结果，50条劣质结果，则劣质结果的占比为50％。
本实施例中，降级策略的相关性分数可以为降级策略为低质流量提供的劣质结果的占比，例如50％；也可以结合该占比以及预设公式计算得到的分数；本申请不做具体限定。
本实施例中，误伤折算率的计算公式例如可以为，
其中，Aratio表示降级策略的误伤折算率，Dvalue表示降级策略的相关性分数，Rvalue表示拒绝状态的相关性分数。需要说明的是，拒绝状态是对低质流量完全拒绝，不提供任何结果的状态，拒绝状态的相关性分数可以预先设置，比如，拒绝状态的相关性分数大小可设置为劣质结果的占比为100％时的所对应的降级策略的相关性分数值。
步骤202，针对每个打分区间，结合打分区间的历史流量信息、各个降级策略的参数信息以及预设的状态转移方程，确定对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略。
为了在误伤损失较小的情况下实现机器节省量最大化，可针对每个打分区间，结合打分区间的历史流量信息、各个降级策略的参数信息以及预设的状态转移方程，确定对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略。其中，折算拒绝量可根据误伤折算率和误伤流量信息进行计算，具体可表示为如下公式：
Rz＝Aratio×Anum (2)
其中，Rz表示折算拒绝量，Aratio表示误伤折算率，Anum表示误伤流量信息。
另外，预设的状态转移方程可对打分区间的历史流量信息以及各个降级策略的参数信息进行计算，从而从多个降级策略中确定出折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，假设总共有n种降级策略，则状态转移方程具体可表示为如下公式：
其中，i表示第i个打分区间；w表示拒绝量阈值；Ji表示第i个打分区间的误伤流量信息；Ci表示第i个打分区间的低质流量信息；N1表示第一个降级策略的误伤折算率；S1表示第一个降级策略的单位流量降级机器节省；n表示降级策略的数量；f[i][w]表示当第i个打分区间在折算拒绝量小于拒绝量阈值w的情况下选择最合理降级策略后的最大机器节省量。
步骤203，将对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为打分区间对应的降级策略。
为了更加清楚地说明本申请实施例的流量降级方法，如图3所示为流量降级方法的示意图。在图3中，数据汇聚是指获取搜索引擎在当前时刻之前预设时间窗口内接收到的低质流量；数据处理是指根据当前时刻之前预设时间窗口内接收到的低质流量，统计低质流量信息、计算误伤流量信息；折算拒绝量计算，是指根据各个降级策略的误伤折算率和打分区间的低质流量信息，计算各个降级策略在打分区间内的折算拒绝量；机器节省计算，是指根据各个降级策略的单位流量降级机器节省和打分区间的低质流量信息，计算各个降级策略在打分区间内的机器节省量。动态决策，是指结合打分区间的历史流量信息、各个降级策略的折算拒绝量和机器节省量、以及预设的状态转移方程，确定对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略。智能降级，是指对各个打分区间选择出来的降级策略进行组合，得到搜索引擎每个打分区间的降级策略。基于该组合，搜索引擎能够对识别到的位于不同打分区间内的低质流量，采用对应的降级策略进行降级，节省搜索引擎对低质流量进行处理所消耗的资源，提高搜索引擎的处理速度和处理量。本申请实施例中，针对每个打分区间，结合打分区间的历史流量信息、各个降级策略的参数信息以及预设的状态转移方程，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，并将该降级策略作为该打分区间对应的降级策略，从而能够最大化的提高机器节省量，提高搜索引擎的处理速度。
步骤103，根据各个打分区间对应的降级策略，对相应打分区间内的低质流量进行降级处理。
进一步地，确定出每个打分区间所对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，可根据各个打分区间对应的降级策略，对相应打分区间内的低质流量进行降级处理。
可选地，针对每个打分区间内的低质流量，确定低质流量所请求的结果数量；根据结果数量以及打分区间对应的降级策略的劣质结果占比，确定需要为低质流量提供的优质结果数量和劣质结果数量；按照优质结果数量和劣质结果数量，为低质流量提供结果。
举例而言，比如，对于第一个打分区间内的抓取请求，服务器可确定出该抓取请求所请求的结果数量为100条，该打分区间对应的降级策略的劣质结果占比为60％，因此，服务器可向该抓取请求返回优质结果的数量为40条，劣质结果的数量为60条，从而在减少误伤用户的体验损失情况下，降低了服务器的压力。
本申请实施例的流量降级方法，通过获取搜索引擎在当前时刻之前预设时间窗口内各个打分区间的历史流量信息，历史流量信息包括：低质流量信息和误伤流量信息；针对每个打分区间，根据打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为打分区间对应的降级策略；折算拒绝量，根据误伤流量信息和降级策略的误伤折算率确定；根据各个打分区间对应的降级策略，对相应打分区间内的低质流量进行降级处理。该方法根据各个打分区间的误伤流量、识别流量，在确保折算拒绝量小于预设拒绝量阈值的情况下，从多个降级策略中选择机器节省量最大的降级策略作为该打分区间的降级策略，从而可以对各个打分区间的降级策略进行动态调整，大大提高机器节省量。
与上述几种实施例提供的流量降级方法相对应，本申请的一种实施例还提供一种流量降级装置，由于本申请实施例提供的流量降级装置与上述几种实施例提供的流量降级方法相对应，因此在前述流量降级方法的实施方式也适用于本实施例提供的流量降级装置，在本实施例中不再详细描述。图4为根据本申请一个实施例的流量降级装置的结构示意图。如图4所示，该流量降级装置包括：获取模块410、确定模块420、降级处理模块430。
其中，获取模块410，用于获取搜索引擎在当前时刻之前预设时间窗口内各个打分区间的历史流量信息，历史流量信息包括：低质流量信息和误伤流量信息；确定模块420，用于针对每个打分区间，根据打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为打分区间对应的降级策略；折算拒绝量，根据误伤流量信息和降级策略的误伤折算率确定；降级处理模块430，用于根据各个打分区间对应的降级策略，对相应打分区间内的低质流量进行降级处理。
作为本申请实施例的一种可能的实现方式，确定模块420具体用于，获取各个降级策略的参数信息，参数信息包括：误伤折算率和单位流量降级机器节省；针对每个打分区间，结合打分区间的历史流量信息、各个降级策略的参数信息以及预设的状态转移方程，确定对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略；将对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为打分区间对应的降级策略。
作为本申请实施例的一种可能的实现方式，获取模块410具体用于，针对每个打分区间，获取搜索引擎在当前时刻之前预设时间窗口内的低质流量信息；获取打分区间对应的识别误伤率；将识别误伤率与低质流量信息的乘积，确定为打分区间的误伤流量信息。
作为本申请实施例的一种可能的实现方式，确定模块420具体用于，针对每个降级策略，获取降级策略的单位流量降级机器节省；根据降级策略为低质流量提供的劣质结果的占比，确定降级策略的相关性分数；将降级策略的相关性分数与预设的拒绝状态的相关性分数的比值，确定为降级策略的误伤折算率。
作为本申请实施例的一种可能的实现方式，降级处理模块430具体用于，针对每个打分区间内的低质流量，确定低质流量所请求的结果数量；根据结果数量以及打分区间对应的降级策略的劣质结果占比，确定需要为低质流量提供的优质结果数量和劣质结果数量；按照优质结果数量和劣质结果数量，为低质流量提供结果。
本申请实施例的流量降级装置，通过获取搜索引擎在当前时刻之前预设时间窗口内各个打分区间的历史流量信息，历史流量信息包括：低质流量信息和误伤流量信息；针对每个打分区间，根据打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为打分区间对应的降级策略；折算拒绝量，根据误伤流量信息和降级策略误伤折算率确定；根据各个打分区间对应的降级策略，对相应打分区间内的低质流量进行降级处理。该装置根据各个打分区间的误伤流量、识别流量，在确保折算拒绝量小于预设拒绝量阈值的情况下，从多个降级策略中选择机器节省量最大的降级策略作为该打分区间的降级策略，从而可以对各个打分区间的降级策略进行动态调整，大大提高机器节省量。
为了实现上述实施例，本申请还提出另一种流量降级装置，图5为本申请实施例提供的另一种流量降级装置的结构示意图。该流量降级装置包括：存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行所述程序时实现上述实施例中提供的流量降级方法。
进一步地，流量降级装置还包括：
通信接口1003，用于存储器1001和处理器1002之间的通信。
存储器1001，用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
处理器1002，用于执行所述程序时实现上述实施例所述的流量降级方法。
如果存储器1001、处理器1002和通信接口1003独立实现，则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1001、处理器1002及通信接口1003，集成在一块芯片上实现，则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
为了实现上述实施例，本申请实施例还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例的流量降级方法。
为了实现上述实施例，本申请实施例还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上述实施例的流量降级方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种流量降级方法，其特征在于，包括：
获取搜索引擎在当前时刻之前预设时间窗口内各个打分区间的历史流量信息，所述历史流量信息包括：低质流量信息和误伤流量信息；
针对每个打分区间，根据所述打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为所述打分区间对应的降级策略；所述折算拒绝量，根据误伤流量信息和降级策略的误伤折算率确定；
根据各个打分区间对应的降级策略，对相应打分区间内的低质流量进行降级处理。
2.根据权利要求1所述的方法，其特征在于，所述针对每个打分区间，根据所述打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为所述打分区间对应的降级策略，包括：
获取各个降级策略的参数信息，所述参数信息包括：误伤折算率和单位流量降级机器节省；
针对每个打分区间，结合所述打分区间的历史流量信息、各个降级策略的参数信息以及预设的状态转移方程，确定对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略；
将对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为所述打分区间对应的降级策略。
3.根据权利要求1所述的方法，其特征在于，所述获取搜索引擎在当前时刻之前预设时间窗口内各个打分区间的历史流量信息，包括：
针对每个打分区间，获取搜索引擎在当前时刻之前预设时间窗口内的低质流量信息；
获取所述打分区间对应的识别误伤率；
将所述识别误伤率与所述低质流量信息的乘积，确定为所述打分区间的误伤流量信息。
4.根据权利要求2所述的方法，其特征在于，所述获取各个降级策略的参数信息，包括：
针对每个降级策略，获取所述降级策略的单位流量降级机器节省；
根据所述降级策略为低质流量提供的劣质结果的占比，确定所述降级策略的相关性分数；
将所述降级策略的相关性分数与预设的拒绝状态的相关性分数的比值，确定为所述降级策略的误伤折算率。
5.根据权利要求1所述的方法，其特征在于，所述根据各个打分区间对应的降级策略，对相应打分区间内的低质流量进行降级处理，包括：
针对每个打分区间内的低质流量，确定所述低质流量所请求的结果数量；
根据所述结果数量以及所述打分区间对应的降级策略的劣质结果占比，确定需要为所述低质流量提供的优质结果数量和劣质结果数量；
按照所述优质结果数量和所述劣质结果数量，为所述低质流量提供结果。
6.一种流量降级装置，其特征在于，包括：
获取模块，用于获取搜索引擎在当前时刻之前预设时间窗口内各个打分区间的历史流量信息，所述历史流量信息包括：低质流量信息和误伤流量信息；
确定模块，用于针对每个打分区间，根据所述打分区间的历史流量信息，从各个降级策略中选择对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为所述打分区间对应的降级策略；所述折算拒绝量，根据误伤流量信息和降级策略的误伤折算率确定；
降级处理模块，用于根据各个打分区间对应的降级策略，对相应打分区间内的低质流量进行降级处理。
7.根据权利要求6所述的装置，其特征在于，所述确定模块具体用于，
获取各个降级策略的参数信息，所述参数信息包括：误伤折算率和单位流量降级机器节省；
针对每个打分区间，结合所述打分区间的历史流量信息、各个降级策略的参数信息以及预设的状态转移方程，确定对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略；
将对应的折算拒绝量小于预设拒绝量阈值且机器节省量最大的降级策略，作为所述打分区间对应的降级策略。
8.根据权利要求6所述的装置，其特征在于，所述获取模块具体用于，
针对每个打分区间，获取搜索引擎在当前时刻之前预设时间窗口内的低质流量信息；
获取所述打分区间对应的识别误伤率；
将所述识别误伤率与所述低质流量信息的乘积，确定为所述打分区间的误伤流量信息。
9.根据权利要求7所述的装置，其特征在于，所述确定模块具体用于，
针对每个降级策略，获取所述降级策略的单位流量降级机器节省；
根据所述降级策略为低质流量提供的劣质结果的占比，确定所述降级策略的相关性分数；
将所述降级策略的相关性分数与预设的拒绝状态的相关性分数的比值，确定为所述降级策略的误伤折算率。
10.根据权利要求6所述的装置，其特征在于，所述降级处理模块具体用于，
针对每个打分区间内的低质流量，确定所述低质流量所请求的结果数量；
根据所述结果数量以及所述打分区间对应的降级策略的劣质结果占比，确定需要为所述低质流量提供的优质结果数量和劣质结果数量；
按照所述优质结果数量和所述劣质结果数量，为所述低质流量提供结果。
11.一种流量降级装置，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一所述的流量降级方法。
12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的流量降级方法。
13.一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如权利要求1-5中任一所述的流量降级方法。
CN201910815509.4A 2019-08-30 2019-08-30 流量降级方法及装置 Active CN110535779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910815509.4A CN110535779B (zh) 2019-08-30 2019-08-30 流量降级方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910815509.4A CN110535779B (zh) 2019-08-30 2019-08-30 流量降级方法及装置

Publications (2)

Publication Number Publication Date
CN110535779A true CN110535779A (zh) 2019-12-03
CN110535779B CN110535779B (zh) 2020-09-11

Family

ID=68665605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910815509.4A Active CN110535779B (zh) 2019-08-30 2019-08-30 流量降级方法及装置

Country Status (1)

Country Link
CN (1) CN110535779B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306659A (zh) * 2020-11-02 2021-02-02 北京中电普华信息技术有限公司 一种应用的降级保护方法及业务处理系统
CN112769657A (zh) * 2020-12-26 2021-05-07 上海优扬新媒信息技术有限公司 一种流量控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1687769A2 (en) * 2003-10-23 2006-08-09 Clearsight Systems Inc. Method and system for determining a near optimal resource schedule
CN107948084A (zh) * 2017-12-15 2018-04-20 中国银联股份有限公司 一种限流方法和装置
CN108845910A (zh) * 2018-05-31 2018-11-20 康键信息技术（深圳）有限公司 大规模微服务系统的监控方法、装置及存储介质
CN109257294A (zh) * 2018-09-07 2019-01-22 武汉斗鱼网络科技有限公司 基于redis的服务动态降级方法、装置、服务器及存储介质
CN109815004A (zh) * 2017-11-21 2019-05-28 腾讯科技（深圳）有限公司 请求负载控制方法、装置、存储介质和计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1687769A2 (en) * 2003-10-23 2006-08-09 Clearsight Systems Inc. Method and system for determining a near optimal resource schedule
CN109815004A (zh) * 2017-11-21 2019-05-28 腾讯科技（深圳）有限公司 请求负载控制方法、装置、存储介质和计算机设备
CN107948084A (zh) * 2017-12-15 2018-04-20 中国银联股份有限公司 一种限流方法和装置
CN108845910A (zh) * 2018-05-31 2018-11-20 康键信息技术（深圳）有限公司 大规模微服务系统的监控方法、装置及存储介质
CN109257294A (zh) * 2018-09-07 2019-01-22 武汉斗鱼网络科技有限公司 基于redis的服务动态降级方法、装置、服务器及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306659A (zh) * 2020-11-02 2021-02-02 北京中电普华信息技术有限公司 一种应用的降级保护方法及业务处理系统
CN112306659B (zh) * 2020-11-02 2024-03-15 北京中电普华信息技术有限公司 一种应用的降级保护方法及业务处理系统
CN112769657A (zh) * 2020-12-26 2021-05-07 上海优扬新媒信息技术有限公司 一种流量控制方法及装置
CN112769657B (zh) * 2020-12-26 2022-07-26 度小满科技(北京)有限公司 一种流量控制方法及装置

Also Published As

Publication number Publication date
CN110535779B (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN110535779A (zh) 流量降级方法及装置
CN109147341B (zh) 违章车辆检测方法及装置
CN109255126A (zh) 文章推荐方法及装置
CN110188350A (zh) 文本一致性计算方法及装置
CN109871803A (zh) 机器人回环检测方法和装置
CN108319974B (zh) 数据处理方法、装置、存储介质和电子装置
CN102722577B (zh) 指标动态权重的确定方法及装置
CN109816045A (zh) 一种商品识别方法及装置
US20180211125A1 (en) Fingerprint Enrolling Method, Apparatus, And Terminal Device
CN108681541A (zh) 图片搜索方法、装置及计算机设备
CN108460346A (zh) 指纹识别方法及装置
US20090254710A1 (en) Device and method for controlling cache memory
CN110334081A (zh) 海量数据的清洗方法及装置
CN109543593A (zh) 回放攻击的检测方法、电子设备及计算机可读存储介质
CN108962235A (zh) 语音交互方法及装置
CN110290216B (zh) 监听执行方法、指令下发方法、装置、设备及存储介质
CN105160006B (zh) 页面内容传输方法
CN107784586A (zh) 流量转移方法、装置、计算机设备及存储介质
CN116645612A (zh) 一种森林资源资产确定方法及系统
CN114844835B (zh) 一种自适应动态限流方法、设备
CN115157885B (zh) 基于学习的打印纸定位方法及系统
CN110019964A (zh) 视频去重方法及装置
CN108874994A (zh) 一种分块读取数据的方法、装置及计算机存储介质
CN108683643A (zh) 一种基于流式处理的数据脱敏系统及其脱敏方法
CN114924965A (zh) 一种基于互联网的软件开发用性能预测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant