CN113380008A - 一种基于命中数和命中率的动态阈值调整方法 - Google Patents

一种基于命中数和命中率的动态阈值调整方法 Download PDF

Info

Publication number
CN113380008A
CN113380008A CN202110518953.7A CN202110518953A CN113380008A CN 113380008 A CN113380008 A CN 113380008A CN 202110518953 A CN202110518953 A CN 202110518953A CN 113380008 A CN113380008 A CN 113380008A
Authority
CN
China
Prior art keywords
hits
hit rate
threshold value
amplification factor
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110518953.7A
Other languages
English (en)
Other versions
CN113380008B (zh
Inventor
王崟平
余慧诗
陈少磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN202110518953.7A priority Critical patent/CN113380008B/zh
Publication of CN113380008A publication Critical patent/CN113380008A/zh
Application granted granted Critical
Publication of CN113380008B publication Critical patent/CN113380008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/001—Alarm cancelling procedures or alarm forwarding decisions, e.g. based on absence of alarm confirmation

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于计算机技术领域，尤其涉及一种基于命中数和命中率的动态阈值调整方法，拟解决通过手动设置阈值不能实现实时更新，本发明的技术方案如下：基于可配置范围的历史数据，计算出数据的平均值、标准差，在根据标准差放大系数计算出阈值，然后通过使用阈值回溯历史数据，使用该阈值命中的规则，在配置命中率上限之下，并且靠近阈值上限，直到找到适合的阈值作为最终阈值给线上规则使用，并且阈值每天进行一次更新，从而实现了阈值的自动更新。

Description

一种基于命中数和命中率的动态阈值调整方法
技术领域
本发明属于计算机技术领域，尤其涉及一种基于命中数和命中率的动态阈值调整方法。
背景技术
目前非现场监控有许多阈值需要设定，通常通过人工分析几百条数据，或是直接通过人工设置阈值；而通过人工设置阈值时，通常会出现一大堆警告或者不警告；例如非现场监控的重要系统访问监控，如果某人某小时内访问某系统次数超过设定阈值，就会告警一次，如果阈值设置小，可能一周内就会出现很多告警，出现大量的误报，不利于异常问题的追踪或者是数据量过大不利于处理；如果阈值设置过大后，可能会遗漏异常告警；并且通过手动设置阈值不能实现实时更新。
发明内容
本发明提供了一种基于命中数和命中率的动态阈值调整方法，拟解决现有技术中提到的手动设置阈值不能实现实时更新。
为实现上述目的，本发明提供如下技术方案：
一种基于命中数和命中率的动态阈值调整方法，包括以下步骤：
步骤1：计算出每个用户每个周期单元中n个周期访问A系统的平均值m和标准差q；每个周期单元y均包含有n个周期；例如：共有3个周期单元，以一周为一个周期单元，每个周期单元中包含了7个周期，即一天为一个周期，那么平均值就等于一个周期单元内的访问次数除以7，那么就求出了每个周期单元中n个周期的平均值m；标准差q也是计算7天的标准差。
基于上述平均值m和标准差q计算临时阈值，计算公式如下：
临时阈值＝W1*(m1+p*q1)+W2*(m2+p*q2)+W3*(m3+p*q3)+…+Wy* (my+p*qy)；所述W为每个周期单元内的权重；p为放大系数；
步骤2：采用临时阈值作为线上规则的阈值去跑历史数据；
步骤3：计算出每个用户所有周期单元y内的命中数，命中数为每个用户所有周期单元内的top数据相加；
步骤4：计算出每个用户的命中率，所述命中率的计算公式如下：
命中率＝每个用户所有周期单元命中数之和/所有周期单元内的数据条数；
步骤5：基于步骤3和步骤4中实际所得的命中数和命中率与配置的命中数和命中率对比，若实际所得的命中数和命中率均分别大于配置的命中数和命中率时，则调小放大系数p，并将调小后的放大系数p带入步骤1中的公式中进行临时阈值的计算，并继续执行步骤1到5；直至实际所得的命中数和命中率小于或等于配置的命中数和命中率时，则执行步骤6；
若实际所得的命中数和命中率均分别小于或等于配置的命中数和命中率时，则调大放大系数p，并将调大后的放大系数p带入步骤1中的公式中进行临时阈值的计算，并继续执行步骤1到5；直至实际所得的命中数大于配置的命中数或实际所得的命中率大于配置的命中率时，则执行步骤7；
步骤6：将步骤1中计算出的临时阈值作为最终阈值，将最终阈值给线上规则使用；
步骤7：将上一次步骤1中计算出的临时阈值作为最终阈值，将最终阈值给线上规则使用。
本发明通过上述步骤使得阈值在每个周期内定时计算，及时更新，能够适应数据的变化，并且通过调整放大系数，使得实际命中数和命中率接近配置的命中数和命中率。
与现有技术相比本发明的有益效果是：本发明的阈值通过代码计算能够处理的数据量更多；阈值可以每天进行及时更新，能够适应数据的变化；通过命中数能限制单个维度一段时间的命中规则的最大条数；通过命中率能够控制总的规则命中率，防止造成大量重复的规则命中或者，总命中数太多，人工无法调查梳理，越积越多的问题。
附图说明
图1为本发明的阈值调整流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
步骤1：计算出每个用户每个周期单元中n个周期访问A系统的平均值m和标准差q；每个周期单元y均包含有n个周期；基于上述平均值m和标准差q计算临时阈值，计算公式如下：
临时阈值＝W1*(m1+p*q1)+W2*(m2+p*q2)+W3*(m3+p*q3)+…+Wy* (my+p*qy)；所述W为每个周期单元内的权重；p为放大系数；
步骤2：采用临时阈值作为线上规则的阈值去跑历史数据；
步骤3：计算出每个用户所有周期单元内的命中数，命中数为每个用户所有周期单元内的top数据相加；
步骤4：计算出每个用户的命中率，所述命中率的计算公式如下：
命中率＝每个用户所有周期单元命中数之和/所有周期单元内的数据条数；
步骤5：基于步骤3和步骤4中实际所得的命中数和命中率与配置的命中数和命中率对比，若实际所得的命中数和命中率均分别大于配置的命中数和命中率时，则调小放大系数p，并将调小后的放大系数p带入步骤1中的公式中进行临时阈值的计算，并继续执行步骤1到5；直至实际所得的命中数和命中率小于或等于配置的命中数和命中率时，则执行步骤6；
若实际所得的命中数和命中率均分别小于或等于配置的命中数和命中率时，则调大放大系数p，并将调大后的放大系数p带入步骤1中的公式中进行临时阈值的计算，并继续执行步骤1到5；直至实际所得的命中数大于配置的命中数或实际所得的命中率大于配置的命中率时，则执行步骤7；
步骤6：将步骤1中计算出的临时阈值作为最终阈值，将最终阈值给线上规则使用；
步骤7：将上一次步骤1中计算出的临时阈值作为最终阈值，将最终阈值给线上规则使用。
上述步骤2中所述的线上规则，就是每个用户在某一周期内访问A系统是否大于临时阈值，如果大于就记录下用户、系统和访问次数。
通过每日执行上述步骤，则可以实现每日对阈值进行更新，能够适应数据的变化。
所述每个周期单元的权重相加之和为1如下公式所示：W1+W2+W3+…+Wy＝1。
所述放大系数p，初始值为2.8，精度为一位小数，且步骤5中所述的放大系数p每次调大或调小0.1。
优选的，本申请的采用最近3个周期单元内的数据进行计算临时阈值，即一周为一个周期单元，共取最近三周的数据，一天为一个周期；具体如下：n取值7天，一天为一个周期，一共有三个周期单元，即y取值1、2、3；
对应上述步骤1：计算出每个用户在每周7天访问A系统的平均值m和标准差q；基于上述计算出的平均值和标准差计算临时阈值；计算公式如下：
临时阈值＝W1*(m1+p*q1)+W2*(m2+p*q2)+W3*(m3+p*q3)；所述W为每个周期内的权重；
对应上述步骤2：采用步骤1中计算出的临时阈值作为线上规则的阈值，若每个用户每小时访问A系统大于临时阈值则记录下用户、系统和访问次数；
对应上述步骤3：分别计算出每周的命中数；
对应上述步骤4：计算出每个用户的命中率，所述命中率的计算公式如下：
命中率＝每个用户3周命中数之和/3周内的数据条数；
对应上述步骤5：调整放大系数，放大系数p初始值为2.8，精度为一位小数，基于步骤 3和步骤4中实际所得的命中数和命中率与配置的命中数和命中率对比，若实际所得的命中数和命中率均分别大于配置的命中数和命中率时，则调小放大系数p，并将调小后的放大系数 p带入步骤1中的公式中进行临时阈值的计算，并继续执行步骤1到5；直至实际所得的命中数和命中率小于或等于配置的命中数和命中率时，则执行步骤6；
若实际所得的命中数和命中率均分别小于或等于配置的命中数和命中率时，则调大放大系数p，并将调大后的放大系数p带入步骤1中的公式中进行临时阈值的计算，并继续执行步骤1到5；直至实际所得的命中数大于配置的命中数或实际所得的命中率大于配置的命中率时，则执行步骤7；优选的，放大系数p每次调大或调小0.1。
对应上述步骤6：将步骤1中的临时阈值作为最终阈值，将最终阈值给线上规则使用。
对应上述步骤7：将上一次步骤1中计算出的临时阈值作为最终阈值，将最终阈值给线上规则使用。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于命中数和命中率的动态阈值调整方法，其特征在于：包括以下步骤：
步骤1：计算出每个用户每个周期单元中n个周期访问A系统的平均值m和标准差q；每个周期单元y均包含有n个周期；基于上述平均值m和标准差q计算临时阈值，计算公式如下：
临时阈值＝W1*(m1+p*q1)+W2*(m2+p*q2)+W3*(m3+p*q3)+…+Wy*(my+p*qy)；所述W为每个周期单元内的权重；p为放大系数；
步骤2：采用临时阈值作为线上规则的阈值去跑历史数据；
步骤3：计算出每个用户所有周期单元y内的命中数，命中数为每个用户所有周期单元内的top数据相加；
步骤4：计算出每个用户的命中率，所述命中率的计算公式如下：
命中率＝每个用户所有周期单元命中数之和/所有周期单元内的数据条数；
步骤5：基于步骤3和步骤4中实际所得的命中数和命中率与配置的命中数和命中率对比，若实际所得的命中数和命中率均分别大于配置的命中数和命中率时，则调小放大系数p，并将调小后的放大系数p带入步骤1中的公式中进行临时阈值的计算，并继续执行步骤1到5；直至实际所得的命中数和命中率小于或等于配置的命中数和命中率时，则执行步骤6；
若实际所得的命中数和命中率均分别小于或等于配置的命中数和命中率时，则调大放大系数p，并将调大后的放大系数p带入步骤1中的公式中进行临时阈值的计算，并继续执行步骤1到5；直至实际所得的命中数大于配置的命中数或实际所得的命中率大于配置的命中率时，则执行步骤7；
步骤6：将步骤1中的临时阈值作为最终阈值，将最终阈值给线上规则使用；
步骤7：将上一次步骤1中计算出的临时阈值作为最终阈值，将最终阈值给线上规则使用。
2.根据权利要求1所述的一种基于命中数和命中率的动态阈值调整方法，其特征在于：所述每个周期单元的权重相加之和为1如下公式所示：W1+W2+W3+…+Wy＝1。
3.根据权利要求1所述的一种基于命中数和命中率的动态阈值调整方法，其特征在于：所述放大系数p，初始值为2.8，精度为一位小数。
4.根据权利要求1所述的一种基于命中数和命中率的动态阈值调整方法，其特征在于：步骤5中所述的放大系数p每次调大或调小0.1。
5.根据权利要求1所述的一种基于命中数和命中率的动态阈值调整方法，其特征在于：采用最近3个周期单元内的数据进行计算临时阈值，即一周为一个周期单元，共取最近三周的数据，以一天为一个周期。
CN202110518953.7A 2021-05-12 2021-05-12 一种基于命中数和命中率的动态阈值调整方法 Active CN113380008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110518953.7A CN113380008B (zh) 2021-05-12 2021-05-12 一种基于命中数和命中率的动态阈值调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110518953.7A CN113380008B (zh) 2021-05-12 2021-05-12 一种基于命中数和命中率的动态阈值调整方法

Publications (2)

Publication Number Publication Date
CN113380008A true CN113380008A (zh) 2021-09-10
CN113380008B CN113380008B (zh) 2022-07-08

Family

ID=77572760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110518953.7A Active CN113380008B (zh) 2021-05-12 2021-05-12 一种基于命中数和命中率的动态阈值调整方法

Country Status (1)

Country Link
CN (1) CN113380008B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006303556A (ja) * 2005-04-15 2006-11-02 Matsushita Electric Ind Co Ltd 無線通信装置および変調多値数決定方法
US20110261983A1 (en) * 2010-04-22 2011-10-27 Siemens Corporation Systems and methods for own voice recognition with adaptations for noise robustness
CN102243627A (zh) * 2010-05-10 2011-11-16 核工业西南物理研究院 基于虚拟时间值的信息记录排序方法
US20140119113A1 (en) * 2012-10-31 2014-05-01 Lsi Corporation Threshold Acquisition and Adaption in NAND Flash Memory
CN106982248A (zh) * 2017-03-01 2017-07-25 中国科学院深圳先进技术研究院 一种内容中心网络的缓存方法及装置
US20200065212A1 (en) * 2017-03-01 2020-02-27 Visa International Service Association Predictive anomaly detection framework
CN112055029A (zh) * 2020-09-16 2020-12-08 全球能源互联网研究院有限公司 零信任电力物联网设备和用户实时信任度评估方法
CN112260858A (zh) * 2020-09-30 2021-01-22 福建天泉教育科技有限公司 一种可自动化检测的告警方法及终端
CN112508316A (zh) * 2019-09-16 2021-03-16 中国科学院信息工程研究所 实时异常检测系统中的自适应异常判定方法和装置
CN114461948A (zh) * 2021-12-24 2022-05-10 天翼云科技有限公司 Web缓存设置优化方法及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006303556A (ja) * 2005-04-15 2006-11-02 Matsushita Electric Ind Co Ltd 無線通信装置および変調多値数決定方法
US20110261983A1 (en) * 2010-04-22 2011-10-27 Siemens Corporation Systems and methods for own voice recognition with adaptations for noise robustness
CN102243627A (zh) * 2010-05-10 2011-11-16 核工业西南物理研究院 基于虚拟时间值的信息记录排序方法
US20140119113A1 (en) * 2012-10-31 2014-05-01 Lsi Corporation Threshold Acquisition and Adaption in NAND Flash Memory
CN106982248A (zh) * 2017-03-01 2017-07-25 中国科学院深圳先进技术研究院 一种内容中心网络的缓存方法及装置
US20200065212A1 (en) * 2017-03-01 2020-02-27 Visa International Service Association Predictive anomaly detection framework
CN112508316A (zh) * 2019-09-16 2021-03-16 中国科学院信息工程研究所 实时异常检测系统中的自适应异常判定方法和装置
CN112055029A (zh) * 2020-09-16 2020-12-08 全球能源互联网研究院有限公司 零信任电力物联网设备和用户实时信任度评估方法
CN112260858A (zh) * 2020-09-30 2021-01-22 福建天泉教育科技有限公司 一种可自动化检测的告警方法及终端
CN114461948A (zh) * 2021-12-24 2022-05-10 天翼云科技有限公司 Web缓存设置优化方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汪森辉: "基于改进的AdaBoost.RS算法的烧结重点预报分析", 《中国冶金》 *

Also Published As

Publication number Publication date
CN113380008B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN111984503B (zh) 一种监控指标数据异常数据识别的方法及装置
CN107153593B (zh) 一种互联网业务监控阈值的确定方法及装置
CN107943809A (zh) 数据质量监控方法、装置及大数据计算平台
CN112527598B (zh) 监控数据的方法、装置、设备、存储介质和程序产品
CN105208040A (zh) 一种网络攻击检测方法及装置
CN107370766A (zh) 一种网络流量异常检测方法及系统
CN110874674A (zh) 一种异常检测方法、装置及设备
WO2021179633A1 (zh) 产品灰度发布方法、装置、设备及存储介质
WO2021185182A1 (zh) 一种异常检测的方法及装置
CN106202280A (zh) 一种信息处理方法及服务器
AU2020100249A4 (en) Method and device for predicting product price and computer medium
CN104750703A (zh) 一种提高数据准确性的方法和装置
JP2015097078A (ja) 因果分析で使用する特徴抽出方法と装置
CN111949498B (zh) 应用服务器异常预测方法及系统
WO2016131341A1 (zh) 一种查询数据的方法和装置
CN113673748A (zh) 火灾预测方法、XGBoost模型的训练方法及相关设备
CN113380008B (zh) 一种基于命中数和命中率的动态阈值调整方法
CN106649415B (zh) 客户端数据检查更新方法及装置
CN107026771B (zh) 阈值自适应的方法、装置、电子设备和可读介质
US11914956B1 (en) Unusual score generators for a neuro-linguistic behavioral recognition system
WO2024001253A1 (zh) 空调故障检测方法、装置、空调及电子设备
CN107679178A (zh) 一种降雨量展示方法及系统
CN107402970B (zh) 信息生成方法及装置
CN114844696A (zh) 一种基于风险池最小化的网络入侵动态监测方法、系统、设备和可读存储介质
CN114024831A (zh) 一种异常事件预警方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant