CN112994960A - 业务数据异常检测方法、装置及计算设备 - Google Patents

业务数据异常检测方法、装置及计算设备 Download PDF

Info

Publication number
CN112994960A
CN112994960A CN201911215297.2A CN201911215297A CN112994960A CN 112994960 A CN112994960 A CN 112994960A CN 201911215297 A CN201911215297 A CN 201911215297A CN 112994960 A CN112994960 A CN 112994960A
Authority
CN
China
Prior art keywords
data
index data
preset
index
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911215297.2A
Other languages
English (en)
Other versions
CN112994960B (zh
Inventor
柳淑婷
刘存
骆似骏
潘宇
石益宇
刘乡瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Zhejiang Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Zhejiang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Zhejiang Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201911215297.2A priority Critical patent/CN112994960B/zh
Publication of CN112994960A publication Critical patent/CN112994960A/zh
Application granted granted Critical
Publication of CN112994960B publication Critical patent/CN112994960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例涉及通信技术领域，公开了一种业务数据异常检测方法、装置及计算设备，该方法包括：获取业务数据；从所述业务数据中提取指标数据；确定每一种所述指标数据的数据类别；根据所述数据类别对每一种所述指标数据采取相应的异常检测方法进行异常检测，得到每一种所述指标数据的检测结果。通过上述方式，本发明实施例实现了对业务数据的异常检测。

Description

业务数据异常检测方法、装置及计算设备
技术领域
本发明实施例涉及通信技术领域，具体涉及一种业务数据异常检测方法、装置及计算设备。
背景技术
随着运营商业务的发展和推广，各种类型的运营指标数据日益增多。面对日益严峻的市场环境，运营商的业务数据是业务推广、营销活动的重要参考依据，因此，对于运营商业务数据的准确性提出了更高的要求。
对于运营商业务数据中的异常数据检测是提高运营商业务数据准确性的一个重要方面。现有的对运营商业务数据进行异常检测的方法主要包括恒定阈值法和动态阈值法。恒定阈值法通过设置恒定的阈值对异常业务数据进行检测。动态阈值法将数据分段处理，对于每一段数据设置一个阈值。
恒定阈值法进行异常检测时的阈值是一个经验值，由于业务数据的指标量很多，因此，使用恒定阈值法的准确率较低。动态阈值法相较于恒定阈值法降低了无效告警，但是需要人工介入以确定数据分段周期，造成异常检测的成本较高。
发明内容
鉴于上述问题，本发明实施例提供了一种业务数据异常检测方法、装置及计算设备，克服了上述问题或者至少部分地解决了上述问题。
根据本发明实施例的一个方面，提供了一种业务数据异常检测方法，所述方法包括：
获取业务数据；
从所述业务数据中提取指标数据；
确定每一种所述指标数据的数据类别；
根据所述数据类别对每一种所述指标数据采取相应的异常检测方法进行异常检测，得到每一种所述指标数据的检测结果。
可选的，所述从所述业务数据中提取指标数据，包括：
根据所述业务数据构建基础模型；
根据所述基础模型构建业务模型；
从每一个所述业务模型中提取多个指标数据。
可选的，在得到每一种所述指标数据的检测结果之后，所述方法还包括：
如果同一个业务模型的多个指标数据的检测结果均为异常，则对所述业务模型进行告警。
所述确定每一种所述指标数据的数据类别，包括：
对每一种所述指标数据进行差分运算，得到每一种所述指标数据对应的差分数据；
如果所述差分数据的波动范围小于预设第一阈值，则确定所述指标数据为周期数据；否则，
计算所述指标数据在预设范围内的方差；
如果所述方差大于预设第二阈值，则确定所述指标数据为波动数据，否则，则确定所述指标数据为平稳类数据。
可选的，所述根据所述数据类别对每一种所述指标数据采取相应的异常检测方法进行异常检测，得到每一种所述指标数据的检测结果，包括：
如果所述指标数据为周期数据，则通过预先训练好的预测模型计算所述指标数据的预测值，所述预先训练好的预测模型是通过训练数据训练自回归滑动平均模型得到的，所述训练数据为历史所述指标数据；
如果所述预测值位于预设置信区间之外，则确定所述指标数据的检测结果为异常；
如果所述指标数据为波动数据，则计算预设时间段内所述指标数据的环比结果；
如果所述环比结果大于预设第三阈值，则确定所述指标数据的检测结果为异常；
如果所述指标数据为平稳类数据，则计算所述指标数据的预设统计量；
如果存在任意一个统计量大于相应的预设统计量，则确定所述指标数据的检测结果为异常。
可选的，所述如果所述指标数据为波动数据，则计算预设时间段内所述指标数据的环比结果，包括：
如果所述指标数据为波动数据，则根据公式
Figure BDA0002299330450000031
计算预设时间段内所述指标数据的环比结果，其中，Tt为预设时间段内所述指标数据的环比结果，w为预设时间段，t表示当前时刻，xt...xt-w+1表示当前时刻t确定的预设时间段w内的指标数据形成的序列，xt-w...xt-2w+1表示当前时刻t确定的预设时间段w的上一预设时间段w内的指标数据形成的序列。
可选的，所述方法还包括：
根据公式
Figure BDA0002299330450000032
计算告警发布补偿系数，其中，Ai表示第i个周期内检测结果为异常的总数，T表示一个周期内所有检测结果的总数，N表示预设告警检测时间段内所包含的周期个数；
如果所述告警发布补偿系数小于预设补偿系数，则不进行告警；否则，对检测结果为异常的指标数据进行告警。
根据本发明实施例的另一方面，提供了一种业务数据异常检测装置，其特征在于，所述装置包括：
获取模块，用于获取业务数据；
提取模块，用于从所述业务数据中提取指标数据；
确定模块，用于确定每一种所述指标数据的数据类别；
检测模块，用于根据所述数据类别对每一种所述指标数据采取相应的异常检测方法进行异常检测，得到每一种所述指标数据的检测结果。
根据本发明实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述的一种业务数据异常检测方法。
根据本发明实施例的还一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行上述的一种业务数据异常检测方法。
本发明实施例从获取的业务数据中提取指标数据，通过指标数据所属的数据类别对每一种指标数据采取相应的异常检测方法，得到每一种指标数据的检测结果，根据该检测结果确定异常的指标数据。通过本发明实施例，可以针对不同的指标数据采用不同的异常检测方法，提高了异常检测的正确率；此外，本发明实施例的异常检测方法不需要人工介入，从而降低了异常检测的成本。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种业务数据异常检测方法的流程图；
图2示出了本发明另一实施例提供的一种业务数据异常检测方法的流程图；
图3示出了本发明实施例提供的一种业务数据异常检测方法中数据类别的确定流程图；
图4示出了本发明实施例提供的一种业务数据异常检测方法中周期类数据异常检测流程图；
图5示出了本发明实施例提供的一种业务数据异常检测方法中波动数据异常检测流程图；
图6示出了本发明实施例提供的一种业务数据异常检测方法中平稳类数据异常检测流程图；
图7示出了本发明实施例提供的一种业务数据异常检测装置的功能框图；
图8示出了本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明第一实施例的一种业务数据异常检测方法的流程图。如图1所示，该方法包括以下步骤：
步骤110：获取业务数据。
其中，业务数据是与用户所签订的业务相关的数据，例如，话费相关的数据、流量相关的数据等。用户在进行业务时所产生的业务数据存储在预先设定的一个业务数据库中，通过访问该业务数据库获取业务数据。
步骤120：从业务数据中提取指标数据。
其中，指标数据是用于表示业务数据的特征数据。例如，业务数据为话费的消费数据，指标数据为话费的消费数据的中位数、平均数、最大值、最下值等指标。从每一种业务数据中提取的指标数据类型由本领域技术人员在实施本发明实施例时人为设定，本发明实施例并不以此为限。
步骤130：确定每一种指标数据的数据类别。
其中，数据类别是根据指标数据的特点预先设定的分类。例如，对于指标在一段时间之内指标数据仅在小范围内波动的数据，设定为平稳类数据；对于指标数据周期性发生变化的数据确定为周期性数据。根据指标数据的变化情况预先设定指标数据的类别。
步骤140：根据该数据类别对每一种指标数据采取相应的异常检测方法进行异常检测，得到每一种指标数据的检测结果。
对于每一种类别的指标数据对应的异常检测方法不同。例如，对于平稳类数据，在进行异常检测时，可以通过一个恒定的阈值进行检测。每一种数据类别的异常检测可以根据指标数据的特点设定相应的异常检测方法，本发明实施例并不限定每一种指标数据的具体检测方法。
本发明实施例从获取的业务数据中提取指标数据，通过指标数据所属的数据类别对每一种指标数据采取相应的异常检测方法，得到每一种指标数据的检测结果，根据该检测结果确定异常的指标数据。通过本发明实施例，可以针对不同的指标数据采用不同的异常检测方法，提高了异常检测的正确率；此外，本发明实施例的异常检测方法不需要人工介入，从而降低了异常检测的成本。
图2示出了本发明另一实施例的一种业务数据异常检测方法的流程图，如图2所示，该方法包括以下步骤：
步骤210：获取业务数据。
步骤220：根据业务数据构建基础模型。
其中，基础模型是基于用户的模型。在基础模型中记载了每一用户的相关业务。例如，签约某一通信运营商的用户总数为六千万，则基础模型有6000万个。其中，某一用户的业务包括了话费业务和流量业务，则该用户所对应的基础模型中包括了该用户身份、话费业务相关数据和流量数据相关数据的清单。
步骤230：根据基础模型构建业务模型。
其中，从所有的基础模型中根据业务类型构建业务模型。例如，根据签约某一通信运营商的用户共构建了6000万个基础模型，其中，3000万个基础模型中都包含了流量业务，则将3000万个基础模型中与流程业务相关的数据提取出来，构成流量相关的业务模型。
步骤240：从每一个业务模型中提取多个指标数据。
其中，一个业务模型中包含的业务数据的数据量很大。每一种业务数据所对应的指标数据不同，根据业务模型所对应的业务数据类型提取相应的指标数据。例如，流量业务相关指标数据包括周期内使用流量超过某一预设值的用户总数、签订某一流量套餐的用户总数等。
步骤250：确定每一种指标数据的数据类别。
步骤260：根据数据类别对每一种指标数据采取相应的异常检测方法进行异常检测，得到每一种指标数据的检测结果。
步骤250和步骤260的具体说明请参阅上一实施例中的步骤130和步骤140，在此不再赘述。
本发明实施例通过业务数据构建基础模型，根据基础模型构建业务模型，从业务模型中提取多个指标数据，基础模型包含了每一个用户的业务清单，通过本发明实施例的方法，使所提取的指标数据的业务相关性更强。
在一些实施例中，如果同一个业务模型的多个指标数据的检测结果均为异常，则说明该业务模型异常，对该业务模型进行告警，提高了运维效率。
在一些实施例中，确定每一种指标数据的数据类别进一步包括如图3所示的如下步骤：
步骤310：对每一种指标数据进行差分运算，得到每一种指标数据对应的差分数据。
其中，对于每一种指标数据，按照周期进行差分运算。该周期可以是一天、两天、一月等任意时间单位，本发明实施例并不以此为限。用T表示该周期的指标数据，将T周期的指标数据与T-1周期相应的指标数据进行差分运算，得到该指标数据对应的差分数据。
步骤320：判断该差分数据的波动范围是否小于预设第一阈值，若是，则执行步骤330，否则，执行步骤340。
其中，预设第一阈值用于区分差分数据的波动范围。如果该差分数据的波动范围小于预设第一阈值，说明该差分数据的波动范围小，该差分数据为平稳型数据。由于差分数据是相邻的两个周期的差值，差分数据平稳说明该差分数据对应的指标数据为周期变化的数据。
步骤330：确定该指标数据为周期数据。
如果差分数据的波动范围小于预设第一阈值，则该指标数据为周期数据。
步骤340：计算该指标数据在预设范围内的方差。
其中，预设范围是一个人为设定的时间窗口，该时间窗口在进行差分运算时的周期所限定的时间窗口之内，多个该时间窗口构成一个周期。对于时间窗口的划分，每一个周期划分得到的时间窗口的个数均相同。在计算预设范围内的方差时，将相邻两个周期内相应的时间窗口内的指标数据计算方差，得到每一个时间窗口对应的方差。
步骤350：判断该方差是否大于预设第二阈值，若是，执行步骤360，否则，执行步骤370。
其中，预设第二阈值用于区分步骤340中时间窗口内方差的波动范围。对于每一个时间窗口内的方差均与预设第二阈值进行比较。如果某一时间窗口内的方差大于预设第二阈值，则说明该时间窗口内的方差波动较大，将该指标数据确定为波动数据；否则，将该指标数据确定为平稳类数据。
步骤360：确定该指标数据为波动数据。
其中，如果步骤350中的方差大于预设第二阈值，该指标数据为波动数据。
步骤370：确定该指标数据为平稳类数据。
其中，如果步骤350中的方差小于或等于预设第二阈值，该指标数据为平稳类数据。
本发明实施例通过计算相邻两个周期的方差确定指标数据是否为周期数据，通过预设范文内指标数据的方差将非周期数据进一步划分为波动数据和平稳类数据；通过本发明实施例，将指标数据划分为周期类数据、波动数据和平稳类数据三种数据类型，便于后续针对这三种数据类型采取相应的异常检测方法。
在一些实施例中，对于周期类数据，通过如图4所示的方法对指标数据进行异常检测。该方法包括如图4所示的如下步骤：
步骤410：通过预先训练好的预测模型计算指标数据的预测值。
其中，预先训练好的预测模型是通过训练数据训练自回归滑动平均模型(auto-regressive moving average model，ARMA模型)得到的，训练数据为历史周期性指标数据。在建立ARMA模型之前，首先对该指标数据进行平稳化预处理。通过一阶差分或高阶差分将指标数据转换为平稳序列，即将指标数据与前一周期中相应的指标数据进行差分运算，得到平稳序列。ARMA模型是一种时间序列分析模型，在本发明实施例中，平稳序列是一个线行值，该模型的表达式为：Yt＝c+φ1Yt-1+...φpYt-p+εt+θ1εt-1+...+θqεt-q，其中，Yt表示平稳序列中t时刻对应的值，Yt-p表示平稳序列中与t时刻相隔p个值在平稳序列中对应的值，φ1...φp表示自相关系数，c表示偏置常数；εt...εt-q为白噪声序列，θ1...θq为移动平均系数。根据训练数据，代入上述模型中进行训练，选择信息定阶准则(akaika informationcriterion，AIC)和贝叶斯信息准则(bayesian information criterion，BIC)确定p和q的理想阶数。其中，AIC的计算公式为
Figure BDA0002299330450000091
其中，S表示ARMA模型中未知参数的总数，N表示训练数据的总数，σ2表示平稳序列的方差。在p和q发生变化时，得到使AIC最小的p和q，从而得到ARMA的最大似然估计。BIC的计算公式为BIC(S)＝lnN×S-2lnL，其中，L表示ARMA模型的最大似然估计，使BIC最小的最大似然估计所对应的p和q的值为最终p和q对应的理想阶数。将p和q的理想阶数固化，得到训练好的ARMA模型。
步骤420：如果该预测值是否位于预设置信区间之外，确定该指标数据的检测结果为异常。
根据步骤410中训练好的ARMA模型对指标数据进行预测，得到该指标数据的预测值。如果该预测值位于预设的置信区间之外，则该指标数据异常。其中，预设的置信区间是预先设定的一个预测值的范围，该范围是一个经验范围，本发明实施例并不限定置信区间的具体数值范围。
通过本发明实施例可以实现对周期性数据的异常检测。
在一些实施例中，如果指标数据为波动数据，则通过图5所示的方法对该指标数据进行异常检测，该方法包括如图5所示的如下步骤：
步骤510：计算预设时间段内该指标数据的环比结果。
其中，环比表示连续两个统计周期内指标数据的变化比。用w表示预设时间段所限定的时间窗口，则预设时间段内指标数据的环比结果可以表示为：
Figure BDA0002299330450000101
其中，Tt为预设时间段内所述指标数据的环比结果，t为当前检测时刻，xt...xt-w+1表示当前时刻t确定的预设时间段w内的指标数据形成的序列，xt-w...xt-2w+1表示当前时刻t确定的预设时间段w的上一预设时间段w内的指标数据形成的序列，上述两个序列为相邻的两个预设时间段内的序列。
步骤520：如果该环比结果大于预设第三阈值，则确定该指标数据的检测结果为异常。
其中，预设第三阈值是一个预设的经验值。当步骤510中计算得到的环比结果大于预设第三阈值时，该指标数据的检测结果为异常；否则，该指标数据为正常指标数据。
通过本发明实施例，实现了对于波动数据的异常检测。
在一些实施例中，如果指标数据为平稳类数据，则通过图6所示的方法对该指标数据进行异常检测，该方法包括如图6所示的如下步骤：
步骤610：计算指标数据的预设统计量。
其中，预设统计量是指标数据的至少一个统计量，例如，指标数据均值、指标数据最大值等。预设统计量的种类越多，检测结果越准确。本发明实施例并不限定预设统计量的种类。
步骤620：如果存在任意一个统计量大于相应的预设统计量，则确定该指标数据的检测结果为异常。
其中，对于每一种类的统计量，分别设定相应的预设统计量。预设统计量用于区分指标数据为正常或异常。例如，其中一种统计量为指标数据均值，其计算值为A，该统计量相对应的预设统计量为B，则当A大于B时，该指标数据检测结果为异常。
应理解，当指标数据的统计量包含多种不同的统计量时，如果其中一个统计量大于相应的预设统计量，则该指标数据的检测结果为异常。
通过本发明实施例，实现了对于平稳类数据的异常检测。
在一些实施例中，根据公式
Figure BDA0002299330450000111
计算告警发布补偿系数，其中，Ai表示第i个周期内检测结果为异常的总数，T表示一个周期内所有检测结果的总数，N表示预设告警检测时间段内所包含的周期个数。如果上述告警发布补偿系数小于预设补偿系数，则不进行告警，否则，对检测结果为异常的指标数据进行告警。通过上述方式，降低了告警发布概率，从而降低了维护成本。
图7示出了本发明实施例的一种业务数据异常检测装置的功能框图，如图7所示，该装置包括：获取模块710、提取模块720、确定模块730和检测模块740。获取模块710，用于获取业务数据。提取模块720，用于从所述业务数据中提取指标数据。确定模块730，用于确定每一种所述指标数据的数据类别。检测模块740，用于根据所述数据类别对每一种所述指标数据采取相应的异常检测方法进行异常检测，得到每一种所述指标数据的检测结果。
在一种可选的方式中，提取模块720进一步用于：
根据所述业务数据构建基础模型；
根据所述基础模型构建业务模型；
从每一个所述业务模型中提取多个指标数据。
在一种可选的方式中，上述装置还包括第一告警模块750，用于当同一个业务模型的多个指标数据的检测结果均为异常，则对所述业务模型进行告警。
在一种可选的方式中，确定模块730进一步用于：
对每一种所述指标数据进行差分运算，得到每一种所述指标数据对应的差分数据；
如果所述差分数据的波动范围小于预设第一阈值，则确定所述指标数据为周期数据；否则，
计算所述指标数据在预设范围内的方差；
如果所述方差大于预设第二阈值，则确定所述指标数据为波动数据，否则，则确定所述指标数据为平稳类数据。
在一种可选的方式中，检测模块740进一步用于：
当所述指标数据为周期数据时，通过预先训练好的预测模型计算所述指标数据的预测值，所述预先训练好的预测模型是通过训练数据训练自回归滑动平均模型得到的，所述训练数据为历史所述指标数据；
如果所述预测值位于预设置信区间之外，则确定所述指标数据的检测结果为异常；
如果所述指标数据为波动数据，则计算预设时间段内所述指标数据的环比结果；
如果所述环比结果大于预设第三阈值，则确定所述指标数据的检测结果为异常；
如果所述指标数据为平稳类数据，则计算所述指标数据的预设统计量；
如果存在任意一个统计量大于相应的预设统计量，则确定所述指标数据的检测结果为异常。
在一种可选的方式中，检测模块740进一步用于：
如果所述指标数据为波动数据，则根据公式计算预设时间段内所述指标数据的环比结果，其中，Tt为预设时间段内所述指标数据的环比结果，w为预设时间段，t表示当前时刻，xt...xt-w+1表示当前时刻t确定的预设时间段w内的指标数据形成的序列，xt-w...xt-2w+1表示当前时刻t确定的预设时间段w的上一预设时间段w内的指标数据形成的序列。
在一种可选的方式中，上述装置还包括计算模块760和第二告警模块770，计算模块760用于根据公式计算告警发布补偿系数，其中，Ai表示第i个周期内检测结果为异常的总数，T表示一个周期内所有检测结果的总数，N表示预设告警检测时间段内所包含的周期个数。第二告警模块770用于当所述告警发布补偿系数小于预设补偿系数时，则不进行告警；否则，对检测结果为异常的指标数据进行告警。
本发明实施例从获取的业务数据中提取指标数据，通过指标数据所属的数据类别对每一种指标数据采取相应的异常检测方法，得到每一种指标数据的检测结果，根据该检测结果确定异常的指标数据。通过本发明实施例，可以针对不同的指标数据采用不同的异常检测方法，提高了异常检测的正确率；此外，本发明实施例的异常检测方法不需要人工介入，从而降低了异常检测的成本。
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的一种业务数据异常检测方法。
图8示出了本发明实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图8所示，该计算设备可以包括：处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。
其中：处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。通信接口804，用于与其它设备比如业务处理端或其它服务器等通信。处理器802，用于执行程序810，具体可以执行上述用于一种业务数据异常检测方法实施例中的相关步骤。
具体地，程序810可以包括程序代码，该程序代码包括计算机操作指令。
处理器802可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器806，用于存放程序810。存储器806可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序810具体可以用于使得处理器802执行如图1所示的步骤110～步骤140，图2所示的步骤210～步骤260，图3所示的步骤310～步骤370，图4所示的步骤410～步骤420，图5所示的步骤510～步骤520，图6所示的步骤610～步骤620，以及实现图7中模块710～模块770的功能。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种业务数据异常检测方法，其特征在于，所述方法包括：
获取业务数据；
从所述业务数据中提取指标数据；
确定每一种所述指标数据的数据类别；
根据所述数据类别对每一种所述指标数据采取相应的异常检测方法进行异常检测，得到每一种所述指标数据的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述从所述业务数据中提取指标数据，包括：
根据所述业务数据构建基础模型；
根据所述基础模型构建业务模型；
从每一个所述业务模型中提取多个指标数据。
3.根据权利要求2所述的方法，其特征在于，在得到每一种所述指标数据的检测结果之后，所述方法还包括：
如果同一个业务模型的多个指标数据的检测结果均为异常，则对所述业务模型进行告警。
4.根据权利要求1所述的方法，其特征在于，所述确定每一种所述指标数据的数据类别，包括：
对每一种所述指标数据进行差分运算，得到每一种所述指标数据对应的差分数据；
如果所述差分数据的波动范围小于预设第一阈值，则确定所述指标数据为周期数据；否则，
计算所述指标数据在预设范围内的方差；
如果所述方差大于预设第二阈值，则确定所述指标数据为波动数据，否则，则确定所述指标数据为平稳类数据。
5.根据权利要求4所述的方法，其特征在于，所述根据所述数据类别对每一种所述指标数据采取相应的异常检测方法进行异常检测，得到每一种所述指标数据的检测结果，包括：
如果所述指标数据为周期数据，则通过预先训练好的预测模型计算所述指标数据的预测值，所述预先训练好的预测模型是通过训练数据训练自回归滑动平均模型得到的，所述训练数据为历史所述指标数据；
如果所述预测值位于预设置信区间之外，则确定所述指标数据的检测结果为异常；
如果所述指标数据为波动数据，则计算预设时间段内所述指标数据的环比结果；
如果所述环比结果大于预设第三阈值，则确定所述指标数据的检测结果为异常；
如果所述指标数据为平稳类数据，则计算所述指标数据的预设统计量；
如果存在任意一个统计量大于相应的预设统计量，则确定所述指标数据的检测结果为异常。
6.根据权利要求5所述的方法，其特征在于，所述如果所述指标数据为波动数据，则计算预设时间段内所述指标数据的环比结果，包括：
如果所述指标数据为波动数据，则根据公式
Figure FDA0002299330440000021
计算预设时间段内所述指标数据的环比结果，其中，Tt为预设时间段内所述指标数据的环比结果，w为预设时间段，t表示当前时刻，xt...xt-w+1表示当前时刻t确定的预设时间段w内的指标数据形成的序列，xt-w...xt-2w+1表示当前时刻t确定的预设时间段w的上一预设时间段w内的指标数据形成的序列。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据公式
Figure FDA0002299330440000022
计算告警发布补偿系数，其中，Ai表示第i个周期内检测结果为异常的总数，T表示一个周期内所有检测结果的总数，N表示预设告警检测时间段内所包含的周期个数；
如果所述告警发布补偿系数小于预设补偿系数，则不进行告警；否则，对检测结果为异常的指标数据进行告警。
8.一种业务数据异常检测装置，其特征在于，所述装置包括：
获取模块，用于获取业务数据；
提取模块，用于从所述业务数据中提取指标数据；
确定模块，用于确定每一种所述指标数据的数据类别；
检测模块，用于根据所述数据类别对每一种所述指标数据采取相应的异常检测方法进行异常检测，得到每一种所述指标数据的检测结果。
9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7任一项所述的一种业务数据异常检测方法。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7任一项所述的一种业务数据异常检测方法。
CN201911215297.2A 2019-12-02 2019-12-02 业务数据异常检测方法、装置及计算设备 Active CN112994960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911215297.2A CN112994960B (zh) 2019-12-02 2019-12-02 业务数据异常检测方法、装置及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911215297.2A CN112994960B (zh) 2019-12-02 2019-12-02 业务数据异常检测方法、装置及计算设备

Publications (2)

Publication Number Publication Date
CN112994960A true CN112994960A (zh) 2021-06-18
CN112994960B CN112994960B (zh) 2022-09-16

Family

ID=76331313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911215297.2A Active CN112994960B (zh) 2019-12-02 2019-12-02 业务数据异常检测方法、装置及计算设备

Country Status (1)

Country Link
CN (1) CN112994960B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409025A (zh) * 2021-07-06 2021-09-17 中国工商银行股份有限公司 一种业务数据提取方法、装置及存储介质
CN115062274A (zh) * 2022-08-17 2022-09-16 深圳市一航网络信息技术有限公司 一种关联区块链网络的数据监控处理方法及装置
WO2023016380A1 (zh) * 2021-08-11 2023-02-16 中兴通讯股份有限公司 小区网络异常检测方法、装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102664961A (zh) * 2012-05-04 2012-09-12 北京邮电大学 MapReduce环境下的异常检测方法
US20180219889A1 (en) * 2017-01-31 2018-08-02 Splunk Inc. Anomaly detection based on relationships between multiple time series
CN109614299A (zh) * 2018-09-25 2019-04-12 阿里巴巴集团控股有限公司 一种系统异常检测方法、装置及电子设备
CN110210512A (zh) * 2019-04-19 2019-09-06 北京亿阳信通科技有限公司 一种自动化日志异常检测方法及系统
CN110275814A (zh) * 2019-06-28 2019-09-24 深圳前海微众银行股份有限公司 一种业务系统的监控方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102664961A (zh) * 2012-05-04 2012-09-12 北京邮电大学 MapReduce环境下的异常检测方法
US20180219889A1 (en) * 2017-01-31 2018-08-02 Splunk Inc. Anomaly detection based on relationships between multiple time series
CN109614299A (zh) * 2018-09-25 2019-04-12 阿里巴巴集团控股有限公司 一种系统异常检测方法、装置及电子设备
CN110210512A (zh) * 2019-04-19 2019-09-06 北京亿阳信通科技有限公司 一种自动化日志异常检测方法及系统
CN110275814A (zh) * 2019-06-28 2019-09-24 深圳前海微众银行股份有限公司 一种业务系统的监控方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丁洁等: "一种大数据异常检测系统的研究与实现", 《海南大学学报(自然科学版)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409025A (zh) * 2021-07-06 2021-09-17 中国工商银行股份有限公司 一种业务数据提取方法、装置及存储介质
CN113409025B (zh) * 2021-07-06 2024-03-26 中国工商银行股份有限公司 一种业务数据提取方法、装置及存储介质
WO2023016380A1 (zh) * 2021-08-11 2023-02-16 中兴通讯股份有限公司 小区网络异常检测方法、装置及计算机可读存储介质
CN115062274A (zh) * 2022-08-17 2022-09-16 深圳市一航网络信息技术有限公司 一种关联区块链网络的数据监控处理方法及装置
CN115062274B (zh) * 2022-08-17 2022-11-22 深圳市一航网络信息技术有限公司 一种关联区块链网络的数据监控处理方法及装置

Also Published As

Publication number Publication date
CN112994960B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
JP7127120B2 (ja) ビデオ分類の方法、情報処理の方法及びサーバー、並びにコンピュータ可読記憶媒体及びコンピュータプログラム
WO2021184727A1 (zh) 数据异常检测方法、装置、电子设备及存储介质
CN112994960B (zh) 业务数据异常检测方法、装置及计算设备
CN112258093A (zh) 风险等级的数据处理方法及装置、存储介质、电子设备
CN109740573B (zh) 视频分析方法、装置、设备及服务器
EP2895965A1 (en) Time series-based entity behavior classification
CN111814910B (zh) 异常检测方法、装置、电子设备及存储介质
CN106611023B (zh) 网站访问异常的检测方法及装置
CN112613938B (zh) 模型训练方法、装置及计算机设备
CN111160959B (zh) 一种用户点击转化预估方法及装置
CN107392259B (zh) 构建不均衡样本分类模型的方法和装置
CN112765003B (zh) 一种基于app行为日志的风险预测方法
CN111064719B (zh) 文件异常下载行为的检测方法及装置
CN115034315A (zh) 基于人工智能的业务处理方法、装置、计算机设备及介质
CN114090601B (zh) 一种数据筛选方法、装置、设备以及存储介质
CN113051911B (zh) 提取敏感词的方法、装置、设备、介质及程序产品
CN113626717A (zh) 一种舆情监测的方法、装置、电子设备和存储介质
CN113282920A (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN113379469A (zh) 一种异常流量检测方法、装置、设备及存储介质
CN110796379B (zh) 业务渠道的风险评估方法、装置、设备及存储介质
CN110198299B (zh) 一种入侵检测方法和装置
CN111210070A (zh) 一种数据分析方法、装置、电子设备及可读取存储介质
CN116843395A (zh) 一种业务系统的告警分级方法、装置、设备及存储介质
CN112948223A (zh) 一种监测运行情况的方法和装置
CN115278757A (zh) 一种检测异常数据的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant