CN111815449A - 一种基于流计算的多主机行情系统的异常检测方法及系统 - Google Patents
一种基于流计算的多主机行情系统的异常检测方法及系统 Download PDFInfo
- Publication number
- CN111815449A CN111815449A CN202010667564.6A CN202010667564A CN111815449A CN 111815449 A CN111815449 A CN 111815449A CN 202010667564 A CN202010667564 A CN 202010667564A CN 111815449 A CN111815449 A CN 111815449A
- Authority
- CN
- China
- Prior art keywords
- host
- baseline
- flow
- data
- service data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000004364 calculation method Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 230000002159 abnormal effect Effects 0.000 claims description 28
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000013524 data verification Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 2
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Debugging And Monitoring (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及证券行情系统的异常检测技术领域，具体来说是一种基于流计算的多主机行情系统的异常检测方法及系统，通过采集服务器从各个主机中采集业务数据指标存入采集队列；通过计算服务器从采集队列中处理业务数据指标，并在流计算中过滤出待检测的业务数据指标，再进行业务数据指标的格式转换，并从总的数据流中获取两条数据流。本发明同现有技术相比，其优点在于：相比较单主机判断自身异常的方法，多主机异常检测方法提高了主机异常检测的准确率、缩减了主机异常检测的时间；并且采用队列作为内部模块通信的方式，降低了模块之间的耦合度，保证系统的高可用和扩展性；以多进程的方式处理主机异常检测，有助于提高异常检测的并行处理能力。
Description
技术领域
本发明涉及证券行情系统的异常检测技术领域，具体来说是一种基于流计算的多主机行情系统的异常检测方法及系统。
背景技术
上证所Level-2行情是上海证券交易所推出的实时行情产品，主要提供在上海证券交易所上市交易的证券产品的实时行情数据。为了保证市场参与者实时获取丰富、准确的Level-2行情，上证信息致力于打造高可用、低延时的Level2行情系统。
面对复杂的网络环境和外部不可控因素，单中心单主机的行情系统无法满足全年99.99％的运行目标，因此，Level-2行情系统采用双中心、多主机的方式进行设计和运行。单中心内两台主机互为主备，下游系统双路接入各中心的主用主机，如果单中心的主用主机异常，则切换到备用主机。这样的设计在提高高可用、降低依赖性方面，有了很好的提升，但是由于4台主机是单独运行、互不影响，及时发现单台或多台主机异常的难度也大大增加。主要难点在于，单主机的异常检测通常是将业务数据时间与服务器时间进行比较，偏差超过阈值则视为异常。但是业务数据是在多台服务器之间流转，从上游到下游，服务器时间很难保证一致性(即使有时钟同步，精确度难以满足)，再加上阈值难以设置，导致出现异常的漏报或者误报。
因此，在提供高可用和低延时的前提下，为保证快速、及时发现行情系统的异常，需要设计一种基于流计算的多主机行情系统的异常检测方法及系统。
发明内容
本发明的目的在于解决现有技术的不足，提供一种基于流计算的多主机行情系统的异常检测方法，以检测多主机情况下的延迟、中断等异常问题。
为了实现上述目的，设计一种基于流计算的多主机行情系统的异常检测方法，所述的方法通过采集服务器从各个主机中采集业务数据指标存入采集队列；通过计算服务器从采集队列中处理业务数据指标，并在流计算中过滤出待检测的业务数据指标，再进行业务数据指标的格式转换，并从总的数据流中获取两条数据流：基线流和检测流，所述的基线流用于计算异常基线，所述的检测流用于指标数据的实时检测。
对于所述的基线流，通过一个大小为N秒的时间窗口，对各个主机的业务数据指标进行聚合计算，并将计算值存入基线队列中。
在一个大小为N秒的窗口内，对各个主机的业务数据指标进行检测，若连续m个周期接收不到业务数据指标，则视为无数据异常；若实时值比基线值小，则视为有数据异常。
若有数据异常时，生成一条告警信息并发送给监控器；若无数据异常，则进入下一个窗口进行检测。
所述的方法包括如下步骤：
S101.获取各个主机的业务数据指标；S102.基于关键字进行过滤，筛选出待检测的业务数据指标；S103.根据待检测的业务数据指标的类型，将指标格式进行转换；S104.在基线流中进行基线计算并在检测流中进行异常检测。
所述的S103具体包括将窗口指标的时间格式转成YYYY-MM-dd HH:mm:ss，将作为计算指标的时间格式转成时间戳，将字符串转成长整型。
所述的S104具体包括如下步骤：初始化各个主机的数据流列表，并从一个周期中所收到的第一条消息开始，进行基线流的数据的获取；根据业务数据指标中的_dateTime字段，进行窗口的划分，并在一个窗口中，对各个主机的指标状态值进行聚合计算，将计算的最大值作为value，_dateTime+2N作为key，保存在基线值列表中。
所述的基线流的基线值列表采用将异常信息发送到统一监控系统中。
所述的S104具体包括如下步骤：在一个窗口内，按主机进行数据校验，收到消息的主机的指标状态值重置为N，未收到消息的主机的指标状态值减1；在一个窗口内，在基线值列表中找到当前窗口所对应的基线值，并将各个主机的指标状态值与基线值进行比较，若小于基线值，则该主机的指标状态值变为0；若大于或者等于基线值，则该主机的指标状态值保持不变；若主机状态值为0，则判定为异常，将异常信息发送到监控器中；若主机状态值不为0，则判定为无数据异常。
本发明还涉及一种用于所述的基于流计算的多主机行情系统的异常检测方法的系统，包括用于从各个主机中采集业务数据指标存入采集队列的采集服务器；用于从采集队列中处理业务数据指标，并在流计算中过滤出待检测的业务数据指标，再进行业务数据指标的格式转换，并从总的数据流中获取两条数据流的通过计算服务器，所述的两条数据流包括基线流和检测流，所述的基线流用于计算异常基线，所述的检测流用于指标数据的实时检测。
本发明同现有技术相比，其优点在于：相比较单主机判断自身异常的方法，多主机异常检测方法提高了主机异常检测的准确率、缩减了主机异常检测的时间；并且采用队列作为内部模块通信的方式，降低了模块之间的耦合度，保证系统的高可用和扩展性；以多进程的方式处理主机异常检测，有助于提高异常检测的并行处理能力。
附图说明
图1是本发明实施例1中多主机行情系统异常检测方法的流程示意图。
图2是本发明实施例1中的异常情况1(无数据)的检测状态图。
图3是本发明实施例1中的异常情况2(有数据)的检测状态图。
具体实施方式
下面结合附图对本发明作进一步说明，这种装置及方法的结构和原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施方式提供了一种基于流计算的多主机行情系统的异常检测方法及系统，能够解决现有技术中多主机状况下的延迟、中断等异常情况的发现问题。
该方法部署于统一监控系统中，该系统由若干台用于采集、计算、存储的服务器组成，包括：用于从各个主机中采集业务数据指标存入采集队列的采集服务器；用于从采集队列中处理业务数据指标，并在流计算中过滤出待检测的业务数据指标，再进行业务数据指标的格式转换，并从总的数据流中获取两条数据流的通过计算服务器；以及用于存储各数据的存储服务器。
其中，采集服务器负责从各个主机中采集业务数据指标存入采集队列，计算服务器从采集队列中处理业务数据指标，并在流计算中先过滤出所需要的关键的指标，再进行指标的格式转换。计算服务器从数据流中拷贝出两条数据流，一条是基线流，负责计算异常基线，一条是检测流，负责指标数据的实时检测。
在所述的基线流中，通过一个大小为N秒(默认1s)的时间窗口，对多主机的指标进行聚合计算，计算值存入基线队列中。每个周期的聚合计算过程中所得数据主要有两个用途，一是求得最大值作为基线值用于后续比较，二是与当前基线值比较，这个当前基线值是前述计算的最大值。
而在所述的检测流中的检测，主要分为无数据的异常检测和有数据(数据无更新或者慢更新)的异常检测。在一个窗口内，对若干路主机的业务数据指标进行检测，若连续m个(默认2)周期接收不到指标，则视为无数据异常。若实时值比基线值小，则视为有数据(无更新或者慢更新)异常。两种异常均能产生一条告警发送给统一监控。若无两种异常，则进入下一个窗口进行检测，以此类推。
实施例1
本实施例提供了一种基于流的多主机行情系统异常检测方法的实施例，本方法用于解决多主机行情系统的指标异常检测的问题，确保及时发现行情系统中的异常。
所有的行情系统主机从不同的数据源接收公有行情数据、私有行情数据，各自处理接收到的数据并且下发到下游系统。正常运行期间，因此各主机接收到的数据无法完全一致，以接收到的数据中公有时间为例，无法保证同一时间点各主机收到的公有时间一致，无法简单通过时间确认哪台主机是正常或者异常。
在以下实施方式中，在Level-2生产环境中进行，在统一监控中部署。图1示出了该系统的流程示意图，该方法包括如下步骤：
S101：获取多主机的秒级业务数据指标。
S102：基于关键字进行过滤，筛选出待检测的业务指标。
S103：根据待检测业务指标的类型，为了后续进行窗口切分和指标计算，将指标格式进行转换，如作为窗口指标的时间格式转成YYYY-MM-dd HH:mm:ss、作为计算指标的时间格式转成时间戳(长整型)、字符串转成长整型等。
S104：在基线流中进行基线计算并在检测流中进行异常检测。具体步骤如下：
(1)初始化：窗口大小和滑动步长初始化为N秒(默认为1)，初始化各主机的数据状态列表，参考图2和图3。
(2)从当天收到第一条消息开始，作为当天流处理的开始，初始化基线值列表。为提高查询效率，所述的基线值列表采用HashMap结构。
(3)证券的数据消息中具有表示时间的_dateTime字段，因此，可以根据消息中_dateTime字段，进行窗口的划分。
(4)在一个窗口中，对各个主机的set0_publicTime指标进行聚合计算(求最大值)。
(5)将计算的最大值，_dateTime+2N作为key，最大值作为value，保存在基线值列表中。
(6)参考图2所示，异常情况1检测，即检测是否无更新，在一个窗口内，按主机进行数据校验，收到消息的主机状态重置为N，未收到消息的主机状态减1。
(7)参考图3所示，异常情况2检测，即检查是否慢更新，在一个窗口内，去基线值列表中找到当前窗口对应的基线值，各主机的set0_publicTime与基线值进行比较，若小于基线值，则主机状态变为0；若大于或者等于基线值，则主机状态保持不变。
(8)若主机状态值为0，则判定是一个异常，跳转到步骤(9)；若主机状态值不为0，则正常结束，跳转到步骤(10)。
(9)将异常信息发送到统一监控系统中。
(10)结束。
Claims (10)
1.一种基于流计算的多主机行情系统的异常检测方法，其特征在于所述的方法通过采集服务器从各个主机中采集业务数据指标存入采集队列；
通过计算服务器从采集队列中处理业务数据指标，并在流计算中过滤出待检测的业务数据指标，再进行业务数据指标的格式转换，并从总的数据流中获取两条数据流：基线流和检测流，所述的基线流用于计算异常基线，所述的检测流用于指标数据的实时检测。
2.如权利要求1所述的基于流计算的多主机行情系统的异常检测方法，其特征在于对于所述的基线流，通过一个大小为N秒的时间窗口，对各个主机的业务数据指标进行聚合计算，并将计算值存入基线队列中。
3.如权利要求1所述的基于流计算的多主机行情系统的异常检测方法，其特征在于在一个大小为N秒的窗口内，对各个主机的业务数据指标进行检测，若连续m个周期接收不到业务数据指标，则视为无数据异常；若实时值比基线值小，则视为有数据异常。
4.如权利要求3所述的基于流计算的多主机行情系统的异常检测方法，其特征在于若有数据异常时，生成一条告警信息并发送给监控器；若无数据异常，则进入下一个窗口进行检测。
5.如权利要求1所述的基于流计算的多主机行情系统的异常检测方法，其特征在于所述的方法包括如下步骤：
S101.获取各个主机的业务数据指标；
S102.基于关键字进行过滤，筛选出待检测的业务数据指标；
S103.根据待检测的业务数据指标的类型，将指标格式进行转换；
S104.在基线流中进行基线计算并在检测流中进行异常检测。
6.如权利要求5所述的基于流计算的多主机行情系统的异常检测方法，其特征在于所述的S103具体包括将窗口指标的时间格式转成YYYY-MM-dd HH:mm:ss，将作为计算指标的时间格式转成时间戳，将字符串转成长整型。
7.如权利要求5所述的基于流计算的多主机行情系统的异常检测方法，其特征在于所述的S104具体包括如下步骤：
初始化各个主机的数据流列表，并从一个周期中所收到的第一条消息开始，进行基线流的数据的获取；
根据业务数据指标中的_dateTime字段，进行窗口的划分，并在一个窗口中，对各个主机的指标状态值进行聚合计算，将计算的最大值作为value，_dateTime+2N作为key，保存在基线值列表中。
8.如权利要求7所述的基于流计算的多主机行情系统的异常检测方法，其特征在于所述的基线流的基线值列表采用将异常信息发送到统一监控系统中。
9.如权利要求5所述的基于流计算的多主机行情系统的异常检测方法，其特征在于所述的S104具体包括如下步骤：
在一个窗口内，按主机进行数据校验，收到消息的主机的指标状态值重置为N，未收到消息的主机的指标状态值减1；
在一个窗口内，在基线值列表中找到当前窗口所对应的基线值，并将各个主机的指标状态值与基线值进行比较，若小于基线值，则该主机的指标状态值变为0；若大于或者等于基线值，则该主机的指标状态值保持不变；
若主机状态值为0，则判定为异常，将异常信息发送到监控器中；若主机状态值不为0，则判定为无数据异常。
10.一种用于如权利要求1所述的基于流计算的多主机行情系统的异常检测方法的系统，其特征在于包括
用于从各个主机中采集业务数据指标存入采集队列的采集服务器；
用于从采集队列中处理业务数据指标，并在流计算中过滤出待检测的业务数据指标，再进行业务数据指标的格式转换，并从总的数据流中获取两条数据流的通过计算服务器，所述的两条数据流包括基线流和检测流，所述的基线流用于计算异常基线，所述的检测流用于指标数据的实时检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010667564.6A CN111815449B (zh) | 2020-07-13 | 2020-07-13 | 一种基于流计算的多主机行情系统的异常检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010667564.6A CN111815449B (zh) | 2020-07-13 | 2020-07-13 | 一种基于流计算的多主机行情系统的异常检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111815449A true CN111815449A (zh) | 2020-10-23 |
| CN111815449B CN111815449B (zh) | 2023-12-19 |
Family
ID=72842303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010667564.6A Active CN111815449B (zh) | 2020-07-13 | 2020-07-13 | 一种基于流计算的多主机行情系统的异常检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815449B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113824954A (zh) * | 2021-11-23 | 2021-12-21 | 深圳市华曦达科技股份有限公司 | 一种ott视频质量监控方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992398A (zh) * | 2017-12-22 | 2018-05-04 | 宜人恒业科技发展（北京）有限公司 | 一种业务系统的监控方法和监控系统 |
| CN108537544A (zh) * | 2018-04-04 | 2018-09-14 | 中南大学 | 一种交易系统实时监控方法及其监控系统 |
| US10129118B1 (en) * | 2016-03-29 | 2018-11-13 | Amazon Technologies, Inc. | Real time anomaly detection for data streams |
| CN109800129A (zh) * | 2019-01-17 | 2019-05-24 | 青岛特锐德电气股份有限公司 | 一种处理监控大数据的实时流计算监控系统及方法 |
| CN110058977A (zh) * | 2019-01-14 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 基于流式处理的监控指标异常检测方法、装置及设备 |
| CN110347116A (zh) * | 2019-07-17 | 2019-10-18 | 重庆大学 | 一种基于运行数据流的机床状态监测系统与监测方法 |
| CN110569166A (zh) * | 2019-08-19 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 异常检测方法、装置、电子设备及介质 |
-
2020
- 2020-07-13 CN CN202010667564.6A patent/CN111815449B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10129118B1 (en) * | 2016-03-29 | 2018-11-13 | Amazon Technologies, Inc. | Real time anomaly detection for data streams |
| CN107992398A (zh) * | 2017-12-22 | 2018-05-04 | 宜人恒业科技发展（北京）有限公司 | 一种业务系统的监控方法和监控系统 |
| CN108537544A (zh) * | 2018-04-04 | 2018-09-14 | 中南大学 | 一种交易系统实时监控方法及其监控系统 |
| CN110058977A (zh) * | 2019-01-14 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 基于流式处理的监控指标异常检测方法、装置及设备 |
| CN109800129A (zh) * | 2019-01-17 | 2019-05-24 | 青岛特锐德电气股份有限公司 | 一种处理监控大数据的实时流计算监控系统及方法 |
| CN110347116A (zh) * | 2019-07-17 | 2019-10-18 | 重庆大学 | 一种基于运行数据流的机床状态监测系统与监测方法 |
| CN110569166A (zh) * | 2019-08-19 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 异常检测方法、装置、电子设备及介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113824954A (zh) * | 2021-11-23 | 2021-12-21 | 深圳市华曦达科技股份有限公司 | 一种ott视频质量监控方法、装置、设备及存储介质 |
| CN113824954B (zh) * | 2021-11-23 | 2022-02-08 | 深圳市华曦达科技股份有限公司 | 一种ott视频质量监控方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111815449B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110865929B (zh) | 异常检测预警方法及系统 | |
| CN110928718A (zh) | 一种基于关联分析的异常处理方法、系统、终端及介质 | |
| CN104954184A (zh) | 云端后台服务器集群的监控、告警方法及系统 | |
| KR102068622B1 (ko) | 이기종 네트워크 보안시스템을 위한 빅데이타 분석기반의 지능형 장애예측 시스템 | |
| CN112751726B (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
| US20200099604A1 (en) | Method and device for fingerprint based status detection in a distributed processing system | |
| CN103116531A (zh) | 存储系统故障预测方法和装置 | |
| Gurumdimma et al. | Crude: Combining resource usage data and error logs for accurate error detection in large-scale distributed systems | |
| CN112804348B (zh) | 云监测中心对边缘计算节点上报数据的重复性判定方法 | |
| CN112688822B (zh) | 基于多点协同的边缘计算故障或安全威胁监测系统与方法 | |
| CN110662024A (zh) | 基于多帧的视频质量诊断方法、装置及电子设备 | |
| CN111815449A (zh) | 一种基于流计算的多主机行情系统的异常检测方法及系统 | |
| CN101841541B (zh) | 一种基于多播网络监控集群的方法及系统 | |
| CN114676791A (zh) | 一种基于模糊证据推理的电力系统告警信息处理方法 | |
| CN117421188A (zh) | 告警定级方法、装置、设备及可读存储介质 | |
| CN115378794A (zh) | 一种基于快照模式的网关故障检测方法及装置 | |
| CN109634808B (zh) | 一种基于关联分析的链式监控事件根因分析方法 | |
| CN116910144A (zh) | 算力网络资源中心、算力服务系统以及数据处理方法 | |
| Gabel et al. | Communication-efficient Outlier Detection for Scale-out Systems. | |
| CN103067901B (zh) | 一种计费预警方法及系统 | |
| Priovolos et al. | Using anomaly detection techniques for securing 5G infrastructure and applications | |
| CN109117294B (zh) | 适用于证券交易系统的故障检测方法及装置 | |
| CN114697247A (zh) | 流媒体系统的故障检测方法、装置、设备和存储介质 | |
| CN108051998B (zh) | 一种冗余系统同步与监控判决方法 | |
| Gabel et al. | Latent fault detection with unbalanced workloads |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |