CN110262913A - 预警有效性分析方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请揭示了预警有效性分析方法、装置、计算机设备及存储介质，其中，预警有效性分析方法，包括：分别获取预设统计时间段对应的预警集合和告警集合，其中所述预警集合为所述预设统计时间段内发生预警的所有对象组成的集合，所述告警集合为所述预设统计时间段内发生告警的所有对象组成的集合；分析所述预警集合与所述告警集合的集合关系；判断所述集合关系是否满足预警正确预测的预设条件；若满足，则判定所述预警集合与所述告警集合重合的部分为有效预警。通过自动化实时检测过程数据的变化，并依据数据本身根据预设的预警规则生成预警，避免了主观表述对预警的干扰，实现自动化预警提高预警的准确度以及预警效率，且减少了人工成本、时间成本。

Description

预警有效性分析方法、装置、计算机设备及存储介质

技术领域

本申请涉及到计算机领域，特别是涉及到预警有效性分析方法、装置、计算机设备及存储介质。

背景技术

现有预警有效性的统计和分析，都是通过发送邮件给服务管理者，要求服务管理者反馈服务中的用户体验反馈分析预警有效性，或者，通过预警告警邮件的跟进率进行统计分析，但上述方式的统计结果，均需要人工参与统计，统计结果具有很强的主观性，而且邮件跟进率与服务管理者自身的响应效率影响预警数据的统计精确度，不能科学全面的反映出预警的准确性；且预警异常的种类不能得到清晰解析，不能指导预警规则的优化与调整。

发明内容

本申请的主要目的为提供预警有效性分析方法，旨在解决现有统计和分析预警有效性的过程中由于人工干预导致统计结果不精准的技术问题。

本申请提出一种预警有效性分析方法，包括：

分别获取预设统计时间段对应的预警集合和告警集合，其中所述预警集合为所述预设统计时间段内发生预警的所有对象组成的集合，所述告警集合为所述预设统计时间段内发生告警的所有对象组成的集合；

分析所述预警集合与所述告警集合的集合关系；

判断所述集合关系是否满足预警正确预测的预设条件；

若满足，则判定所述预警集合与所述告警集合重合的部分为有效预警。

优选地，所述分别获取预设统计时间段对应的预警集合和告警集合的步骤之前，包括：

将所述预设统计时间段出现预警的第一对象放入所述预警集合，出现吿警的第二对象放入所述吿警集合；

判断在与所述预设统计时间段间隔指定时间段的未来时间段，所述第一对象是否出现告警，并判断在与所述预设统计时间段间隔指定时间段的历史时间段，所述第二对象是否出现预警；

若是，则将所述第一对象复制到所述告警集合，将所述第二对象复制到所述预警集合。

优选地，所述分析所述预警集合与所述告警集合的集合关系的步骤，包括：

将所述预警集合中包括的所有预警对象，与所述告警集合中包括的所有告警对象一一对应比较；

将所述预警集合与所述告警集合的重合对象，组成重合区域；

根据所述重合区域确定所述预警集合与所述告警集合的集合关系，其中，所述集合关系包括所述告警集合包含于与所述预警集合、所述预警集合包含于与所述告警集合、所述告警集合等于所述预警集合。

优选地，所述判断所述集合关系是否满足预警正确预测的预设条件的步骤，包括：

判断所述重合区域是否等于所述告警集合；

若所述重合区域等于所述告警集合，则判定所述集合关系满足预警正确预测的预设条件。

优选地，所述判定所述集合关系满足预警正确预测的预设条件的步骤之后，包括：

在预设预警规则第一参量下，比较所述预警集合与所述重合区域得到第一差量，在预设预警规则第二参量下，比较所述预警集合与所述重合区域得到第二差量，其中，所述第一参量与所述第二参量均至少包括预警特征阈值；

判断所述第一差量是否大于所述第二差量；

若是，则将所述第二参量确定为所述预设预警规则的应用参量。

优选地，所述判断所述重合区域是否等于所述告警集合的步骤之后，包括：

若所述重合区域不等于所述告警集合，则判断所述重合区域是否等于所述预警集合；

若所述重合区域等于所述预警集合，则判定当前预警规则处于漏判状态，其中，所述漏判状态为所述当前预警规则的种类正确但参量不合理的状态；

获取所述漏判状态对应的异常参量，其中所述异常参量包括所述当前预警规则的预警特征阈值；

调整所述当前预警规则中的所述异常参量，使所述重合区域等于所述预警集合。

优选地，判断所述重合区域是否等于所述预警集合的步骤之后，包括：

若所述重合区域不等于所述预警集合，则判定所述当前预警规则处于误判状态，其中，所述误判状态为所述当前预警规则的种类不正确的状态；

将所述当前预警规则更换为新类别的预警规则，其中，所述新类别的预警规则与当前预警的对象相匹配。

本申请还提供了一种预警有效性分析装置，包括：

获取模块，用于分别获取预设统计时间段对应的预警集合和告警集合，其中所述预警集合为所述预设统计时间段内发生预警的所有对象组成的集合，所述告警集合为所述预设统计时间段内发生吿警的所有对象组成的集合；

分析模块，用于分析所述预警集合与所述告警集合的集合关系；

第一判断模块，用于判断所述集合关系是否满足预警正确预测的预设条件；

判定模块，用于若所述集合关系满足预警正确预测的预设条件，则判定所述预警集合与所述告警集合重合的部分为有效预警。

本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

本申请通过集合关系分析预警的有效性，若发生预警的对象，等待指定时间间隔后发生了告警，则预警为有效预警，否则为预警无效或漏判预警，并通过自动化实时检测过程数据的变化，并依据数据本身根据预设的预警规则生成预警，避免了主观表述对预警的干扰，实现自动化预警提高预警的准确度以及预警效率，且减少了人工成本、时间成本。本申请通过P和N的关系，实现科学的、量化的分析预警结果，并指导预警规则的逐步完善。本申请的预警正确预测的预设条件为，重合区域等于所述告警集合，即交集等于N，当所有的告警均经过对应的预警，才能表明预警针对告警的有效性，预警规则处于正常预警状态，才具有实际应用的价值。本申请考虑到预警和告警之间必然存在间隔指定时间段，否则失去预警存在的意义和作用，在统计预设统计时间段对应的预警集合和告警集合时，引入了考察告警的未来时间段和考察预警的历史时间段。预警集合中同时包括在预设统计时间段发生的预警和历史时间段发生的有效预警；告警集合同时包括预设统计时间段发生的吿警和未来时间段发生的有效吿警，确保数据统计的完整性，提高对预警分析的准确度。本申请通过引入粗糙集原理调整预警规则的参量，以降低P与N的差异度，以逐步提升预警规则对当前预警对象的预警能力。

附图说明

图1本申请一实施例的预警有效性分析方法流程示意图；

图2本申请一实施例的预警有效性分析装置结构示意图；

图3本申请一实施例的计算机设备内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

参照图1，本申请一实施例的预警有效性分析方法，包括：

S1:分别获取预设统计时间段对应的预警集合和告警集合，其中所述预警集合为所述预设统计时间段内发生预警的所有对象组成的集合，所述告警集合为所述预设统计时间段内发生吿警的所有对象组成的集合。

本实施例的预设统计时间段可根据系统数据量的处理能力和控制能力，并结合业务需求进行选定。本实施例预警集合和告警集合均根据分析数据得到，分析数据均为系统中已存在的历史数据，比如依据异常调用总量，分别采集三个月、一个月或一周的数据进行分析。预警指通过对系统、接口或过程的行为等对象进行实时监测，并把监测到的行为与预设定标准行为进行比较，以预估异常情况并发出预警。告警为真实发生异常时发出的警报。预警集合P(prewarning)包括该预设统计时间段发生预警的所有对象，吿警集合N(notify)包括该预设统计时间段发生吿警的所有对象，预警集合中的对象和告警集合中的对象可重复，也可不重复，根据对象真实发生的预警和/或告警，进行集合划分。

S2:分析所述预警集合与所述告警集合的集合关系。

本实施例的集合关系包括两集合相交，即两集合内有部分对象重合；集合关系包括两集合相等，即两集合内有所有对象重合；集合关系包括“P属于N，或N属于P”，即一集合内的所有对象均存在于另一集合中。

S3:判断所述集合关系是否满足预警正确预测的预设条件。

本实施例通过集合关系分析预警的有效性，若发生预警的对象，等待指定时间间隔后发生了告警，则预警为有效预警，否则为预警无效或漏判预警。本实施例的预警正确预测的预设条件为，所有的告警均有对应的预警一一对应。本实施例通过预警特征值和预警目标对象定位指定预警，通过判断预警和告警是否发生于同一指定预警，实现判断预警和告警是否一一对应，预警和告警发生于同一指定预警，则预警和告警相对应。通过目标对象和预警特征值的选择进行匹配，组成不同的预警，目标对象和预警特征值两个参考项中任一项的不同，均表示为不同的预警。上述预警特征值根据选定的预警规则不同，对应不同的预警特征值，比如同比波动百分比的预警规则，预警特征值包括：耗时同比波动百分比的阈值，调用波动百分比阈值等；目标对象可以是某个具体的URI接口，某个特定的系统，甚至某个专业公司，本实施例的对象为服务治理监控系统的接口和系统。

S4:若满足，则判定所述预警集合与所述告警集合重合的部分为有效预警。

本实施例通过自动化实时检测过程数据的变化，并依据数据本身根据预设的预警规则生成预警并实现自动统计，避免了主观表述对预警统计和分析的干扰，实现自动化预警提高预警的准确度以及预警效率，且减少了人工参与统计的人工成本、时间成本。本实施例可通过P和N的关系，实现科学的、量化的分析预警结果，并指导预警规则的逐步完善。

进一步地，所述分别获取预设统计时间段对应的预警集合和告警集合的步骤S1之前，包括：

S11：将所述预设统计时间段出现预警的第一对象放入所述预警集合，出现吿警的第二对象放入所述吿警集合。

本实施例通过统计预设统计时间段出现的所有预警对应的对象形成预警集合，所有告警对应的对象形成告警集合，以确保数据的完整性，提高预警分析准确度。上述“第一”、“第二”仅用于区分，不用于限定，其他处的类似用语作用相同，不赘述。

S12：判断在与所述预设统计时间段间隔指定时间段的未来时间段，所述第一对象是否出现告警，并判断在与所述预设统计时间段间隔指定时间段的历史时间段，所述第二对象是否出现预警。

本实施例中考虑到为充分发挥预警的效能，预警和告警之间必然存在间隔指定时间段，否则失去预警存在的意义和作用，在统计预设统计时间段对应的预警集合和告警集合时，引入了考察告警的未来时间段，和考察预警的历史时间段，上述未来时间段和历史时间段以预设统计时间段为基准，按照自然时间轴，早于预设统计时间段的为历史时间段，晚于预设统计时间段的为未来时间段。预警集合不仅包括在预设统计时间段发生预警的第一对象，还包括在预设统计时间段发生告警，且在与所述预设统计时间段间隔指定时间段的历史时间段出现预警的第二对象。本实施例的告警集合不仅包括在预设统计时间段发生吿警的第二对象，还包括在预设统计时间段发生预警，且在与所述预设统计时间段间隔指定时间段的未来时间段出现告警的第一对象。即预警集合中同时包括在预设统计时间段发生的预警和历史时间段发生的有效预警；告警集合同时包括预设统计时间段发生的吿警和未来时间段发生的有效吿警，确保数据统计的完整性，提高对预警分析的准确度。上述有效预警和有效吿警，均为预警和告警按照预设监测条件有效发生警报的对象，即在发生预警后并在预设预警告警时间间隔内发生告警的对象。本实施例的分析数据均为系统中已存在的历史数据，包括上述的预设统计时间段以及预设统计时间段对应的未来时间段，均为相对于当前分析时刻的历史时间，在系统中均已存在对应的数据记录。

S13：若是，则将所述第一对象复制到所述告警集合，将将所述第二对象复制到所述预警集合。

举例地，预设统计时间段为T0至T1，对象X在T0至T1间出现预警，将其放入集合P；在未来时间段T0+DelT至T1+DelT内，该对象X又出现告警，则将其复制后放入集合N，此时对象X即出现于集合P，又出现于集合N。对于T0至T1间出现告警的对象Y和对象Z，均先将其放入集合N，在历史时间段T0-DelT至T1-DelT内，发生过预警的对象Z，复制后放入集合P，未发现预警的对象Y仅记入集合N中，此时对象Z即出现于集合P，又出现于集合N。另外，对象M在T0至T1间出现预警后，又在T0至T1间出现吿警，则对象M即出现于集合P，又出现于集合N。上述未来时间段为考察告警的时间段，上述历史时间段为考察预警的时间段。上述DelT为时间间隔，优选5至10min,上述历史时间段或未来时间段，是否与预设统计时间段发生时间重合，取决于预设统计时间段与DelT的关系。本实施例优选：预设统计时间段小于DelT，历史时间段或未来时间段不与预设统计时间段发生时间重合。

进一步地，所述分析所述预警集合与所述告警集合的集合关系的步骤S2，包括：

S21：将所述预警集合中包括的所有预警对象，与所述告警集合中包括的所有告警对象一一对应比较。

S22：将所述预警集合与所述告警集合的重合对象，组成重合区域。

S23：根据所述重合区域确定所述预警集合与所述告警集合的集合关系，其中，所述集合关系包括所述告警集合包含于与所述预警集合、所述预警集合包含于与所述告警集合、所述告警集合等于所述预警集合。

本实施例的重合区域为P与N的交集，根据交集与P以及交集与N的关系，判断预警集合与告警集合的集合大小关系以及集合之间的包含关系。比如，交集等于N，不等于P，则P大于N，且N包含于P；交集等于P，不等于N，则N大于P，且P包含于N；交集等于N，且交集等于P，则P等于N；交集不等于N，且交集不等于P，则P与N仅部分相交；若交集为空，则P与N不相交。

进一步地，所述判断所述集合关系是否满足预警正确预测的预设条件的步骤S3，包括：

S31：判断所述重合区域是否等于所述告警集合。

S32：若所述重合区域等于所述预警集合，则判定所述集合关系满足预警正确预测的预设条件。

本实施例的预警正确预测的预设条件为，重合区域等于所述告警集合，即交集等于N，当所有的告警均经过对应的预警，才能表明预警针对告警的有效性，预警规则处于正常预警状态，才具有实际应用的价值。上述交集等于N，包括了交集等于N，不等于P，P大于N，且N包含于P的情况，以及交集等于N，且交集等于P，则P等于N的情况。上述交集等于N，且交集等于P，则P等于N的情况为正常预警状态中的最佳理想状态。通常由于预警规则的局限性，较难达到理想状态，只能通过不断调整预警规则的参数项，使交集等于N，且交集等于P的状态下，逐渐使P趋近于N。

进一步地，所述判定所述集合关系满足预警正确预测的预设条件的步骤S32之后，包括：

S33：在预设预警规则第一参量下，比较所述预警集合与所述重合区域得到第一差量，在预设预警规则第二参量下，比较所述预警集合与所述重合区域得到第二差量，其中，所述第一参量与所述第二参量均至少包括预警特征阈值；

S34：判断所述第一差量是否大于所述第二差量；

S35：判断预设预警规则在第一参量下所述预警集合与所述重合区域的第一差量，是否大于第二参量下所述预警集合与所述重合区域的第二差量。

S36：若是，则将所述第二参量确定为所述预设预警规则的应用参量。

本实施例通过引入粗糙集原理调整预警规则的参量，上述参量至少包括预警特征阈值，以降低P与N的差异度，以逐步提升预警规则对当前预警对象的预警能力。本实施例以集合中元素个数作为集合半径，预警集合半径与告警集合半径的差量为粗糙集边界度，粗糙集边界度越大，表明P与N的差异度越大，预警越不准确，预警规则的参数设置不合理，预警确定性系数低，上述确定性系数低，表示引发异常预警的可能性高，需要调整预警规则。举例地，预警集合半径PR＝5，告警场景半径NR＝3，得到：粗糙集边界度AR＝[(PR-NR)/PR]*100％，得到粗糙集边界度为40％。比如，P中对象S和对象U未出现于N中，可以针对对象S和对象U，单独调整预警规则的参数，比如缩小预警特征阈值，减少P集合中的元素个数，使对象S和对象U也不出现于P中。调整预警规则参数后，运行一段时间，再次分析AR值，AR值具有减小趋势，则表明调整是有效的。

进一步地，所述判断所述重合区域是否等于所述告警集合的步骤S31之后，包括：

S311：若所述重合区域不等于所述告警集合，则判断所述重合区域是否等于所述预警集合。

S312：若所述重合区域等于所述预警集合，则判定当前预警规则处于漏判状态，其中，所述漏判状态为所述当前预警规则的种类正确但参量不合理的状态。

S313：获取所述漏判状态对应的异常参量，其中所述异常参量包括所述当前预警规则的预警特征阈值。

S314：调整所述当前预警规则中的所述异常参量，使所述重合区域等于所述预警集合。

本实施例中，重合区域不等于告警集合时，则判定集合关系不满足预警正确预测的预设条件，则表明预警规则的参数可能设定不合理，不能达到正常预警的功能要求。重合区域不等于告警集合时，包括三种情况，第一种情况为交集不等于N，交集等于P，则N大于P，且P包含于N；第二种情况为交集不等于N，且交集不等于P，则P与N仅部分相交；第三种情况为交集为空，则P与N不相交。上述第一种情况，说明当前的预警规则存在预警漏判，说明选择的当前预警规则的种类是正确的，但预警规则的参量不合理，存在异常参量比如预警特征阈值设置不合理，导致有预警规则预测不到的状态，急需分析漏判原因并调整预警特征阈值。举例地，选定耗时同比波动百分比的预警规则，并设定对应的预警特征阈值为150％，但异常真实发生的时候，其波动百分比没有达到阈值，假设120％的时候，系统就已经发生异常了，必须调整预警特征阈值为120％，才能满足需要。

进一步地，判断所述重合区域是否等于所述预警集合的步骤S312之后，包括：

S315：若所述重合区域不等于所述预警集合，则判定当前预警规则处于误判状态，其中，所述误判状态为所述当前预警规则的种类不正确的状态。

S316：将所述当前预警规则更换为新类别的预警规则，其中，所述新类别的预警规则与当前预警的对象相匹配。

第二种情况表明即存在预警误判，第三种情况表明当前预警规则完全无效，上述第二种情况和第三种情况均为预警规则失灵，表明当前选用的预警规则的类型，不适合当前的预警对象，需要更换新类别的预警规则，或考证当前预警规则的正确有效性。举例地，当前选定的预警规则为耗时同比波动百分比的预警规则，并假定选择的阈值为150％，阈值达到时，并不能关联性地标示系统异常，说明耗时同比波动百分比与系统异常没有直接的依赖关系，应该通过遍历的方式选择其它预警规则，比如按照分钟粒度的预警规则或按平均耗时的预警规则。

本实施例通过集合关系分析预警的有效性，若发生预警的对象，等待指定时间间隔后发生了告警，则预警为有效预警，否则为预警无效或漏判预警。通过自动化实时检测过程数据的变化，并依据数据本身根据预设的预警规则生成预警，避免了主观表述对预警的干扰，实现自动化预警提高预警的准确度以及预警效率，且减少了人工成本、时间成本。本实施例通过P和N的关系，实现科学的、量化的分析预警结果，并指导预警规则的逐步完善。本申请的预警正确预测的预设条件为，重合区域等于所述告警集合，即交集等于N，当所有的告警均经过对应的预警，才能表明预警针对告警的有效性，预警规则处于正常预警状态，才具有实际应用的价值。本实施例考虑到预警和告警之间必然存在间隔指定时间段，否则失去预警存在的意义和作用，在统计预设统计时间段对应的预警集合和告警集合时，引入了考察告警的未来时间段和考察预警的历史时间段。预警集合中同时包括在预设统计时间段发生的预警和历史时间段发生的有效预警；告警集合同时包括预设统计时间段发生的吿警和未来时间段发生的有效吿警，确保数据统计的完整性，提高对预警分析的准确度。本实施例通过引入粗糙集原理调整预警规则的参量，以降低P与N的差异度，以逐步提升预警规则对当前预警对象的预警能力。

参照图2，本申请一实施例的预警有效性分析装置，包括：

获取模块1，用于分别获取预设统计时间段对应的预警集合和告警集合，其中所述预警集合为所述预设统计时间段内发生预警的所有对象组成的集合，所述告警集合为所述预设统计时间段内发生吿警的所有对象组成的集合。

分析模块2，用于分析所述预警集合与所述告警集合的集合关系。

第一判断模块3，用于判断所述集合关系是否满足预警正确预测的预设条件。

判定模块4，用于若所述集合关系满足预警正确预测的预设条件，则判定所述预警集合与所述告警集合重合的部分为有效预警。

本实施例的预警有效性分析装置用于执行方法部分的S1至S4，相应解释与上述方法部分对应。以下装置部分分别与对应方法项对应，均不一一赘述。

进一步地，所述预警有效性分析装置，包括：

集合模块，用于将所述预设统计时间段出现预警的第一对象放入所述预警集合，出现吿警的第二对象放入所述吿警集合。

第二判断模块，用于判断在与所述预设统计时间段间隔指定时间段的未来时间段，所述第一对象是否出现告警，并判断在与所述预设统计时间段间隔指定时间段的历史时间段，所述第二对象是否出现预警。

复制模块，用于若所述第一对象在与所述预设统计时间段间隔指定时间段的未来时间段出现告警，则将所述第一对象复制到所述告警集合，同时判断所述第二对象是否在，与所述预设统计时间段间隔指定时间段的历史时间段出现预警将将所述第二对象复制到所述预警集合。

进一步地，所述分析模块2，包括：

比较单元，用于将所述预警集合中包括的所有预警对象，与所述告警集合中包括的所有告警对象一一对应比较。

组成单元，用于将所述预警集合与所述告警集合的重合对象，组成重合区域。

第一确定单元，用于根据所述重合区域确定所述预警集合与所述告警集合的集合关系，其中，所述集合关系包括所述告警集合包含于与所述预警集合、所述预警集合包含于与所述告警集合、所述告警集合等于所述预警集合。

进一步地，所述第一判断模块3，包括：

第一判断单元，用于判断所述重合区域是否等于所述告警集合。

第一判定单元，用于若所述重合区域等于所述预警集合，则判定所述集合关系满足预警正确预测的预设条件。

进一步地，所述第一判断模块3，包括：

比较单元，用于在预设预警规则第一参量下，比较所述预警集合与所述重合区域得到第一差量，在预设预警规则第二参量下，比较所述预警集合与所述重合区域得到第二差量，其中，所述第一参量与所述第二参量均至少包括预警特征阈值；

第二判断单元，用于判断所述第一差量是否大于所述第二差量；

第三判断单元，用于判断预设预警规则在第一参量下所述预警集合与所述重合区域的第一差量，是否大于第二参量下所述预警集合与所述重合区域的第二差量。

第二确定单元，用于若预设预警规则在第一参量下所述预警集合与所述重合区域的第一差量，大于第二参量下所述预警集合与所述重合区域的第二差量，则将所述第二参量确定为所述预设预警规则的应用参量。

进一步地，所述第一判断模块3，包括：

第四判断单元，用于若所述重合区域不等于所述告警集合，则判断所述重合区域是否等于所述预警集合。

第二判定单元，用于若所述重合区域等于所述预警集合，则判定当前预警规则处于漏判状态，其中，所述漏判状态为所述当前预警规则的种类正确但参量不合理的状态；

获取单元，用于获取所述漏判状态对应的异常参量，其中所述异常参量包括所述当前预警规则的预警特征阈值。

调整单元，用于调整所述当前预警规则中的所述异常参量，使所述重合区域等于所述预警集合。

进一步地，所述第一判断模块3，包括：

第三判定单元，用于若所述重合区域不等于所述预警集合，则判定当前预警规则处于误判状态，其中，所述误判状态为所述当前预警规则的种类不正确的状态。

更换单元，用于将所述当前预警规则更换为新类别的预警规则，其中，所述新类别的预警规则与当前预警的对象相匹配。

参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预警有效性分析过程需要的所有数据。该计算机设备的网络接口用于与外部的端通过网络连接通信。该计算机程序被处理器执行时以实现预警有效性分析方法。

上述处理器执行上述预警有效性分析方法，包括：分别获取预设统计时间段对应的预警集合和告警集合，其中所述预警集合为所述预设统计时间段内发生预警的所有对象组成的集合，所述告警集合为所述预设统计时间段内发生吿警的所有对象组成的集合；分析所述预警集合与所述告警集合的集合关系；判断所述集合关系是否满足预警正确预测的预设条件；若满足，则判定所述预警集合与所述告警集合重合的部分为有效预警。

上述计算机设备，通过集合关系分析预警的有效性，若发生预警的对象，等待指定时间间隔后发生了告警，则预警为有效预警，否则为预警无效或漏判预警。通过自动化实时检测过程数据的变化，并依据数据本身根据预设的预警规则生成预警，避免了主观表述对预警的干扰，实现自动化预警提高预警的准确度以及预警效率，且减少了人工成本、时间成本。通过P和N的关系，实现科学的、量化的分析预警结果，并指导预警规则的逐步完善。本申请的预警正确预测的预设条件为，重合区域等于所述告警集合，即交集等于N，当所有的告警均经过对应的预警，才能表明预警针对告警的有效性，预警规则处于正常预警状态，才具有实际应用的价值。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。

本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现预警有效性分析方法，包括：分别获取预设统计时间段对应的预警集合和告警集合，其中所述预警集合为所述预设统计时间段内发生预警的所有对象组成的集合，所述告警集合为所述预设统计时间段内发生吿警的所有对象组成的集合；分析所述预警集合与所述告警集合的集合关系；判断所述集合关系是否满足预警正确预测的预设条件；若满足，则判定所述预警集合与所述告警集合重合的部分为有效预警。

上述计算机可读存储介质，通过集合关系分析预警的有效性，若发生预警的对象，等待指定时间间隔后发生了告警，则预警为有效预警，否则为预警无效或漏判预警。通过自动化实时检测过程数据的变化，并依据数据本身根据预设的预警规则生成预警，避免了主观表述对预警的干扰，实现自动化预警提高预警的准确度以及预警效率，且减少了人工成本、时间成本。通过P和N的关系，实现科学的、量化的分析预警结果，并指导预警规则的逐步完善。本申请的预警正确预测的预设条件为，重合区域等于所述告警集合，即交集等于N，当所有的告警均经过对应的预警，才能表明预警针对告警的有效性，预警规则处于正常预警状态，才具有实际应用的价值。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种预警有效性分析方法，其特征在于，包括：

分别获取预设统计时间段对应的预警集合和告警集合，其中所述预警集合为所述预设统计时间段内发生预警的所有对象组成的集合，所述告警集合为所述预设统计时间段内发生告警的所有对象组成的集合；

分析所述预警集合与所述告警集合的集合关系；

判断所述集合关系是否满足预警正确预测的预设条件；

若满足，则判定所述预警集合与所述告警集合重合的部分为有效预警。

2.根据权利要求1所述的预警有效性分析方法，其特征在于，所述分别获取预设统计时间段对应的预警集合和告警集合的步骤之前，包括：

将所述预设统计时间段出现预警的第一对象放入所述预警集合，出现吿警的第二对象放入所述吿警集合；

判断在与所述预设统计时间段间隔指定时间段的未来时间段，所述第一对象是否出现告警，并判断在与所述预设统计时间段间隔所述指定时间段的历史时间段，所述第二对象是否出现预警；

若是，则将所述第一对象复制到所述告警集合，将所述第二对象复制到所述预警集合。

3.根据权利要求1所述的预警有效性分析方法，其特征在于，所述分析所述预警集合与所述告警集合的集合关系的步骤，包括：

将所述预警集合中包括的所有预警对象，与所述告警集合中包括的所有告警对象一一对应比较；

将所述预警集合与所述告警集合的重合对象，组成重合区域；

根据所述重合区域确定所述预警集合与所述告警集合的集合关系，其中，所述集合关系包括所述告警集合包含于与所述预警集合、所述预警集合包含于与所述告警集合、所述告警集合等于所述预警集合。

4.根据权利要求3所述的预警有效性分析方法，其特征在于，所述判断所述集合关系是否满足预警正确预测的预设条件的步骤，包括：

判断所述重合区域是否等于所述告警集合；

若所述重合区域等于所述告警集合，则判定所述集合关系满足预警正确预测的预设条件。

5.根据权利要求4所述的预警有效性分析方法，其特征在于，所述判定所述集合关系满足预警正确预测的预设条件的步骤之后，包括：

在预设预警规则第一参量下，比较所述预警集合与所述重合区域得到第一差量，在预设预警规则第二参量下，比较所述预警集合与所述重合区域得到第二差量，其中，所述第一参量与所述第二参量均至少包括预警特征阈值；

判断所述第一差量是否大于所述第二差量；

若是，则将所述第二参量确定为所述预设预警规则的应用状态下对应的参量。

6.根据权利要求4所述的预警有效性分析方法，其特征在于，所述判断所述重合区域是否等于所述告警集合的步骤之后，包括：

若所述重合区域不等于所述告警集合，判断所述重合区域是否等于所述预警集合；

若所述重合区域等于所述预警集合，则判定所述当前预警规则处于漏判状态，其中，所述漏判状态为所述当前预警规则的种类正确但参量不合理的状态；

获取所述漏判状态对应的异常参量，其中所述异常参量包括所述当前预警规则的预警特征阈值；

调整所述当前预警规则中的所述异常参量，使所述重合区域等于所述告警集合。

7.根据权利要求6所述的预警有效性分析方法，其特征在于，判断所述重合区域是否等于所述预警集合的步骤之后，包括：

若所述重合区域不等于所述预警集合，则判定所述当前预警规则处于误判状态，其中，所述误判状态为所述当前预警规则的种类不正确的状态；

将所述当前预警规则更换为新类别的预警规则，其中，所述新类别的预警规则与当前预警的对象相匹配。

8.一种预警有效性分析装置，其特征在于，包括：

获取模块，用于分别获取预设统计时间段对应的预警集合和告警集合，其中所述预警集合为所述预设统计时间段内发生预警的所有对象组成的集合，所述告警集合为所述预设统计时间段内发生告警的所有对象组成的集合；

分析模块，用于分析所述预警集合与所述告警集合的集合关系；

第一判断模块，用于判断所述集合关系是否满足预警正确预测的预设条件；

判定模块，用于若所述集合关系满足预警正确预测的预设条件，则判定所述预警集合与所述告警集合重合的部分为有效预警。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。