CN117170724A - 用于检测业务异常的ai模型自动化更新方法、装置及设备 - Google Patents
用于检测业务异常的ai模型自动化更新方法、装置及设备 Download PDFInfo
- Publication number
- CN117170724A CN117170724A CN202311036657.9A CN202311036657A CN117170724A CN 117170724 A CN117170724 A CN 117170724A CN 202311036657 A CN202311036657 A CN 202311036657A CN 117170724 A CN117170724 A CN 117170724A
- Authority
- CN
- China
- Prior art keywords
- model
- training
- information
- sample set
- training sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000005856 abnormality Effects 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 349
- 238000012360 testing method Methods 0.000 claims abstract description 82
- 238000001514 detection method Methods 0.000 claims description 70
- 238000004422 calculation algorithm Methods 0.000 claims description 45
- 238000004458 analytical method Methods 0.000 claims description 42
- 230000002159 abnormal effect Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001960 triggered effect Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 12
- 239000000243 solution Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000000586 desensitisation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000003637 basic solution Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本申请提供一种用于检测业务异常的AI模型自动化更新方法、装置及设备，该方法包括：获取业务日志信息中由当前AI模型导致的误报和/或漏报信息；基于所述误报和/或漏报信息获得增量训练样本集；利用所述增量训练样本集训练所述当前AI模型，基于测试结果更新或不更新所述当前AI模型。本申请可以自动化进行AI模型更新，降低了人工依赖程度，提高了AI模型的运营效率。
Description
技术领域
本申请涉及网络技术领域，特别涉及一种用于检测业务异常的AI模型自动化更新方法、装置及设备。
背景技术
部署在真实网络环境中的网络攻击检测防护系统，每天产生大量的告警日志，安全运营人员通过告警筛选等方法对重点业务系统、恶意源IP的告警进行重点排查。由于攻击载荷种类繁多且攻击者会构造新的攻击载荷绕过攻击检测引擎，防护系统中集成的规则引擎、语义引擎、AI引擎均无法达到100％的检测准确率。同时由于业务场景变化导致的数据漂移情况，检测防护系统中的检测引擎会产生漏报误报情况，漏报错过实际遭受的攻击，且没有产生告警，误报将正常的访问请求判定为攻击，从而影响业务系统的正常访问，会对客户正常业务造成严重的影响。
针对规则引擎以及语义引擎产生的误报告警，由安全运营人员将误报告警反馈给相关引擎的开发人员，进行规则更新即可。而对于AI引擎产生的误报漏报，无法通过直接修改模型的某个参数来解决误报漏报问题，目前都是通过安全运营人收集误报告警数据，将数据反馈给模型开发人员，由模型开发人员来构建增量训练样本，进行模型增量训练等工作，对AI模型进行迭代更新。可见，目前需要多方人员交互且各环节需要人工参与，AI模型的更新效率低。
发明内容
本申请提供了一种用于检测业务异常的AI模型自动化更新方法、装置及设备，用以解决现有目前需要多方人员交互且各环节需要人工参与，AI模型的更新效率低的问题。
根据本申请实施例的第一方面，提供一种用于检测业务异常的AI模型自动化更新方法，应用于智能安全分析平台，包括：
获取业务日志信息中由当前AI模型导致的误报和/或漏报信息；
基于所述误报和/或漏报信息获得增量训练样本集；
基于所述增量训练样本集训练包括所述当前AI模型的至少一个AI模型，基于测试结果更新或不更新所述当前AI模型。
在一个或多个可能的实施例中，基于所述增量训练样本集训练包括所述当前AI模型的至少一个AI模型，包括执行如下任一或任多个AI模型训练步骤：
利用增量训练样本集训练当前AI模型；
利用全量训练样本集训练当前AI模型；
利用全量训练样本集训练其他AI模型；
所述全量训练样本集包括增量训练样本集及训练得到当前AI模型的原始训练样本集。
在一个或多个可能的实施例中，在执行任多个AI模型训练步骤时，按照如下优先级依次执行：
利用全量训练样本集训练其他AI模型的优先级最低，利用增量训练样本集训练当前AI模型的优先级，等于或大于利用全量训练样本集训练当前AI模型的优先级。
在一个或多个可能的实施例中，基于测试结果更新或不更新所述当前AI模型，包括：
每个AI模型训练步骤结束，利用测试训练样本集对当前训练得到的AI模型进行测试；
确定测试通过时，结束AI模型训练，利用训练得到的AI模型替换当前AI模型；
否则不更新所述当前AI模型，并触发下个低优先级的AI模型训练步骤。
在一个或多个可能的实施例中，按照执行优先级执行利用增量训练样本集训练当前AI模型和利用全量训练样本集训练当前AI模型时，包括：
基于当前AI模型，利用增量训练样本集和全量训练样本集交替进行模型调整，至得到测试通过的AI模型或达到训练次数；
其中，在利用增量训练样本集进行M次模型调整后，切换到利用全量训练样本集，对当前训练得到的AI模型进行模型调整，调整后对AI模型进行测试，M为正整数；
利用全量训练样本集进行N次模型调整后，切换到利用增量训练样本集，对当前训练得到的AI模型进行模型调整，调整后对AI模型进行测试，N为正整数。
在一个或多个可能的实施例中，利用全量训练样本集训练其他AI模型，包括：
从本地或其他服务器获取在满足设定条件时，利用全量训练样本集对N个其他AI模型训练得到的多个其他AI模型；
基于测试结果更新或不更新所述当前AI模型，包括：
根据测试结果确定存在准确率优于当前AI模型，且准确率高于阈值的其他AI模型时，选择准确率最高的其他AI模型替换当前AI模型，否则不替换当前AI模型。
在一个或多个可能的实施例中，该方法还包括：
根据测试结果不存在满足要求的其他AI模型时，间隔设定时间后从本地或其他服务器获取利用新产生的增量训练样本集对N个其他AI模型优化训练得到的多个其他AI模型，并重新基于测试结果更新或不更新所述当前AI模型。
在一个或多个可能的实施例中，基于所述误报和/或漏报信息获得增量训练样本集，包括：
根据误报和/或漏报信息及对应的正确标签，得到初始训练样本集；
保持所述误报和/或漏报信息语义不变，对所述初始训练样本集进行扩充，得到增量训练样本集。
在一个或多个可能的实施例中，保持所述误报和/或漏报信息语义不变，对所述初始训练样本集进行扩充，得到增量训练样本集，包括：
对所述日志信息中误报和/或漏报信息进行语义和语法的结果；
根据解析结果，按照预设规则修改所述误报和/或漏报信息并保持语义不变，得到扩充的误报和/或漏报信息；
将所述扩充的错报和/或漏报信息，与日志信息中的错报和/或漏报信息作为增量训练样本集。
在一个或多个可能的实施例中，按照预设规则修改所述误报和/或漏报信息并保持语义不变，得到扩充的误报和/或漏报信息，包括如下至少一个步骤：
对所述日志信息中的误报和/或漏报信息录增加噪声数据，得到扩充的误报和/或漏报信息；
基于对所述日志信息中的误报和/或漏报信息进行语义和语法解析的结果，改变所述误报和/或漏报信息中分词的位置，得到扩充的误报和/或漏报信息；
根据预先建立的同义词库，对所述日志信息中的误报和/或漏报信息中分词进行同义词替换，得到扩充的误报和/或漏报信息。
在一个或多个可能的实施例中，获取业务日志信息中由当前AI模型导致的误报和/或漏报信息，包括如下至少一个步骤：
利用AI模型对日志信息异常检测，并利用设定业务异常检测算法对日志信息异常检测，确定检测结果不一致的误报和/或漏报信息；
根据人工标注信息，确定业务日志信息中误报和/或漏报信息；
根据预先设定漏报和/或误报信息的特征，采用特征匹配方式确定业务日志信息中误报和/或漏报信息；
利用漏报或误报信息获取工具，确定业务日志信息中误报和/或漏报信息。
在一个或多个可能的实施例中，利用设定业务异常检测算法日志信息异常检测，包括：
利用至少一个不同于当前AI模型的标注算法，对日志信息进行特征提取，提取的特征包括一个特征或多个特征或多个特征之间的关联特性；
将基于提取的特征确定业务访问的分类。
在一个或多个可能的实施例中，该方法还包括：
当前AI模型训练结束且未通过测试时，增加利用设定业务异常检测算法对各所述误报和/或漏报信息所提取的特征，并重新确定误报和/或漏报信息对应的标签；或者获取人工对检测结果不一致的误报和/或漏报信息所标定的标签；
利用更正标签后的增量训练样本集替换之前的增量训练样本集，并触发再次训练。
在一个或多个可能的实施例中，所述误报和/或漏报信息及对应的正确标签采用如下方式确定：
根据利用设定业务异常检测算法对日志信息异常检测的结果，确定误报和/或漏报信息及对应的正确标签；或者
通过聚类算法对所述误报和/或漏报信息进行聚类，通过逐渐增大簇间间距，减小簇内距离，将所述误报和/或漏报信息聚类为设定簇数；
根据同一簇内的误报和/或漏报信息的分类，确定对应的正确标签；
根据本申请实施例的第二方面，提供一种用于检测业务异常的AI模型更新装置，其特征在于，包括：
异常日志获取模块，用于获取业务日志信息中由当前AI模型导致的误报和/或漏报信息；
样本扩充模块，用于基于所述误报和/或漏报信息获得增量训练样本集；
模型训练模块，用于基于所述增量训练样本集训练包括所述当前AI模型的至少一个AI模型，基于测试结果更新或不更新所述当前AI模型。
根据本申请实施例的第三方面，提供一种用于检测业务异常的AI模型更新设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面提供的方法。
根据本申请实施例的第四方面，提供一种芯片，所述芯片与设备中的存储器耦合，使得所述芯片在运行时调用所述存储器中存储的程序指令，实现本申请实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。
根据本申请实施例的第五方面，提供一种计算机可读存储介质，该计算机存储介质存储有程序指令，当其在计算机上运行时，使得计算机执行本申请实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。
根据本申请实施例的第六方面，提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本申请实施例上述各个方面以及各个方面涉及的任一可能涉及的方法。
利用本申请提供的一种用于检测业务异常的AI模型自动化更新方法、装置及设备，具有以下有益效果：
本申请提供的一种用于检测业务异常的AI模型自动化更新方法、装置及设备，可以自动化构建训练数据集数量，采用自动化模型更新解决方案，使得模型更新任务摆脱对专业人员的依赖，依托于平台的模型更新方案可以使运营人员在缺少机器学习背景的情况下，在平台上自动化的完成模型的更新迭代，避免了只能依托于专业人员在本地环境进行模型训练、模型测试的情况；智能分析引擎自动化运营打通了训练集构建、模型训练、模型测试、模型迭代更新的全部流程，实现全流程的自动化操作，避免了手工操作及繁琐的人力沟通协调过程，降低了对专业人员的依赖程度，有效提高了AI模型的运营效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例中提供的一种用于检测业务异常的AI模型自动化更新方法流程图；
图2为本申请实施例中提供的AI模型更新整体流程图；
图3为本申请实施例中提供的用于检测业务异常的AI模型更新装置结构的示意图；
图4为本申请实施例中提供的用于检测业务异常的AI模型更新设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
目前，对于智能分析引擎(AI模型)的运营，大部分需要专业人员人工监控用于进行业务异常检测的AI模型，维护AI模型和迭代AI模型，AI模型运营过程中依赖多轮安全运营人员和专业人员的沟通反馈以及专业人员的手动AI模型调优。通常由前场人员或安全运营人员排查设备告警日志，反馈AI模型的误报漏报情况，针对误报漏报样本，由反馈人员采集误报漏报数据。当数据量不足时，往往需要人工构造训练样本，以满足AI模型训练的数据要求，该过程中对于误报漏报数据的数量以及构造质量需要运营人员与AI模型开发者进行反复沟通协调。对于AI模型的误报漏报问题，需要由模型开发者分析误报漏报原因，编写训练脚本对模型进行增量训练实验，若实验效果不佳，则需要进行新的特征工程或者调整数据集，或者重新构建新的AI模型进行训练，通过提升模型告警准确率，降低模型漏报率和误报率。
这些数据的格式符合本平台所有的AI算法的要求，或者这些数据可以通过备份并调整至少一个备份的格式，以符合至少一个本平台的AI算法的要求即可，这样本平台可以自动识别并对这两种数据或数据集进行针对性数据增强。
由此可见，智能分析引擎(AI模型)的运营过程不同于规则引擎、语义引擎，无法通过单条的误报漏报数据进行引擎的更新，智能分析引擎的更新需要前场人员或安全运营人员与模型开发者共同协作，同时仅依靠模型增量训练也不一定就可以解决模型误报漏报的问题，还可能需要依靠特征工程、数据集处理或者重新构建模型等工作来降低模型的误报漏报率，乃至模型完全没有误报漏报发生的情况出现。由此可见，大部分AI模型的运营工作无法自动化进行，需要大量依赖安全运营人员及专业人员的参与，训练样本集构建、模型迭代更新过程需要大量的手动操作，这导致智能分析引擎运营的工作量大幅度增加，运营效率较低。
鉴于此，本申请实施例提出一种用于检测业务异常的AI模型自动化更新方法，该方法应用于智能安全分析平台，由智能安全分析平台服务器运行，提出AI模型运营过程的自动化，通过智能安全分析平台利用少量误报漏报数据自动化构建训练样本集，AI模型更新从时效性、资源消耗性角度考虑，提供自动化模型更新方案，用以实现从数据集构造到模型更新的自动化流程，减少对人工及专业人员的依赖，提高AI模型运营效率。
参照图1，为本申请实施例提供的用于检测业务异常的AI模型自动化更新方法流程图，包括：
步骤101，获取业务日志信息中由当前AI模型导致的误报和/或漏报信息；
本申请实施例中上述业务服务是以Web页面的方式提供的，用户在访问Web页面过程中会产生多条业务访问记录，以日志的形式上报到智能安全分析平台。
以WAF(Web Application Firewall，网站应用级入侵防御系统)设备中基于CNN(Convolutional Neural Networks，卷积神经网络)结构的AI模型进行Web攻击检测的场景为例，WAF设备上运行AI模型，利用AI模型对业务访问记录进行异常检测，并在检测到异常时产生告警日志，需要关注重点业务系统、恶意源IP对告警数据进行排查，确认告警数据为真实攻击还是误报漏报数据。
业务访问记录可以利用AI模型进行标注，具体可以标注为正常访问、异常访问及所属的异常访问类型，例如对于上Web攻击检测场景，可以分类为正常访问即无攻击、存在攻击及对应的攻击类型。如果AI模型的标注结果与实际的标注不一致，则为由当前AI模型导致的误报和/或漏报信息。
步骤102，基于所述误报和/或漏报信息获得增量训练样本集；
本申请实施例在误报和/或漏报信息的基础进行自动扩充，得到增量训练样本集，具体可以不限于采用如下方式基于所述误报和/或漏报信息自动化获得增量训练样本集：
根据误报和/或漏报信息及对应的正确标签，得到初始训练样本集；
保持所述误报和/或漏报信息语义不变，对所述初始训练样本集进行自动化扩充，得到增量训练样本集。
按照上述方式得到的错误和/或漏报信息(本实施例也称为第一业务访问记录)为少量数据，为了扩充训练样本，本申请实施例对错误和/或漏报信息进行语义和语法解析，按照预设规则修改所述错误和/或漏报信息并保持语义不变，得到扩充的错报漏报数据，本申请实施例也称第二业务访问记录，且第二业务访问记录的标签与修改之前的第一业务访问记录的标签相同。
步骤103，基于所述增量训练样本集训练包括所述当前AI模型的至少一个AI模型，基于测试结果更新或不更新所述当前AI模型。
本申请实施例中获取业务日志信息中由当前AI模型导致的误报和/或漏报信息，包括如下至少一个步骤：
1)利用AI模型对日志信息异常检测，并利用设定业务异常检测算法对日志信息异常检测，确定检测结果不一致的误报和/或漏报信息；
为了实现日志中的告警是否误报漏报的判断，本申请实施例获取预先选定一个或多个不同于当前AI模型的标注算法，也称为误报漏报判定算法，在智能安全分析平台获取AI模型进行异常检测得到的第一检测结果后，利用上述一个或多个误报漏报判定算法对日志信息进行再次进行异常检测得到第二检测结果。
对于同一条业务访问记录，如果第一检测结果与第二检测结果不一致，则判断为误报或漏报的第一业务访问记录。
上述第一检测结果和第二检测结果的目的是为了确定各条业务访问记录的分类，该分类包括正常访问、异常访问及所属的异常访问类型。
具体地，如果第一检测结果为正常访问，第二检测结果为存在攻击且为攻击类型A，则确定为漏报的业务访问记录，如果第一检测结果为存在攻击且为攻击类型1，第二检测结果为存在攻击且为攻击类型2或者为正常访问，则确定为误报的业务访问记录。
所述误报和/或漏报信息及对应的正确标签，可以采用如下任一方式：
根据利用设定业务异常检测算法对日志信息异常检测的结果，确定误报和/或漏报信息及对应的正确标签。在第一检测结果与第二检测结果不一致时，以第二检测结果为准，根据第二检测结果，确定第一业务访问记录的正确检测结果对应的标签，标签具体可以包括正常访问即无攻击、存在攻击及对应的攻击类型。
通过聚类算法对所述误报和/或漏报信息进行聚类，通过逐渐增大簇间间距，减小簇内距离，将所述误报和/或漏报信息聚类为设定簇数，具体为根据第一业务访问记录的相似度确定簇内距离和簇间间距，相似度越大簇内/簇间距离越小，反之越大；根据同一簇内的第一业务访问记录，确定对应的正确检测结果对应的标签。
具体地，对于同一簇内的多个第一业务访问记录，确定第一检测结果/第二检测结果相同数量最多的第一访问记录为该簇内的第一业务访问记录的标签。
2)根据人工标注信息，确定业务日志信息中误报和/或漏报信息；
以WAF设备中基于CNN模型进行Web攻击检测的场景为例，针对WAF设备产生的告警日志，安全运营人员通过关注重点业务系统、恶意源IP对告警数据进行排查，确认告警数据为真实攻击还是误报漏报信息。
3)根据预先设定漏报和/或误报信息的特征，采用特征匹配方式确定业务日志信息中误报和/或漏报信息；
可以利用特征提取算法对不同分类的业务访问记录进行特征提取，得到不同分类对应的特征模板，利用特征匹配算法对日志信息的业务访问记录进行特征提取，根据提取的特征与特征模板匹配的结果，确定日志信息中的错报漏报信息。
4)利用漏报或误报信息获取工具，确定业务日志信息中误报和/或漏报信息。
可以利用相关技术中开发的其他的对错报漏报分析的软件工具，利用该软件工具确定业务日志信息中误报和/或漏报信息。
基于所述增量训练样本集训练包括当前AI模型的至少一个AI模型，在AI模型通过测试时进行替换。在进行AI模型测试时，可以利用测试样本集中的测试样本进行测试，测试样本包括历史的业务访问记录及对应的正确标签。
本申请可以自动化的扩充训练数据集数量，相比于人工构造的扩充数据会存在大量重复数据的情况，采用数据增强方法扩充的数据集数据质量更高，为模型训练提供了良好的数据支撑；采用自动化模型更新解决方案，使得模型更新任务摆脱对专业人员的依赖，依托于平台的模型更新方案可以使运营人员在缺少机器学习背景的情况下，在平台上自动化的完成模型的更新迭代，避免了只能依托于专业人员在本地环境进行模型训练、模型测试的情况；智能分析引擎自动化运营打通了训练集构建、模型训练、模型测试、模型迭代更新的全部流程，实现全流程的自动化操作，避免了手工操作及繁琐的人力沟通协调过程，降低了对专业人员的依赖程度，有效提高了AI模型的运营效率。
本申请实施例在获取到日志信息后，可以通过相应的脱敏算法进行数据脱敏，然后再实施后续的步骤，当然，也可以在得到增量训练样本集之前的任一步骤进行数据脱敏。经过数据脱敏后，隐私信息的泄露风险得到了降低。
本实施例中上述设定业务异常检测算法为不同于AI模型的标注算法，所述设定业务异常检测算法为至少一种，利用设定业务异常检测算法日志信息异常检测，包括：
利用至少一个不同于当前AI模型的标注算法，对日志信息进行特征提取，提取的特征包括一个特征或多个特征或多个特征之间的关联特性；
将基于提取的特征确定业务访问的分类，所述分类包括正常访问、异常访问及所属的异常访问类型，对于Web攻击检测场景，可以为正常访问(也称白样本)、Web攻击类型。
作为一种可选的实施方式，在AI模型未通过测试时，采用如下任一处理方式：
1)增加利用设定业务异常检测算法对各所述误报和/或漏报信息所提取的特征，并重新确定误报和/或漏报信息对应的标签；或者获取人工对检测结果不一致的误报和/或漏报信息所标定的标签；利用更正标签后的增量训练样本集替换之前的增量训练样本集，并触发再次训练。
2)获取人工对检测结果不一致的误报和/或漏报信息所标定的标签；利用更正标签后的增量训练样本集替换之前的增量训练样本集，并触发再次训练。
利用本申请上述方式确定标签可能是不准确的，可能还存在误报漏报的可能，从而导致本申请的整体方案运行结果不合要求，本申请在AI模型测试未通过，可以改变的算法重新对漏报和/或误报信息进行抽样异常检测。另外，还可以在整体方案运行一遍且结果不合要求之后，通过增加算法的输入特征的数量和/或特征之间的关联特性等，重新确定漏报和/或误报信息及其对应的标签。然后重新训练AI模型并测试，测试未通过再返回执行上述重新确定标签的过程。以上过程可以不断循环，直到达到预定循环次数、或预设的特征及特征关联性全部被抽取、或AI模型测试通过时停止。如果最终始终不能通过AI模型测试，则引入人工标注，这样可以进一步降低人工标注漏报和/或误报信息的标签的工作量，原因为人工从大量日志告警中确认哪些是误报漏报，需要大量的分析和比对，而本申请通过设定的算法筛选出漏报和/或误报信息，需要人工判定的数据量大大减少了，对于多个算法均判定为正确的，能够在一定的置信度下认为都正确。
下面给出本申请实施例在得到漏报和/或误报信息后，构建训练样本集、对AI模型进行训练和测试的具体实施方式。
其中一种可能的方式为将所述增量训练样本集中的各条业务访问记录转换为向量，将得到的向量及对应的标签作为增量训练样本集，利用增量训练样本集训练当前AI模型。
采用上述方式采集的误报漏报数据，往往数据量较少，以WAF为例，对于任意某一种误报漏报数据，WAF设备的告警日志中经常出现仅有该误报漏报数据关联的一条数据或重复出现的多条数据。因此采集的这种误报漏报数据往往无法达到模型训练的要求，因为单条数据或者重复数据无法有效的训练模型。对于单条数据，因数据量过少，模型训练时会完全拟合该条数据，导致模型会过度学习该条数据特征，产生过拟合现象，模型泛化能力大大降低；当存在多条重复数据时，那么该类别数据的丰富性和多样性会大大降低，模型难以学习到针对该类别误报漏报数据的有效特征。
智能安全分析平台提供数据增强功能，通过数据增强对标注的误报漏报数据进行数据扩充，丰富误报漏报数据的形式，增加可用于模型训练的数据的数量，将少量的误报漏报数据扩充为高质量的训练样本集。本申请实施例，保持所述误报和/或漏报信息语义不变，对所述初始训练样本集进行扩充，得到增量训练样本集，包括：
对所述日志信息中误报和/或漏报信息进行语义和语法的结果；
根据解析结果，按照预设规则修改所述误报和/或漏报信息并保持语义不变，得到扩充的误报和/或漏报信息；
将所述扩充的错报和/或漏报信息，与日志信息中的错报和/或漏报信息作为增量训练样本集。
按照预设规则修改所述误报和/或漏报信息并保持语义不变，得到扩充的误报和/或漏报信息，包括如下至少一个步骤：
对所述日志信息中的误报和/或漏报信息录增加噪声数据，得到扩充的误报和/或漏报信息；
基于对所述日志信息中的误报和/或漏报信息进行语义和语法解析的结果，改变所述误报和/或漏报信息中分词的位置，得到扩充的误报和/或漏报信息；
根据预先建立的同义词库，对所述日志信息中的误报和/或漏报信息中分词进行同义词替换，得到扩充的误报和/或漏报信息。
这样，可以保证载荷序列(业务访问记录)中的语法及语义信息基本不被破坏，不影响载荷序列的整体性质。数据增强方法可以有效扩充训练样本集数量，而且可以避免重复数据的产生，有效防止模型对于误报漏报数据过拟合。通过利用平台的数据增强功能，可以自动将采集的少量误报漏报数据进行自动化扩充，得到高质量误报漏报数据的训练样本集，用于后续的模型训练。
当然，在告警数据量足够的情况下，可以不用采用该增强功能。甚至在数据量较少的情况下，仍可以不采用增强功能，只要最终的告警结果能够符合使用者的需求即可。
另一种可能的方式为将所述增量训练样本集中的各条业务访问记录转换为向量，将得到的向量及对应的标签作为增量训练样本集，将所述增量训练样本集与训练得到当前AI模型的原始训练样本集合并，得到全量训练样本集，利用全量训练样本集训练当前AI模型。
误报漏报数据训练集构造完毕后，本申请实施例通过智能安全分析平台的模型自动化训练功能对当前使用的AI模型进行更新，以降低模型误报漏报率，提升告警正确率。
基于所述增量训练样本集训练包括所述当前AI模型的至少一个AI模型，包括执行如下任一或任多个AI模型训练步骤：
利用增量训练样本集训练当前AI模型；
利用全量训练样本集训练当前AI模型；
利用全量训练样本集训练其他AI模型；
所述全量训练样本集包括增量训练样本集及训练得到当前AI模型的原始训练样本集。
上述AI模型训练步骤可以择一步骤执行，训练结束时，对训练得到的AI模型测试，若测试通过，则利用测试通过的AI模型替换当前AI模型，若未通过测试，则不替换当前AI模型，可以在线继续采集错报漏报数据，对训练得到的AI模型进行不断优化，至得到测试通过的AI模型。
也可以选择任多个AI模型训练步骤进行训练，在执行任多个AI模型训练步骤时，按照如下优先级依次执行：
利用全量训练样本集训练其他AI模型的优先级最低，利用增量训练样本集训练当前AI模型的优先级，等于或大于利用全量训练样本集训练当前AI模型的优先级。
即可以按照先执行利用增量训练样本集训练当前AI模型的优先级，再利用全量训练样本集训练当前AI模型，或者同时利用增量训练样本集训练当前AI模型及利用全量训练样本集训练当前AI模型，同时训练的方式可以但不限于是基于当前AI模型交替训练。
基于测试结果更新或不更新所述当前AI模型，包括：
每个AI模型训练步骤结束，利用测试训练样本集对当前训练得到的AI模型进行测试；
确定测试通过时，结束AI模型训练，利用训练得到的AI模型替换当前AI模型；
否则不更新所述当前AI模型，并触发下个低优先级的AI模型训练步骤。
本申请实施例智能安全分析平台提供三种基本的AI模型更新的解决方案，具体如下：
第一种方案，增量训练样本集中部分或全部训练样本训练当前AI模型，具体可以是将训练样本的向量输入到AI模型，根据AI模型的输出及标签确定损失函数；根据损失函数对AI模型进行调整。
增量训练相比于使用全量训练样本集进行模型训练所使用的训练数据更少，有迭代速度快的优势，适用于机器学习模型及神经网络模型等模型的更新，当模型训练损失趋于稳定不再变化和/或训练监控指标达到设定的阈值，则训练过程结束。利用有正确标签的误报漏报数据对训练后的模型进行测试，测试结果达到预设的通过标准则测试通过，然后进行模型迭代替换旧模型。
第二种方案，采用部分或全部的全量训练样本集进行AI模型训练，全量训练样本集相比于模型的增量训练，采用全量训练样本集训练更容易得到全局最优的模型，模型的检测性能相对会更好，但全量训练样本集集数据量更大，模型训练时间更久，资源耗费较多，时效性较差。
需要说明的是，上述增量训练和全量训练是在原有的AI模型的基础上，分别独立进行训练的。针对增量训练与全量训练分别得到的AI模型，除了分别进行AI模型部署(例如哪个先通过测试先部署哪个)外，还可以采用类似AB测试的方法，利用增量训练样本集训练当前AI模型，及利用全量训练样本集训练当前AI模型采用如下方式交替进行：
基于当前AI模型，利用增量训练样本集和全量训练样本集交替进行模型调整，至得到测试通过的AI模型或达到训练次数；
其中，在利用增量训练样本集进行M次模型调整后，切换到利用全量训练样本集，对当前训练得到的AI模型进行模型调整，调整后对AI模型进行测试，M为正整数；
利用全量训练样本集进行N次模型调整后，切换到利用增量训练样本集，对当前训练得到的AI模型进行模型调整，调整后对AI模型进行测试，N为正整数。
而且，在轮流训练过程中，可以随时在调整结束时对AI模型进行测试，如果测试结果达到预设的通过标准则测试通过，则结束模型训练，然后进行新旧模型替换，否则继续训练至利用增量训练样本集和全量训练样本集的训练达到设定的训练次数。
第三种方案，采用自动化机器学习。
如果前两种方案训练得到的AI模型均未通过测试时，从本地或其他服务器获取在满足设定条件时，利用全量训练样本集对N个其他AI模型训练得到的多个其他AI模型；
基于测试结果更新或不更新所述当前AI模型，包括：
根据测试结果确定存在准确率优于当前AI模型，且准确率高于阈值的其他AI模型时，选择准确率最高的其他AI模型替换当前AI模型，否则不替换当前AI模型。
与增量训练、全量训练样本集训练不变换模型仅更新模型参数不同，自动化机器学习方案直接将产生误报漏报的AI模型替换为在自动化机器学习中表现最优的模型，预先在自动化机器学习模块中内置了如梯度提升树模型、随机森林模型等N个AI模型，利用原始训练样本集及实时产生的增量训练样本集(即全量训练样本集)对这些AI模型进行训练，以得到更好的结果。在达到设定条件时，如AI模型的准确率低于设定阈值，由平台将这些模型的检测分析结果与平台正在使用的AI模型的检测分析结果进行比较，从中选择检测误报漏报率最低且准确率高于阈值的AI模型替换平台当前使用的AI模型。完成替换后，自动化机器学习模块中的各个AI模型仍可以在后台同步运行，利用新产生的增量训练样本集对N个其他AI模型优化训练得到的多个其他AI模型，不断优化自身；当然也可以在达到某种设定条件(该模块始终或定时或不定时或人为选择的情况下，主动或被动接收平台正在使用的AI模型的检测正确性状况)或人为干预后再开始运行。
但相比于前两种方案是在已有模型上基于误报漏报数据进行模型优化，自动化机器学习相当于重新构建一个全新的模型，其模型需要重新开始训练，需要通过不断调整训练策略来降低训练损失，使模型趋于最优，因此其训练风险较高，模型测试指标可能会降低。需要特别指出的是，本平台的自动化机器学习模块在内置了结束模型训练的判定条件之外，还提供选择判定接口以输入判断条件所有的参数，可以人为设置/输入判定条件，便于人工介入该过程，极大地增强了本方案地灵活性。
同时也应该看到，方案三对资源的需求量大，且通常来说，需要更长时间的运算，所以对于方案三，除了在智能安全分析平台上集成该方案之外，还可以将本方案单独放置在云端或其他服务器上，再远程对外提供对外的训练接口的方式提供服务；还可以将方案内置到移动设备中，然后在本平台或云端或服务器上提供插入接口等方式提供必要的服务，这里不再详述。当AI模型出现漏误报后，可以利用当前自动化机器学习得到的最优模型对产生漏误报的AI模型进行实时替换，减少了模型迭代更新的额外时间，可以及时的减少模型漏误报的问题。
从三种方案的时效性、使用资源情况、模型预期效果方面进行评估，AI模型训练顺序可以采用上述方案中任一或任多个，采用任多个时，可以依次采用方案一、方案二、方案三，模型训练结束后，利用误报漏报数据对AI模型进行测试，若测试结果达到预设的通过标准则模型测试通过，进行模型迭代更新替换产生误报的旧AI模型。
如图2所示为本申请实施例中提供的AI模型更新整体流程图，从误报漏报数据采集、分析构造数据集、AI模型自动化训练、AI模型测试、AI模型迭代更新，整个过程可以由智能安全分析平台自动完成，仅在构造数据集时如果智能安全分析评估自动构造的数据集不合要求时，才需要安全运营人员介入。
本申请通过WAF日志分析引擎的示例，说明了智能分析平台的工作过程。但本方案还以用到流量分析中，通过对进入待分析设备的流量进行部分或全部的、实时的或设定时间段内的流量镜像，通过存储设备存储这些镜像流量数据，然后将相关引擎和算法更换为对应的可以分析流量的引擎和算法，同时由于流量数据的多格式特点，在进行分析时，预先增加数据处理模块(用于流量数据的格式转化统一等的处理)和其他必要辅助模块，更方便后续相关AI模型和算法的运行，这里不再详述。类似的本申请的平台还可以利用到各种网络数据的分析中。
以上对于各种不同来源的数据的分析，可以通过增加算法、模型和引擎的标识，根据数据源的不同，启用不同的算法、模型和引擎，从而达到对不同数据源的数据均能够分析的目的，实现了功能整合。
本申请提出一种AI模型自动化运营的方法，通过智能安全分析平台的数据增强功能，可以自动化的扩充训练数据集数量，相比于人工构造的扩充数据会存在大量重复数据的情况，采用数据增强方法扩充的数据集数据质量更高，为模型训练提供了良好的数据支撑。智能安全分析平台提出三种递进式的自动化模型更新解决方案，使得模型更新任务摆脱对专业人员的依赖，依托于平台的模型更新方案可以使运营人员在缺少机器学习背景的情况下，在平台上自动化的完成模型的更新迭代，避免了只能依托于专业人员在本地环境进行模型训练、模型测试的情况。智能分析引擎自动化运营打通了训练集构建、模型训练、模型测试、模型迭代更新的全部流程，实现全流程的自动化操作，避免了手工操作及繁琐的人力沟通协调过程，降低了对专业人员的依赖程度，有效提高了AI模型的运营效率。
以上对本申请中一种用于检测业务异常的AI模型自动化更新方法进行说明，以下对执行上述用于检测业务异常的AI模型自动化更新方法的装置和设备进行说明。
请参阅图3，本申请实施例提供一种用于检测业务异常的AI模型更新装置，包括：
异常日志获取模块301，用于获取业务日志信息中由当前AI模型导致的误报和/或漏报信息；
样本扩充模块302，用于基于所述误报和/或漏报信息获得增量训练样本集；
模型训练模块303，用于基于所述增量训练样本集训练包括所述当前AI模型的至少一个AI模型，基于测试结果更新或不更新所述当前AI模型。
可选地，模型训练模块基于所述增量训练样本集训练包括所述当前AI模型的至少一个AI模型，包括执行如下任一或任多个AI模型训练步骤：
利用增量训练样本集训练当前AI模型；
利用全量训练样本集训练当前AI模型；
利用全量训练样本集训练其他AI模型；
所述全量训练样本集包括增量训练样本集及训练得到当前AI模型的原始训练样本集。
可选地，模型训练模块在执行任多个AI模型训练步骤时，按照如下优先级依次执行：
利用全量训练样本集训练其他AI模型的优先级最低，利用增量训练样本集训练当前AI模型的优先级，等于或大于利用全量训练样本集训练当前AI模型的优先级。
可选地，模型训练模块基于测试结果更新或不更新所述当前AI模型，包括：
每个AI模型训练步骤结束，利用测试训练样本集对当前训练得到的AI模型进行测试；
确定测试通过时，结束AI模型训练，利用训练得到的AI模型替换当前AI模型；
否则不更新所述当前AI模型，并触发下个低优先级的AI模型训练步骤。
可选地，模型训练模块按照执行优先级执行利用增量训练样本集训练当前AI模型和利用全量训练样本集训练当前AI模型时，包括：
基于当前AI模型，利用增量训练样本集和全量训练样本集交替进行模型调整，至得到测试通过的AI模型或达到训练次数；
其中，在利用增量训练样本集进行M次模型调整后，切换到利用全量训练样本集，对当前训练得到的AI模型进行模型调整，调整后对AI模型进行测试，M为正整数；
利用全量训练样本集进行N次模型调整后，切换到利用增量训练样本集，对当前训练得到的AI模型进行模型调整，调整后对AI模型进行测试，N为正整数。
可选地，模型训练模块利用全量训练样本集训练其他AI模型，包括：
从本地或其他服务器获取在满足设定条件时，利用全量训练样本集对N个其他AI模型训练得到的多个其他AI模型；
基于测试结果更新或不更新所述当前AI模型，包括：
根据测试结果确定存在准确率优于当前AI模型，且准确率高于阈值的其他AI模型时，选择准确率最高的其他AI模型替换当前AI模型，否则不替换当前AI模型。
可选地，模型训练模块还用于：
根据测试结果不存在满足要求的其他AI模型时，间隔设定时间后从本地或其他服务器获取利用新产生的增量训练样本集对N个其他AI模型优化训练得到的多个其他AI模型，并重新基于测试结果更新或不更新所述当前AI模型。
可选地，样本扩充模块基于所述误报和/或漏报信息获得增量训练样本集，包括：
根据误报和/或漏报信息及对应的正确标签，得到初始训练样本集；
保持所述误报和/或漏报信息语义不变，对所述初始训练样本集进行扩充，得到增量训练样本集。
可选地，样本扩充模块保持所述误报和/或漏报信息语义不变，对所述初始训练样本集进行扩充，得到增量训练样本集，包括：
对所述日志信息中误报和/或漏报信息进行语义和语法的结果；
根据解析结果，按照预设规则修改所述误报和/或漏报信息并保持语义不变，得到扩充的误报和/或漏报信息；
将所述扩充的错报和/或漏报信息，与日志信息中的错报和/或漏报信息作为增量训练样本集。
可选地，样本扩充模块按照预设规则修改所述误报和/或漏报信息并保持语义不变，得到扩充的误报和/或漏报信息，包括如下至少一个步骤：
对所述日志信息中的误报和/或漏报信息录增加噪声数据，得到扩充的误报和/或漏报信息；
基于对所述日志信息中的误报和/或漏报信息进行语义和语法解析的结果，改变所述误报和/或漏报信息中分词的位置，得到扩充的误报和/或漏报信息；
根据预先建立的同义词库，对所述日志信息中的误报和/或漏报信息中分词进行同义词替换，得到扩充的误报和/或漏报信息。
可选地，异常日志获取模块获取业务日志信息中由当前AI模型导致的误报和/或漏报信息，包括如下至少一个步骤：
利用AI模型对日志信息异常检测，并利用设定业务异常检测算法对日志信息异常检测，确定检测结果不一致的误报和/或漏报信息；
根据人工标注信息，确定业务日志信息中误报和/或漏报信息；
根据预先设定漏报和/或误报信息的特征，采用特征匹配方式确定业务日志信息中误报和/或漏报信息；
利用漏报或误报信息获取工具，确定业务日志信息中误报和/或漏报信息。
可选地，异常日志获取模块利用设定业务异常检测算法日志信息异常检测，包括：
利用至少一个不同于当前AI模型的标注算法，对日志信息进行特征提取，提取的特征包括一个特征或多个特征或多个特征之间的关联特性；
将基于提取的特征确定业务访问的分类。
可选地，模型训练模块还用于：
当前AI模型训练结束且未通过测试时，增加利用设定业务异常检测算法对各所述误报和/或漏报信息所提取的特征，并重新确定误报和/或漏报信息对应的标签；或者获取人工对检测结果不一致的误报和/或漏报信息所标定的标签；
利用更正标签后的增量训练样本集替换之前的增量训练样本集，并触发再次训练。
可选地，异常日志获取模块获取的所述误报和/或漏报信息及对应的正确标签采用如下方式确定：
根据利用设定业务异常检测算法对日志信息异常检测的结果，确定误报和/或漏报信息及对应的正确标签；或者
通过聚类算法对所述误报和/或漏报信息进行聚类，通过逐渐增大簇间间距，减小簇内距离，将所述误报和/或漏报信息聚类为设定簇数；
根据同一簇内的误报和/或漏报信息的分类，确定对应的正确标签。
请参阅图4，本申请实施例还提供一种用于检测业务异常的AI模型自动化更新设备，用于检测业务异常的AI模型自动化更新设备140以通用电子设备的形式表现。用于检测业务异常的AI模型自动化更新设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例提供的用于检测业务异常的AI模型自动化更新方法。
用于检测业务异常的AI模型自动化更新设备140的组件可以包括但不限于：上述至少一个处理器141、上述至少一个存储器142、连接不同系统组件(包括存储器142和处理器141)的总线143。
总线143表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器142可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1421和/或高速缓存存储器1422，还可以进一步包括只读存储器(ROM)1423。
存储器142还可以包括具有一组(至少一个)程序模块1424的程序/实用工具1425，这样的程序模块1424包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
用于检测业务异常的AI模型自动化更新设备140也可以与一个或多个外部设备144(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备交互的设备通信，和/或与使得该用于检测业务异常的AI模型自动化更新设备140能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口145进行。并且，用于检测业务异常的AI模型自动化更新设备140还可以通过网络适配器146与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器146通过总线143与用于检测业务异常的AI模型自动化更新设备140的其它模块通信。应当理解，尽管图中未示出，可以结合用于检测业务异常的AI模型自动化更新设备140使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本申请提供的一种用于检测业务异常的AI模型自动化更新方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种用于检测业务异常的AI模型自动化更新方法的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于用于检测业务异常的AI模型自动化更新的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务端上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和方框图来描述的。应理解可由计算机程序指令实现流程图和方框图中的每一流程和/或方框、以及流程图和方框图中的流程和方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (17)
1.一种用于检测业务异常的AI模型自动化更新方法，应用于智能安全分析平台，其特征在于，包括：
获取业务日志信息中由当前AI模型导致的误报和/或漏报信息；
基于所述误报和/或漏报信息获得增量训练样本集；
基于所述增量训练样本集训练包括所述当前AI模型的至少一个AI模型，基于测试结果更新或不更新所述当前AI模型。
2.根据权利要求1所述的方法，其特征在于，基于所述增量训练样本集训练包括所述当前AI模型的至少一个AI模型，包括执行如下任一或任多个AI模型训练步骤：
利用增量训练样本集训练当前AI模型；
利用全量训练样本集训练当前AI模型；
利用全量训练样本集训练其他AI模型；
所述全量训练样本集包括增量训练样本集及训练得到当前AI模型的原始训练样本集。
3.根据权利要求2所述的方法，其特征在于，在执行任多个AI模型训练步骤时，按照如下优先级依次执行：
利用全量训练样本集训练其他AI模型的优先级最低，利用增量训练样本集训练当前AI模型的优先级，等于或大于利用全量训练样本集训练当前AI模型的优先级。
4.根据权利要求3所述的方法，其特征在于，基于测试结果更新或不更新所述当前AI模型，包括：
每个AI模型训练步骤结束，利用测试训练样本集对当前训练得到的AI模型进行测试；
确定测试通过时，结束AI模型训练，利用训练得到的AI模型替换当前AI模型；
否则不更新所述当前AI模型，并触发下个低优先级的AI模型训练步骤。
5.根据权利要求3所述的方法，其特征在于，按照执行优先级执行利用增量训练样本集训练当前AI模型和利用全量训练样本集训练当前AI模型时，包括：
基于当前AI模型，利用增量训练样本集和全量训练样本集交替进行模型调整，至得到测试通过的AI模型或达到训练次数；
其中，在利用增量训练样本集进行M次模型调整后，切换到利用全量训练样本集，对当前训练得到的AI模型进行模型调整，调整后对AI模型进行测试，M为正整数；
利用全量训练样本集进行N次模型调整后，切换到利用增量训练样本集，对当前训练得到的AI模型进行模型调整，调整后对AI模型进行测试，N为正整数。
6.根据权利要求2所述的方法，其特征在于，利用全量训练样本集训练其他AI模型，包括：
从本地或其他服务器获取在满足设定条件时，利用全量训练样本集对N个其他AI模型训练得到的多个其他AI模型；
基于测试结果更新或不更新所述当前AI模型，包括：
根据测试结果确定存在准确率优于当前AI模型，且准确率高于阈值的其他AI模型时，选择准确率最高的其他AI模型替换当前AI模型，否则不替换当前AI模型。
7.根据权利要求6所述的方法，其特征在于，还包括：
根据测试结果不存在满足要求的其他AI模型时，间隔设定时间后从本地或其他服务器获取利用新产生的增量训练样本集对N个其他AI模型优化训练得到的多个其他AI模型，并重新基于测试结果更新或不更新所述当前AI模型。
8.根据权利要求1所述的方法，其特征在于，基于所述误报和/或漏报信息获得增量训练样本集，包括：
根据误报和/或漏报信息及对应的正确标签，得到初始训练样本集；
保持所述误报和/或漏报信息语义不变，对所述初始训练样本集进行扩充，得到增量训练样本集。
9.根据权利要求8所述的方法，其特征在于，保持所述误报和/或漏报信息语义不变，对所述初始训练样本集进行扩充，得到增量训练样本集，包括：
对所述日志信息中误报和/或漏报信息进行语义和语法的结果；
根据解析结果，按照预设规则修改所述误报和/或漏报信息并保持语义不变，得到扩充的误报和/或漏报信息；
将所述扩充的错报和/或漏报信息，与日志信息中的错报和/或漏报信息作为增量训练样本集。
10.根据权利要求9所述的方法，其特征在于，按照预设规则修改所述误报和/或漏报信息并保持语义不变，得到扩充的误报和/或漏报信息，包括如下至少一个步骤：
对所述日志信息中的误报和/或漏报信息录增加噪声数据，得到扩充的误报和/或漏报信息；
基于对所述日志信息中的误报和/或漏报信息进行语义和语法解析的结果，改变所述误报和/或漏报信息中分词的位置，得到扩充的误报和/或漏报信息；
根据预先建立的同义词库，对所述日志信息中的误报和/或漏报信息中分词进行同义词替换，得到扩充的误报和/或漏报信息。
11.根据权利要求1～10任一所述的方法，其特征在于，获取业务日志信息中由当前AI模型导致的误报和/或漏报信息，包括如下至少一个步骤：
利用AI模型对日志信息异常检测，并利用设定业务异常检测算法对日志信息异常检测，确定检测结果不一致的误报和/或漏报信息；
根据人工标注信息，确定业务日志信息中误报和/或漏报信息；
根据预先设定漏报和/或误报信息的特征，采用特征匹配方式确定业务日志信息中误报和/或漏报信息；
利用漏报或误报信息获取工具，确定业务日志信息中误报和/或漏报信息。
12.根据权利要求11所述的方法，其特征在于，利用设定业务异常检测算法日志信息异常检测，包括：
利用至少一个不同于当前AI模型的标注算法，对日志信息进行特征提取，提取的特征包括一个特征或多个特征或多个特征之间的关联特性；
将基于提取的特征确定业务访问的分类。
13.根据权利要求11所述的方法，其特征在于，还包括：
当前AI模型训练结束且未通过测试时，增加利用设定业务异常检测算法对各所述误报和/或漏报信息所提取的特征，并重新确定误报和/或漏报信息对应的标签；或者获取人工对检测结果不一致的误报和/或漏报信息所标定的标签；
利用更正标签后的增量训练样本集替换之前的增量训练样本集，并触发再次训练。
14.根据权利要求11所述的方法，其特征在于，所述误报和/或漏报信息及对应的正确标签采用如下方式确定：
根据利用设定业务异常检测算法对日志信息异常检测的结果，确定误报和/或漏报信息及对应的正确标签；或者
通过聚类算法对所述误报和/或漏报信息进行聚类，通过逐渐增大簇间间距，减小簇内距离，将所述误报和/或漏报信息聚类为设定簇数；
根据同一簇内的误报和/或漏报信息的分类，确定对应的正确标签。
15.一种用于检测业务异常的AI模型更新装置，其特征在于，包括：
异常日志获取模块，用于获取业务日志信息中由当前AI模型导致的误报和/或漏报信息；
样本扩充模块，用于基于所述误报和/或漏报信息获得增量训练样本集；
模型训练模块，用于基于所述增量训练样本集训练包括所述当前AI模型的至少一个AI模型，基于测试结果更新或不更新所述当前AI模型。
16.一种用于检测业务异常的AI模型自动化更新设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求14中任一项所述的方法。
17.一种计算机程序介质，其特征在于，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～14任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311036657.9A CN117170724A (zh) | 2023-08-16 | 2023-08-16 | 用于检测业务异常的ai模型自动化更新方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311036657.9A CN117170724A (zh) | 2023-08-16 | 2023-08-16 | 用于检测业务异常的ai模型自动化更新方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117170724A true CN117170724A (zh) | 2023-12-05 |
Family
ID=88938591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311036657.9A Pending CN117170724A (zh) | 2023-08-16 | 2023-08-16 | 用于检测业务异常的ai模型自动化更新方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117170724A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118093325A (zh) * | 2024-04-28 | 2024-05-28 | 中国民航大学 | 一种日志模板获取方法、电子设备和存储介质 |
-
2023
- 2023-08-16 CN CN202311036657.9A patent/CN117170724A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118093325A (zh) * | 2024-04-28 | 2024-05-28 | 中国民航大学 | 一种日志模板获取方法、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3798846B1 (en) | Operation and maintenance system and method | |
| CN109271272B (zh) | 基于非结构化日志的大数据组件故障辅助修复系统 | |
| CN107832196B (zh) | 一种用于实时日志异常内容的监测装置及监测方法 | |
| US20140223555A1 (en) | Method and system for improving security threats detection in communication networks | |
| CN109992484B (zh) | 一种网络告警相关性分析方法、装置和介质 | |
| CN115809183A (zh) | 基于知识图谱的信创终端故障发现及处置的方法 | |
| CN111585799A (zh) | 网络故障预测模型建立方法及装置 | |
| CN112181960A (zh) | 一种基于AIOps的智能运维框架系统 | |
| CN117170724A (zh) | 用于检测业务异常的ai模型自动化更新方法、装置及设备 | |
| CN115170344A (zh) | 调控系统运行事件智能处理方法及装置、介质及设备 | |
| CN114564726A (zh) | 一种基于大数据办公的软件漏洞分析方法及系统 | |
| CN116361147A (zh) | 测试用例根因定位方法及其装置、设备、介质、产品 | |
| CN111522705A (zh) | 一种工业大数据智能运维解决方法 | |
| CN113065580A (zh) | 一种基于多信息融合的电厂设备管理方法及系统 | |
| CN111352820A (zh) | 一种高性能应用运行状态预测和监控方法、设备和装置 | |
| CN116909788A (zh) | 一种任务导向和视角不变的多模态故障诊断方法及系统 | |
| CN116611813A (zh) | 一种基于知识图谱的智能运维管理方法及系统 | |
| CN115062144A (zh) | 一种基于知识库和集成学习的日志异常检测方法与系统 | |
| CN114168409A (zh) | 一种业务系统运行状态监控预警方法与系统 | |
| CN114238599A (zh) | 一种信息通信系统故障应急辅助决策方法及系统 | |
| US10997375B2 (en) | System for selective data capture and translation | |
| CN111475380A (zh) | 一种日志分析方法和装置 | |
| CN114721861B (zh) | 一种基于日志差异化比对的故障定位方法与系统 | |
| CN118133207B (zh) | 跨领域日志异常检测模型构建方法、装置、设备及介质 | |
| CN117220998B (zh) | 一种防火墙策略统一范式化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |