CN115378747B

CN115378747B - 恶意数据检测方法、终端设备以及存储介质

Info

Publication number: CN115378747B
Application number: CN202211322440.XA
Authority: CN
Inventors: 刘凯
Original assignee: Beijing 6Cloud Technology Co Ltd; Beijing 6Cloud Information Technology Co Ltd
Current assignee: Beijing 6Cloud Technology Co Ltd; Beijing 6Cloud Information Technology Co Ltd
Priority date: 2022-10-27
Filing date: 2022-10-27
Publication date: 2023-01-24
Anticipated expiration: 2042-10-27
Also published as: CN115378747A

Abstract

本申请公开了一种恶意数据检测方法、终端设备以及存储介质，该方法包括：获取待检测的目标数据；通过多个引擎对目标数据以异步任务队列方式进行检测，得到多个引擎检测结果；基于预设的融合算法对多个引擎检测结果进行融合处理，得到最终告警结果。本发明方案极大程度的解决了高负载流量下，使用多引擎对恶意流量/文件检测时，产生大量重复、低质量、误报的告警，极大的提高了检测准确率，同时本方法既能方便安全设备厂商不断更新检测手段、类型来抵制新的攻击，也能方便用户现场特殊的环境下通过算法不断修正来不断的提高多引擎检测准确率。

Description

恶意数据检测方法、终端设备以及存储介质

技术领域

本申请涉及网络安全技术领域，尤其涉及一种恶意数据检测方法、终端设备以及存储介质。

背景技术

随着信息化高速发展，互联网中承载的数据量越来越庞大，随之而来的恶意文件、流量也越来越多，企业的信息化安全也变得越来越重要，因此网络安全设备也变得越来越重要。

为保证企业信息安全，对恶意数据的检测方法日趋多样化。检测方法和检测手段的多样化，同时伴随着检测结果过于复杂，无法直观的判断文件、流量的检测结果、恶意程度等。目前对恶意数据的检测通常是通过多个引擎对文件、流量进行检测，基于各个引擎的检测结果，以少数服从多数原则，判断文件、流量是否为恶意数据。但传统方式中，通过多个引擎对文件、流量的检测会产生大量重复、低质量、误报的告警，并且在网络安全设备工作的过程中，不可避免的会有引擎升级、引擎的开关、病毒库更新等操作，此时传统方法无法适配，从而导致检测结果失真，因此检测的准确率较低。

因此针对恶意数据检测准确率低的问题，有必要提出一种提高检测恶意数据准确率的方法。

发明内容

本申请的主要目的在于提供一种恶意数据检测方法、终端设备以及存储介质，旨在提高恶意数据检测的准确率。

为实现上述目的，本申请提供一种恶意数据检测方法，所述恶意数据检测方法包括：

获取待检测的目标数据；

通过多个引擎对所述目标数据以异步任务队列方式进行检测，得到多个引擎检测结果；

基于预设的融合算法对所述多个引擎检测结果进行融合处理，得到最终告警结果。

可选地，所述通过多个引擎对所述目标数据以异步任务队列方式进行检测，得到多个引擎检测结果的步骤包括：

通过多个引擎对所述目标数据的任务队列进行异步检测；

在每个引擎检测完成后，将各引擎的检测结果放入预设的引擎检测结果队列中，得到多个引擎检测结果。

可选地，所述基于预设的融合算法对所述多个引擎检测结果进行融合处理的步骤之前还包括：

从所述引擎检测结果队列中获取所述目标数据对应的当前检测结果；

分析所述当前检测结果；

根据分析结果判断所述目标数据是否被所有引擎检测完毕；

若所述目标数据已被所有引擎检测完毕，则执行步骤：基于预设的融合算法对所述多个引擎检测结果进行融合处理；

若所述目标数据未被所有引擎检测完毕，则判断所述当前检测结果中是否存在恶意数据；

若所述当前检测结果中存在恶意数据，则将所述当前检测结果放置于临时告警缓存队列，并在前端页面进行临时告警；

在融合算法处理结束后，在前端生成最终的正式告警，并删除临时告警缓存队列中的告警，下发最终告警结果。

可选地，所述从所述引擎检测结果队列中获取所述目标数据对应的当前检测结果的步骤之后还包括：

读取当前检测结果对应的当前引擎状态，基于所述当前引擎状态，动态加载当前引擎配置；

根据用户的操作指令进行以下操作中的一种或多种：

关闭当前检测引擎；开启当前检测引擎；添加新的检测引擎；在所述引擎检测结果队列中更新检测结果；在所述引擎检测结果队列中创建新的检测结果。

可选地，所述基于预设的融合算法对所述多个引擎检测结果进行融合处理的步骤包括：

基于预设的融合算法，从多维度对所述多个引擎检测结果进行融合处理，其中，多维度至少包括：目标数据中流量/文件的类型、大小，触发的规则集，引擎的特性。

可选地，所述方法还包括：

根据预设条件，更新所述融合算法。

可选地，所述根据预设条件，更新所述融合算法的步骤包括：

在升级引擎、更新病毒库，和/或新增流量/文件检测类型操作时，生成引擎检测算法报告；

根据所述引擎检测算法报告更新所述融合算法的配置；

根据更新后的融合算法的配置，重置融合算法基线；

对所述融合算法重新初始化以加载新的算法基线，得到更新后的融合算法。

可选地，所述方法还包括：

根据前端研判结果反馈的告警结果修正所述算法基线；和/或

将所述最终告警结果存入数据库。

本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的恶意数据检测程序，所述恶意数据检测程序被所述处理器执行时实现如上所述的恶意数据检测方法的步骤。

本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有恶意数据检测程序，所述恶意数据检测程序被处理器执行时实现如上所述的恶意数据检测方法的步骤。

本申请实施例提出的恶意数据检测方法、终端设备以及存储介质，通过获取待检测的目标数据；通过多个引擎对所述目标数据以异步任务队列方式进行检测，得到多个引擎检测结果；基于预设的融合算法对所述多个引擎检测结果进行融合处理，得到最终告警结果。由此，通过多个引擎对目标数据以异步任务队列方式进行检测，并结合预设的融合算法对多个引擎检测结果进行融合处理，极大程度的解决了高负载流量下，使用多引擎对恶意流量/文件检测时，产生大量重复、低质量、误报的告警，极大的提高了检测准确率，同时本方法既能方便安全设备厂商不断更新检测手段、类型来抵制新的攻击，也能方便用户现场特殊的环境下通过算法不断修正来不断的提高多引擎检测准确率。

附图说明

图1为本申请恶意数据检测装置所属终端设备的功能模块示意图；

图2为本申请恶意数据检测方法一示例性实施例的流程示意图；

图3为本申请恶意数据检测方法另一示例性实施例的流程示意图；

图4为本申请恶意数据检测方法实施例的整体流程示意图；

图5为本申请恶意数据检测方法实施例的具体流程示意图；

图6为本申请恶意数据检测方法又一示例性实施例的流程示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例的主要解决方案是：通过获取待检测的目标数据；通过多个引擎对所述目标数据以异步任务队列方式进行检测，得到多个引擎检测结果；基于预设的融合算法对所述多个引擎检测结果进行融合处理，得到最终告警结果。由此，通过多个引擎对目标数据以异步任务队列方式进行检测，并结合预设的融合算法对多个引擎检测结果进行融合处理，极大程度的解决了高负载流量下，使用多引擎对恶意流量/文件检测时，产生大量重复、低质量、误报的告警，极大的提高了检测准确率，同时本方法既能方便安全设备厂商不断更新检测手段、类型来抵制新的攻击，也能方便用户现场特殊的环境下通过算法不断修正来不断的提高多引擎检测准确率。

本申请实施例考虑到，目前对恶意数据的检测通常是通过多个引擎对文件、流量进行检测，基于各个引擎的检测结果，以少数服从多数原则，判断文件、流量是否为恶意数据。但传统方式中，通过多个引擎对文件、流量的检测会产生大量重复、低质量、误报的告警，并且在网络安全设备工作的过程中，不可避免的会有引擎升级、引擎的开关、病毒库更新等操作，此时传统方法无法适配，从而导致检测结果失真，检测的准确率较低。

因此，本申请实施例提出解决方案，通过多个引擎对目标数据以异步任务队列方式进行检测，并结合预设的融合算法对多个引擎检测结果进行融合处理，可以提高恶意数据检测的准确率。

具体地，参照图1，图1为本申请恶意数据检测装置所属终端设备的功能模块示意图。该恶意数据检测装置可以为独立于终端设备的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。

在本实施例中，该恶意数据检测装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。

存储器130中存储有操作系统以及恶意数据检测程序；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。

其中，存储器130中的恶意数据检测程序被处理器执行时实现以下步骤：

获取待检测的目标数据；

进一步地，存储器130中的恶意数据检测程序被处理器执行时还实现以下步骤：

通过多个引擎对所述目标数据的任务队列进行异步检测；

分析所述当前检测结果；

根据分析结果判断所述目标数据是否被所有引擎检测完毕；

若所述当前检测结果中存在恶意数据，则将所述当前检测结果放置于临时告警缓存队列；

通过前端提醒所有引擎检测完成，并删除临时告警缓存队列中的告警，下发最终告警结果。

根据用户的操作指令进行以下操作中的一种或多种：

根据预设条件，更新所述融合算法。

根据所述引擎检测算法报告更新所述融合算法的配置；

根据更新后的融合算法的配置，重置融合算法基线；

根据前端研判结果反馈的告警结果修正所述算法基线；和/或

将所述最终告警结果存入数据库。

本实施例通过上述方案，具体通过获取待检测的目标数据；通过多个引擎对所述目标数据以异步任务队列方式进行检测，得到多个引擎检测结果；基于预设的融合算法对所述多个引擎检测结果进行融合处理，得到最终告警结果。由此，通过多个引擎对目标数据以异步任务队列方式进行检测，并结合预设的融合算法对多个引擎检测结果进行融合处理，极大程度的解决了高负载流量下，使用多引擎对恶意流量/文件检测时，产生大量重复、低质量、误报的告警，极大的提高了检测准确率，同时本方法既能方便安全设备厂商不断更新检测手段、类型来抵制新的攻击，也能方便用户现场特殊的环境下通过算法不断修正来不断的提高多引擎检测准确率。

基于上述终端设备架构但不限于上述架构，提出本申请方法实施例。

本实施例方法的执行主体可以是一种恶意数据检测装置，也可以是一种恶意数据检测终端设备（比如网络安全设备）或服务器，本实施例以网络安全设备进行举例。

参照图2，图2为本申请恶意数据检测方法一示例性实施例的流程示意图。所述恶意数据检测方法包括：

步骤S101，获取待检测的目标数据；

其中，待检测的目标数据可以是各种企业信息，比如各种网络流量、文件、报文等数据。

作为一种实施方式，可以通过各种渠道获取待检测的目标数据，将获取的待检测的目标数据传输给网络安全设备，通过网络安全设备对待检测的目标数据进行恶意检测。

步骤S102，通过多个引擎对所述目标数据以异步任务队列方式进行检测，得到多个引擎检测结果；

作为一种实施方式，可以在网络安全设备中配置多个引擎，并将各个检测引擎进行异步部署，通过多个引擎对所述目标数据以异步任务队列方式进行检测，得到多个引擎检测结果。

其中，多个引擎通过异步的处理方式，也就是说多个引擎同时会处理多个流量/文件，每个引擎都有自己的任务队列，由此可以在提升整体处理流程效率的同时，也防止木桶效应。

步骤S103，基于预设的融合算法对所述多个引擎检测结果进行融合处理，得到最终告警结果。

其中，预设的融合算法可以是一种多引擎告警结果融合算法，其原理可以是从多个维度计算各个引擎的检测结果，也就是说，多引擎告警结果融合算法内部会多维度的计算各个引擎的检测结果，多维度比如流量/文件的类型、大小、触发的规则集、引擎的特性等方面。

本实施例通过上述方案，具体通过获取待检测的目标数据；通过多个引擎对所述目标数据以异步任务队列方式进行检测，得到多个引擎检测结果；基于预设的融合算法对所述多个引擎检测结果进行融合处理，得到最终告警结果。由此，通过多个引擎对目标数据以异步任务队列方式进行检测，并结合预设的融合算法对多个引擎检测结果进行融合处理，极大程度的解决了高负载流量下，使用多引擎对恶意流量/文件检测时，产生大量重复、低质量、误报的告警，极大的提高了检测准确率。

参照图3，图3为本申请恶意数据检测方法另一示例性实施例的流程示意图。

如图3所示，本实施例在上述图2所示的实施例的基础上，上述步骤S102，通过多个引擎对所述目标数据以异步任务队列方式进行检测，得到多个引擎检测结果包括：

步骤S1021，通过多个引擎对所述目标数据的任务队列进行异步检测，在每个引擎检测完成后，将各引擎的检测结果放入预设的引擎检测结果队列中，得到多个引擎检测结果；

同时，在上述步骤S103，基于预设的融合算法对所述多个引擎检测结果进行融合处理之前还包括：

步骤S1022，从所述引擎检测结果队列中获取所述目标数据对应的当前检测结果；

步骤S1023，分析所述当前检测结果；

步骤S1024，根据分析结果判断所述目标数据是否被所有引擎检测完毕；若所述目标数据已被所有引擎检测完毕，则执行步骤S103，基于预设的融合算法对所述多个引擎检测结果进行融合处理；

若所述目标数据未被所有引擎检测完毕，则执行步骤S1025，判断所述当前检测结果中是否存在恶意数据；

步骤S1026，若所述当前检测结果中存在恶意数据，则将所述当前检测结果放置于临时告警缓存队列，并在前端页面进行临时告警；

步骤S1027，在融合算法处理结束后，在前端生成最终的正式告警，并删除临时告警缓存队列中的告警，下发最终告警结果。

具体地，在本实施例中，在网络安全设备中配置多个引擎，并将各个检测引擎进行异步部署，通过多个引擎对所述目标数据以异步任务队列方式进行检测，得到多个引擎检测结果。

其中，如图4所示，多个引擎通过异步的处理方式，也就是说引擎1/2/3同时会处理多个流量/文件，每个引擎都有自己的任务队列，由此可以在提升整体处理流程效率的同时，也防止木桶效应。

具体地，通过多个引擎对所述目标数据的任务队列进行异步检测，在每个引擎检测完成后，将各引擎的检测结果放入预设的引擎检测结果队列中，得到多个引擎检测结果。

之后，可以基于预设的融合算法对所述多个引擎检测结果进行融合处理，得到最终告警结果。

其中，作为一种实施方式，可以在网络安全设备中设置综合结果判断处理模块，如图4所示，通过综合结果判断处理模块根据内部的融合算法将结果放置于临时告警缓存队列，或者算出最终的流量/文件的检测结果存入数据库。

其中，综合结果判断处理模块的详细处理流程可以参照图5所示。

具体实现时，首先，从所述引擎检测结果队列中获取所述目标数据对应的当前检测结果，其中，目标数据可以是文件/流量对应的数据（如图5中步骤b所示）；

分析所述当前检测结果；

根据分析结果判断所述目标数据是否被所有引擎检测完毕（如图5中步骤c所示）；

若所述目标数据已被所有引擎检测完毕，则基于多引擎告警结果融合算法对所述多个引擎检测结果进行融合处理，将最终告警结果存入数据库（如图5中步骤h所示）；

若所述目标数据未被所有引擎检测完毕，则判断所述当前检测结果中是否存在恶意数据（如图5中步骤d所示）；

其中，后端在检测完成后都会删除临时告警队列。

读取当前检测结果对应的当前引擎状态，基于所述当前引擎状态，动态加载当前引擎配置（如图5中步骤a所示）；

根据用户的操作指令进行以下操作中的一种或多种：

也就是说，网络安全设备在分析检测结果的过程中，或者在分析检测结果之前，程序会在运行时，动态加载当前检测引擎的配置，用户可以随时关闭、开启检测引擎，甚至可以添加新的检测引擎，本方法都支持。

此外，根据流量/文件等数据，可以在检测结果队列中创建新的数据，各个检测引擎可以去修改对应的数据，更新自己的检测结果。

在每次更新数据库后触发检测任务完成情况（或者定时检测），判断流量/文件是否被所有引擎检测完毕，如果所有引擎都检测完毕，那么就可以开始多引擎结果融合。

如果文件/流量已经有检测结果，但是没有被完全检测出来，那么会放入临时告警模块，在前端会对用户进行提醒，从而可以提高检测时效性。在用户查看验证过程中，后台也会不断的根据引擎检测结果进行告警内容的丰富，指导所有引擎检测完成，之后，删除临时告警队列中的告警，然后下发正式告警结果。将所述最终告警结果存入数据库。

参照图6，图6为本申请恶意数据检测方法又一示例性实施例的流程示意图。

如图6所示，本实施例在上述图2所示的实施例的基础上，在上述步骤S103，基于预设的融合算法对所述多个引擎检测结果进行融合处理之后还包括：

步骤S104，根据预设条件，更新所述融合算法。

具体地，作为一种实施方式，所述根据预设条件，更新所述融合算法可以采用如下方案：

根据所述引擎检测算法报告更新所述融合算法的配置；

根据更新后的融合算法的配置，重置融合算法基线；

此外，还可以根据前端研判结果反馈的告警结果修正所述算法基线。

本实施例考虑到：随着攻击手段的频繁更新换代，网络安全设备工作的过程中，不可避免的会有引擎升级、引擎的开关、病毒库更新等操作，此时传统方法无法适配，从而导致检测结果失真。另外在某些特殊的时间段，或者特殊的用户场景下，比如针对特定行业集中爆发的特定攻击，传统方法大概率会漏报，或者对危害程度降级处理，让用户错失了第一时间处理的时机。

本实施例方案中，如图5所示，在网络安全设备每次升级引擎、更新病毒库、新增流量/文件检测类型等操作的情况下，会同步提交引擎检测算法报告，用来更新本设备的算法配置（如图5中步骤e所示）。

然后，根据更新后的融合算法的配置，重置融合算法基线（如图5中步骤f所示）。

然后，对多引擎告警结果融合算法重新初始化以加载新的算法基线。

此外，可以通过前端研判结果反馈的告警结果修改算法基线（如图5中步骤g所示），比如可以在特定的用户场景下修改算法基线，使得检测结果越来越准确。

最终多引擎告警结果融合算法内部会多维度的计算各个引擎的检测结果，比如流量/文件的类型、大小、触发的规则集、引擎的特性等，将最终告警结果存入数据库（如图5中步骤h所示）。

通过在测试环境上验证，在没有开启多引擎告警融合的情况下使用5个检测引擎，上送的流量/告警500条，其中恶意的为100条。最终，告警数为375条，其中误报为68条，且无法区分恶意程度。而使用多引擎告警融合的情况下，风险及以上告警数为99条，1条为信息级别。可以看到效果非常显著，而且增加引擎数，也不会有多余的告警，结果反而会更加精确，加上有临时告警队列的存在，检测时效也不会受太大的影响。

此发明方法极大程度的解决了高负载流量下，使用多引擎对恶意流量/文件检测时，产生大量重复、低质量、误报的告警，极大的提高了检测准确率，同时本方法既能方便安全设备厂商不断更新检测手段、类型来抵制新的攻击，也能方便用户现场特殊的环境下通过算法不对修正来不断的提高多引擎检测准确率。

由于本恶意数据检测程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims

1.一种恶意数据检测方法，其特征在于，所述恶意数据检测方法包括：

获取待检测的目标数据，所述待检测的目标数据包括网络流量和文件对应的数据；

通过多个引擎对所述目标数据的任务队列进行异步检测；

在每个引擎检测完成后，将各引擎的检测结果放入预设的引擎检测结果队列中，得到多个引擎检测结果，所述多个引擎检测结果包括所述网络流量的类型和大小、所述文件的类型和大小；

基于预设的融合算法对所述多个引擎检测结果进行融合处理，得到最终告警结果；

所述基于预设的融合算法对所述多个引擎检测结果进行融合处理的步骤包括：

基于预设的融合算法，从多维度对所述多个引擎检测结果进行融合处理，其中，多维度至少包括：目标数据中流量/文件的类型、大小，触发的规则集，引擎的特性；

所述基于预设的融合算法对所述多个引擎检测结果进行融合处理的步骤之前还包括：

分析所述当前检测结果；

根据分析结果判断所述目标数据是否被所有引擎检测完毕；

2.根据权利要求1所述的恶意数据检测方法，其特征在于，所述从所述引擎检测结果队列中获取所述目标数据对应的当前检测结果的步骤之后还包括：

根据用户的操作指令进行以下操作中的一种或多种：

3.根据权利要求1-2中任一项所述的恶意数据检测方法，其特征在于，所述方法还包括：

根据预设条件，更新所述融合算法。

4.根据权利要求3所述的恶意数据检测方法，其特征在于，所述根据预设条件，更新所述融合算法的步骤包括：

根据所述引擎检测算法报告更新所述融合算法的配置；

根据更新后的融合算法的配置，重置融合算法基线；

5.根据权利要求4所述的恶意数据检测方法，其特征在于，所述方法还包括：

根据前端研判结果反馈的告警结果修正所述算法基线；和/或

将所述最终告警结果存入数据库。

6.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的恶意数据检测程序，所述恶意数据检测程序被所述处理器执行时实现如权利要求1-5中任一项所述的恶意数据检测方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有恶意数据检测程序，所述恶意数据检测程序被处理器执行时实现如权利要求1-5中任一项所述的恶意数据检测方法的步骤。