CN116185672B - 一种数据监控方法、装置及存储介质 - Google Patents

Abstract

本发明还提供一种数据监控方法，包括获取数据源信息及数据源产生的历史数据；基于数据源产生的历史数据，在预定时间段，获得预定学习维度的行为基线；对数据源产生的实时数据进行流式处理，根据实时数据及预定学习维度的行为基线，获取实时数据的类型。本发明可对多种产品的海量数据同时处理，实现了多种产品的数据统一处理，并实时筛选出有价值的数据，大大减少了人工查询操作；通过对比行为基线，实时输出用户异常行为，对用户安全进行安全预警；且在异常数据实时输出之后，可进一步地对异常数据再判断，增加风险监控的准确性。此外，本发明还提供一种数据监控装置及存储介质。

Description

一种数据监控方法、装置及存储介质

技术领域

本发明涉及计算机处理技术领域，具体而言，涉及一种数据监控方法、装置及存储介质。

背景技术

伴随社会对数据安全建设的推进，各企业通过安装数据安全治理产品进行数据的安全建设，且数据安全治理产品会产生海量的用户风险操作数据。企业如何在海量数据中发现了某个用户异于往常的操作行为，是亟待解决的问题。现有技术中，通过对各个数据安全治理产品的数据进行定期的查询及人工对比，或通过各个数据安全治理产品得到图标数据，来对比用户行为，或通过对数据库中的增量数据统计，并通过对比数据来解决上述问题。

但不管是上述何种方法，只能通过各个产品分析自己的数据，精确度有待提高。且上述方法中的数据均靠人工比较，在海量数据下费时费力，数据的准确度不高，且上述方法多为事后补救方法，不具备实时性。

因此，如何提高数据安全的准确性、及时性是亟待解决的技术问题。

发明内容

本发明实施例提供了一种数据监控方法、装置及存储介质，能够解决相关技术中如何提高数据安全的准确性、及时性的技术问题。所述技术方案如下：

一方面，本发明提供了一种数据监控方法，所述方法包括：

获取数据源信息及所述数据源产生的历史数据；其中，所述数据源包括至少一个数据安全产品；所述历史数据携带有数据源信息、客户端标识、所述客户端产生的历史操作信息；

基于所述数据源产生的历史数据，在预定时间段，获得预定学习维度的行为基线；所述学习维度包括客户端标识、所述客户端产生的历史操作信息中的至少之一；

对所述数据源产生的实时数据进行流式处理，根据所述实时数据及预定学习维度的行为基线，获取所述实时数据的类型；其中，所述实时数据携带有数据源信息、客户端标识、所述客户端产生的实时操作信息。

进一步地，所述实时数据的类型为异常或正常；

所述数据监控方法还包括：

当所述实时数据的类型为异常时，进行异常数据的存储或再判断；

当所述实时数据的类型为正常时，不进行异常数据的存储；

当所述再判断的结果为正常时，将所述实时数据作为所述历史数据添加到所述行为基线中，继续对所述数据源产生的实时数据进行流式处理；

当所述再判断的结果为异常时，进行异常数据的存储。

进一步地，所述数据安全产品包括终端数据安全产品、网络数据安全产品、数据库数据安全产品。

进一步地，对所述数据源产生的实时数据进行流式处理，根据所述实时数据及预定学习维度的行为基线，获取所述实时数据的类型，包括：

对所述数据源产生的实时数据，由流式处理模块判断所述实时数据是否存在于所述行为基线中；

当所述实时数据存在于所述行为基线中时，所述实时数据的类型为正常；

当所述实时数据不存在于所述行为基线中时，所述实时数据的类型为异常。

进一步地，还包括：当所述实时数据的类型为异常时，获得所述实时数据的异常等级；

所述获得所述实时数据的异常等级，包括：

获得所述实时数据携带的信息与所述行为基线携带的信息不匹配的数量；

根据所述不匹配的数量，获取所述实时数据的异常等级。

进一步地，还包括：当所述实时数据的类型为异常时，获得所述实时数据的异常等级；

所述获得所述实时数据的异常等级，包括：

对比所述实时数据携带的信息与所述行为基线携带的信息；

获得二者不匹配的信息；

根据所述不匹配的信息的优先级顺序，获取所述实时数据的异常等级。

进一步地，当所述学习维度包括客户端标识和客户端产生的历史操作信息时；

在判断所述实时数据是否存在于所述行为基线中时，所述客户端标识的优先级大于所述客户端产生的历史操作信息的优先级。

进一步地，所述基于所述数据源产生的历史数据，在预定时间段，获得预定学习维度的行为基线，包括：

在预定时间段内，查询所述数据源产生的历史数据；

按所述学习维度进行统计，得到行为基线，所述行为基线的界面至少包括添加操作和删除操作。

另一方面，本发明提供了一种数据监控装置，包括：

数据获取模块，用于获取数据源信息及所述数据源产生的历史数据；其中，所述数据源包括至少一个数据安全产品；所述历史数据携带有所述数据源信息、客户端标识、所述客户端产生的历史操作信息；

基线学习模块，用于基于所述数据源产生的历史数据，在预定时间段，获得预定学习维度的行为基线；所述学习维度包括客户端标识、所述客户端产生的历史操作信息中的至少之一；

处理模块，用于对所述数据源产生的实时数据进行流式处理，根据所述实时数据及预定学习维度的行为基线，获取所述实时数据的类型；其中，所述实时数据携带有所述数据源信息、客户端标识、所述客户端产生的实时操作信息。

再一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器读取并执行实现如上任一项所述的方法。

本发明的有益效果如下：本发明可对多种产品的海量数据同时处理，实现了多种产品的数据统一处理，并实时筛选出有价值的数据，大大减少了人工查询操作；通过对比行为基线，实时输出用户异常行为，对用户安全进行安全预警；且在异常数据实时输出之后，可进一步地对异常数据再判断，增加风险监控的准确性。此外，本发明通过增加多次判断过程，增加了判断的精确度。例如先判断数据类型，再判断数据等级；先判断数据类型，再人工判断数据类型。通过多次判断，降低了数据的误识别率，提高数据精确度。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1为本发明一种数据监控方法一个具体实施例的流程图；

图2为本发明一种数据监控方法中部分示意图；

图3为本发明一种数据监控方法一个具体实施例的硬件流程图；

图4为本发明一种数据监控装置一个具体实施例的示意图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

如图1所示，一种数据监控方法，包括：

S10、获取数据源信息及数据源产生的历史数据；其中，数据源包括至少一个数据安全产品；历史数据携带有数据源信息、客户端标识、客户端产生的历史操作信息。

S20、基于数据源产生的历史数据，在预定时间段，获得预定学习维度的行为基线；学习维度包括客户端标识、客户端产生的历史操作信息中的至少之一。

S30、对数据源产生的实时数据进行流式处理，根据实时数据及预定学习维度的行为基线，获取实时数据的类型；其中，实时数据携带有数据源信息、客户端标识、客户端产生的实时操作信息。

其中，在上述步骤中，数据安全产品包括终端数据安全产品、网络数据安全产品、数据库数据安全产品。即步骤S10可以理解为，数据源包括多种数据安全产品，数据安全治理产品或数据安全产品有多种。多种数据安全产品产生的用户风险数据或用户数据定义为历史数据，多种数据安全产品产生的海量数据，可统一获取及存储；由于数据源产生的海量数据是有用户及用户操作产生的数据，因此，数据源产生的历史数据携带有数据源信息、客户端标识、客户端产生的历史操作信息。

客户端表示为客户端的唯一表示，即用户IP、MAC地址等。客户端产生的实时操作信息必然与客户端相关联，以监控用户产生的风险操作。例如，对于企业而言，客户端可以是用户的客户端，客户端产生的历史操作信息为用户产生的历史操作。对于客户端而言，终端数据安全产品监控到的用户风险操作有聊天文件、网络共享、FTP传输、文件另存、网络外发、加密文件等等；数据库风险操作有删除数据库、删除表、删除用户、删除视图、删除索引、删除数据、更改数据库等等；网络风险操作有网页浏览、网页论坛、电子邮件、文件传输、ssh操作、网盘操作等。因此，本发明可以从终端、网络、数据库多层面监控用户的风险操作。

具体地， S20基于数据源产生的历史数据，在预定时间段，获得预定学习维度的行为基线，包括：

S21、在预定时间段内，查询数据源产生的历史数据。

S22、按学习维度进行统计，得到行为基线。其中，行为基线的界面至少包括添加操作和删除操作。

如图2所示，可设定行为基线的名称，选择数据源，数据源包括终端数据安全产品、网络数据安全产品、数据库数据安全产品中的至少之一，并设定预定的时间段。如图2所示，预定时间段的起始时间为2月1日，结束时间为2月28日。在预定时间段内，查询并获得该时间段内所选的数据源产生的历史数据。历史数据至少携带有数据源信息、客户端标识、客户端产生的历史操作信息。

按照学习维度，得到行为基线，本发明中的行为基线为预定时间内客户端的行为（操作）产生的数据集合。学习维度为该行为基线的统计维度，学习维度包括客户端标识、客户端产生的历史操作信息中的至少之一。在图2中的学习维度为客户端标识和客户端产生的历史操作信息。在其他实施例中，学习维度可以为客户端标识，也可为客户端产生的历史操作信息。即本发明的行为基线包括预定时间段、数据源信息；还包括客户端标识和/或客户端产生的历史操作信息。

设置学习维度后产生的学习结果，即行为基线。例如，客户端IP为192.168.0.1的用户做了删除数据的数据库操作、文件传输和SSH的网络操作，客户端IP为192.168.0.2的用户做了FTP传输和加密文件的终端操作。这些学习结果就是2023年2月份的基线。另外管理员可以在此基线基础上对学习结果进行删除和添加操作，因此，行为基线的界面至少包括添加操作和删除操作，便于多层次进行风险排查。

具体地，参考图3，S30对数据源产生的实时数据进行流式处理，根据实时数据及预定学习维度的行为基线，获取实时数据的类型，包括：

S31、对数据源产生的实时数据，由流式处理模块判断实时数据是否存在于行为基线中。

S32、当实时数据存在于行为基线中时，实时数据的类型为正常。

S33、当实时数据不存在于行为基线中时，实时数据的类型为异常。

流式处理可以理解为，终端数据安全产品、网络数据安全产品、数据库数据安全产品产生的风险数据从客户端通过TCP协议传输到，服务器流向流式处理的相关技术处理模块，流式处理的相关技术处理模块可以但不限于kafkaStream技术，kafkaStream延迟很小，可看作为实时处理，实际场景下，底层不间断的生产海量数据上报到服务器，kafkaStream不间断的从服务器拉取数据进行处理，kafkaStream像是数据流中拦截数据的大网，因此叫流式处理。

流式处理模块的工作详情为：流式处理模块随web系统启动后启动，建立对服务器数据集的监听，当底层数据上报到服务器，会立即进入流式处理模块，比对当前数据的数据源（是终端数据安全产品或网络数据安全产品或数据库数据安全产品）和学习维度下的数据（客户端标识和/或客户端产生的历史操作信息）是否在行为基线中存在。如果存在则说明实时数据的类型为正常，丢弃当前数据或不进行异常数据的存储，如果不存在则将当前的实时数据视为异常行为操作数据。

比如，当前3月份进入此模块的某条数据数据源为数据库，客户端IP为192.168.0.1，动作为删除数据，对比2月份基线，发现【数据源：数据库 客户端IP：192.168.0.1 动作：删除数据】在基线中存在，所以当前数据视为正常数据，会被丢弃，假如当前数据的动作为删除表，对比2月份基线，发现【数据源：数据库 客户端ip：192.168.0.1动作：删除表】在基线中不存在，因为客户端IP为192.168.0.1的用户在2月份对数据库只执行过删除数据操作，在3月份却执行了删除表操作，所以这项操作具有风险，是用户的异常行为，当前数据会被流式处理模块拦截并保存到数据库中。

当学习维度包括客户端标识和客户端产生的历史操作信息时；在判断实时数据是否存在于行为基线中时，客户端标识的优先级大于客户端产生的历史操作信息的优先级。

例如，如果当前数据的客户端IP为192.168.8.241，对比基线发现无此IP，那么客户端IP为192.168.8.241的用户做的所有终端、网络、数据库操作都将视为异常行为，无需进行“客户端产生的历史操作信息”的判断。

进一步地，在一个实施例中，本发明还包括：S34、当实时数据的类型为异常时，获得实时数据的异常等级。

在S34步骤中获得实时数据的异常等级，包括：

S341、获得实时数据携带的信息与行为基线携带的信息不匹配的数量。

S342、根据不匹配的数量，获取实时数据的异常等级。

可以理解为，当行为基线包含的数据较多时，例如，行为基线包含有数据源、客户端表示、客户端的操作信息时，当某一个实时数据携带的数据源信息、客户端标识、客户端产生的实时操作信息，仅仅客户端产生的实时操作信息不存在于行为基线中，即不匹配的数量为1,其异常等级可以是一级异常；当某一个实时数据携带的数据源信息、客户端标识、客户端产生的实时操作信息，客户端标识和客户端产生的实时操作信息均不存在于行为基线中，即不匹配的数量为2,其异常等级是二级异常。此方法适用于监测信息较多的场景。

在另一个实施例中，步骤S34中获得实时数据的异常等级，包括：

S343、对比实时数据携带的信息与行为基线携带的信息；

S344、获得二者不匹配的信息；

S345、根据不匹配的信息的优先级顺序，获取实时数据的异常等级。

当学习维度包括客户端标识和客户端产生的历史操作信息时；在判断实时数据是否存在于行为基线中时，客户端标识的优先级大于客户端产生的历史操作信息的优先级。

例如，当某一个实时数据携带的数据源信息、客户端标识、客户端产生的实时操作信息，仅客户端产生的实时操作信息不存在于行为基线中；另一个实时数据携带的数据源信息、客户端标识、客户端产生的实时操作信息，仅客户端标识不存在于行为基线中；那么，采用之前步骤S341、S342的方法，两个实时数据的异常等级相同。

但是，在该方法中，客户端标识的优先级大于客户端产生的历史操作信息的优先级，因此，仅客户端标识不存在于行为基线中时的实时数据的异常等级较高。

上述两种方法可根据异常等级，将不同等级的异常数据存储到不同的异常数据的数据库中，进一步减少管理员的查看任务。

此外，实时数据的类型为异常或正常；数据监控方法还包括：

S40、当实时数据的类型为异常时，进行异常数据的存储或再判断；

当实时数据的类型为正常时，不进行异常数据的存储。

根据再判断的结果，决定是否将数据作为历史数据添加到行为基线中，继续对数据源产生的实时数据进行流式处理。

具体地，当再判断的结果为正常时，将实时数据作为历史数据添加到行为基线中，继续对数据源产生的实时数据进行流式处理；

当再判断的结果为异常时，进行异常数据的存储。

例如，在之前步骤中，客户端IP为192.168.8.241不存在行为基线中，那么客户端IP为192.168.8.241的用户做的所有终端、网络、数据库操作都将视为异常行为。将客户端IP为192.168.8.241的用户进行异常数据的存储。经管理员审查，客户端IP为192.168.8.241的用户进行的文件传输的网络操作不属于异常行为，是无风险的操作，可以在2月份基线中手动添加【数据源：网络 客户端IP：192.168.8.241 动作：文件传输】这条学习结果，流式处理模块发现基线有变动后，会重新加载基线内容，并重启流式处理模块，在此之后客户端IP为192.168.8.241的用户进行的文件传输的网络操作不再视为异常行为。

因此，上述步骤中的“再判断”可以是人工判断。此外，再判断”还可以是等级判断。例如，“再判断”时，若异常数据的等级较低，或低于等级阈值，则将该异常数据重新标记为正常，将实时数据作为历史数据添加到行为基线中，继续对数据源产生的实时数据进行流式处理。若异常数据的异常等级较高，或高于等级阈值，则再判断的结果为异常，进行异常数据的存储。

本发明可对多种产品的海量数据同时处理，实现了多种产品的数据统一处理，并实时筛选出有价值的数据，大大减少了人工查询操作；通过对比行为基线，实时输出用户异常行为，对用户安全进行安全预警；且在异常数据实时输出之后，可进一步地对异常数据再判断，增加风险监控的准确性。此外，本发明通过增加多次判断过程，增加了判断的精确度。例如先判断数据类型，再判断数据等级；先判断数据类型，再人工判断数据类型；通过多次判断，降低了数据的误识别率，提高数据精确度。

另一方面，参考图4，本发明提供了一种数据监控装置，包括：

数据获取模块，用于获取数据源信息及数据源产生的历史数据；其中，数据源包括至少一个数据安全产品；历史数据携带有数据源信息、客户端标识、客户端产生的历史操作信息。

基线学习模块，用于基于数据源产生的历史数据，在预定时间段，获得预定学习维度的行为基线；学习维度包括客户端标识、客户端产生的历史操作信息中的至少之一。

处理模块，用于对数据源产生的实时数据进行流式处理，根据实时数据及预定学习维度的行为基线，获取实时数据的类型；其中，实时数据携带有数据源信息、客户端标识、客户端产生的实时操作信息。

其中，参考图3数据获取模块由包括kafka系统执行，由多种数据安全产品产生的用户风险数据都通过kafka客户端上报到kafka服务器，再由入库线程保存到elasticsearch数据库。基线学习模块由kafkaStream技术执行，kafkaStream不间断的从kafka服务器拉取数据进行处理。

再一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器读取并执行实现如上任一项的方法。

此外，上述装置中的所保护的方案与方法的方案相同，在此不累赘。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发送。例如两个接连地表示的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (7)

1.一种数据监控方法，其特征在于，所述方法包括：

获取数据源信息及数据源产生的历史数据；其中，所述数据源包括至少一个数据安全产品；数据源包括终端数据安全产品、网络数据安全产品、数据库数据安全产品中的至少之一；所述历史数据携带有数据源信息、客户端标识、客户端产生的历史操作信息；

基于所述数据源产生的历史数据，在预定时间段，获得预定学习维度的行为基线；所述学习维度包括客户端标识、客户端产生的历史操作信息中的至少之一；

所述终端数据安全产品、网络数据安全产品、数据库数据安全产品产生的风险数据从客户端传输到服务器，流式处理模块不间断地从服务器拉取数据，对所述数据源产生的实时数据进行流式处理，根据所述实时数据及预定学习维度的行为基线，获取所述实时数据的类型；其中，所述实时数据携带有数据源信息、客户端标识、客户端产生的实时操作信息；

所述流式处理包括流式处理模块建立对服务器数据集的监听，当底层数据上报到服务器，会进入所述流式处理模块，由所述流式处理模块判断当前数据的数据源和学习维度下的实时数据是否在行为基线中，若不存在则实时数据的类型为异常，进行异常数据的存储或再判断；其中，所述再判断包括人工判断、等级判断中的至少之一；

若存在则实时数据为正常，丢弃当前数据或不进行异常数据的存储；

当所述再判断的结果为正常时，将所述实时数据作为所述历史数据添加到所述行为基线中，重新加载行为基线，重启流式处理，继续对所述数据源产生的实时数据进行流式处理；

当所述再判断的结果为异常时，进行异常数据的存储。

2.根据权利要求1所述的数据监控方法，其特征在于，还包括：当所述实时数据的类型为异常时，获得所述实时数据的异常等级；

所述获得所述实时数据的异常等级，包括：

获得所述实时数据携带的信息与所述行为基线携带的信息不匹配的数量；

根据所述不匹配的数量，获取所述实时数据的异常等级。

3.根据权利要求1所述的数据监控方法，其特征在于，还包括：当所述实时数据的类型为异常时，获得所述实时数据的异常等级；

所述获得所述实时数据的异常等级，包括：

对比所述实时数据携带的信息与所述行为基线携带的信息；

获得二者不匹配的信息；

根据所述不匹配的信息的优先级顺序，获取所述实时数据的异常等级。

4.根据权利要求1或3所述的数据监控方法，其特征在于，

当所述学习维度包括客户端标识和客户端产生的历史操作信息时；

在判断所述实时数据是否存在于所述行为基线中时，所述客户端标识的优先级大于所述客户端产生的历史操作信息的优先级。

5.根据权利要求1所述的数据监控方法，其特征在于，

所述基于所述数据源产生的历史数据，在预定时间段，获得预定学习维度的行为基线，包括：

在预定时间段内，查询所述数据源产生的历史数据；

按所述学习维度进行统计，得到行为基线，所述行为基线的界面至少包括添加操作和删除操作。

6.一种数据监控装置，其特征在于，包括：

数据获取模块，用于获取数据源信息及数据源产生的历史数据；其中，所述数据源包括至少一个数据安全产品；数据源包括终端数据安全产品、网络数据安全产品、数据库数据安全产品中的至少之一；所述历史数据携带有所述数据源信息、客户端标识、客户端产生的历史操作信息；

基线学习模块，用于基于所述数据源产生的历史数据，在预定时间段，获得预定学习维度的行为基线；所述学习维度包括客户端标识、客户端产生的历史操作信息中的至少之一；

处理模块，所述终端数据安全产品、网络数据安全产品、数据库数据安全产品产生的风险数据从客户端传输到服务器，用于对所述数据源产生的实时数据进行流式处理，根据所述实时数据及预定学习维度的行为基线，获取所述实时数据的类型；其中，所述实时数据携带有所述数据源信息、客户端标识、客户端产生的实时操作信息；

还用于建立对服务器数据集的监听，当底层数据上报到服务器，会进入处理模块，由处理模块判断当前数据的数据源和学习维度下的实时数据是否存在行为基线中，若不存在则所述实时数据的类型为异常时，进行异常数据的存储或再判断；其中，所述再判断包括人工判断、等级判断中的至少之一；

若存在则实时数据的类型为正常时，丢弃当前数据或不进行异常数据的存储；

当所述再判断的结果为正常时，将所述实时数据作为所述历史数据添加到所述行为基线中，重新加载行为基线，重启流式处理，继续对所述数据源产生的实时数据进行流式处理；

当所述再判断的结果为异常时，进行异常数据的存储。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器读取并执行实现如权利要求1-5中任一项所述的方法。