CN117675623A - 数据筛选方法、终端设备以及计算机可读存储介质 - Google Patents

Abstract

本申请提供一种数据筛选方法、终端设备以及计算机可读存储介质，涉及终端设备技术领域，其中，该方法包括：根据采集的样本流量数据，确定流量阈值；根据所述流量阈值，从当前流量日志中筛选异常流量数据；根据所述异常流量数据，生成流量统计报告。本申请提供的技术方案，可以根据流量阈值，从当前流量日志中筛选异常流量数据，再根据异常流量数据，生成流量统计报告，无需针对大量的流量日志进行处理，可以及时对异常数据进行监控并统计，从而可以提高产生流量统计报告的效率，并降低产生流量统计报告的成本。

Description

数据筛选方法、终端设备以及计算机可读存储介质

技术领域

本申请属于终端设备技术领域，尤其涉及一种数据筛选方法、终端设备以及计算机可读存储介质。

背景技术

随着物联网的不断发展，蜂窝物联网开始广泛地运用在无人值守应用场景，而长时间在线的蜂窝物联网终端在网络接入和数据收发的过程中会产生大量的会话日志。

相关技术中，针对物联网用户识别模块卡(SIM卡)，因特网服务器提供商(ISP)所提供的流量账单具有一定的时延，使得流量账单与实际使用SIM卡的时间存在一定的偏差，从而对流量账单的可靠性产生疑问。

因此，本申请提出一种数据筛选方法，可以对SIM卡的异常流量进行及时监控，以提高流量账单的可靠性。

发明内容

本申请提供一种数据筛选方法、终端设备以及计算机可读存储介质，对SIM卡的异常流量进行及时监控，以提高流量账单的可靠性。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请实施例提供一种数据筛选方法，所述方法包括：

根据采集的样本流量数据，确定流量阈值；

根据所述流量阈值，从当前流量日志中筛选异常流量数据；

根据所述异常流量数据，生成流量统计报告。

可选的，所述根据采集的样本流量数据，确定流量阈值，包括：

获取多个流量卡对应的所述样本流量数据；

获取各个所述样本流量数据的多个时间戳；

根据每个所述时间戳，计算得到所述流量阈值。

可选的，所述根据每个所述时间戳，计算得到所述流量阈值，包括：

根据多个所述时间戳，确定所述样本流量数据的数据更新周期；

针对每个所述流量卡，根据所述样本流量数据，以及预先设置的采样周期，计算得到所述采样周期内各个所述数据更新周期对应的数据变化量；

根据各个所述流量卡对应的数据变化量，计算得到所述流量阈值。

可选的，所述根据各个所述流量卡对应的数据变化量，计算得到所述流量阈值，包括：

获取各个所述流量卡在每个所述数据更新周期对应的数据变化量；

针对同一所述数据更新周期，根据各个所述流量卡对应的数据变化量，计算得到平均变化量；

从多个所述平均变化量中，选取参数值最大的平均变化量作为所述流量阈值。

可选的，所述根据所述流量阈值，从当前流量日志中筛选异常流量数据，包括：

获取过滤指令中包括的所述流量卡的标识信息；

根据所述标识信息，从所述当前流量日志筛选得到所述异常流量数据。

可选的，所述根据所述异常流量数据，生成流量统计报告，包括：

根据所述过滤指令，获取所述流量卡的多个地址信息和多个端口信息；

根据多个所述地址信息和多个所述端口信息，对所述异常流量数据进行分类，得到每个所述地址信息和每个所述端口信息分别对应的流量统计报告。

可选的，所述方法还包括：

若接收到停止指令，则获取所述停止指令中包括的所述流量卡的标识信息；

根据所述标识信息，停止从所述当前流量日志筛选所述标识信息对应的异常流量数据。

可选的，所述方法还包括：

根据所述当前流量日志，对所述流量阈值进行更新。

第二方面，本申请实施例提供一种数据筛选装置，所述装置包括：

确定模块，用于根据采集的样本流量数据，确定流量阈值；

筛选模块，用于根据所述流量阈值，从当前流量日志中筛选异常流量数据；

生成模块，用于根据所述异常流量数据，生成流量统计报告。

可选的，所述确定模块，具体用于获取多个流量卡对应的所述样本流量数据；获取各个所述样本流量数据的多个时间戳；根据每个所述时间戳，计算得到所述流量阈值。

可选的，所述确定模块，具体用于根据多个所述时间戳，确定所述样本流量数据的数据更新周期；针对每个所述流量卡，根据所述样本流量数据，以及预先设置的采样周期，计算得到所述采样周期内各个所述数据更新周期对应的数据变化量；根据各个所述流量卡对应的数据变化量，计算得到所述流量阈值。

可选的，所述确定模块，具体用于获取各个所述流量卡在每个所述数据更新周期对应的数据变化量；针对同一所述数据更新周期，根据各个所述流量卡对应的数据变化量，计算得到平均变化量；从多个所述平均变化量中，选取参数值最大的平均变化量作为所述流量阈值。

可选的，所述筛选模块，具体用于获取过滤指令中包括的所述流量卡的标识信息；根据所述标识信息，从所述当前流量日志筛选得到所述异常流量数据。

可选的，所述生成模块，用于根据所述过滤指令，获取所述流量卡的多个地址信息和多个端口信息；根据多个所述地址信息和多个所述端口信息，对所述异常流量数据进行分类，得到每个所述地址信息和每个所述端口信息分别对应的流量统计报告。

可选的，所述装置还包括：

获取模块，用于若接收到停止指令，则获取所述停止指令中包括的所述流量卡的标识信息；

停止模块，用于根据所述标识信息，停止从所述当前流量日志筛选所述标识信息对应的异常流量数据。

可选的，所述装置还包括：

更新模块，用于根据所述当前流量日志，对所述流量阈值进行更新。

第三方面，本申请实施例提供一种终端设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在调用计算机程序时执行上述第一方面或第一方面的任一实施方式所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面或第一方面的任一实施方式所述的方法。

本申请实施例提供的一种数据筛选方法，根据采集的样本流量数据，确定流量阈值。相应的，可以根据流量阈值，从当前流量日志中筛选异常流量数据，再根据异常流量数据，生成流量统计报告，无需针对大量的流量日志进行处理，可以及时对异常数据进行监控并统计，从而可以提高产生流量统计报告的效率，并降低产生流量统计报告的成本。

附图说明

图1是本申请实施例提供的一种流量统计方法的示意性流程图；

图2是本申请实施例提供的一种流量统计报告的示意图；

图3是本申请实施例提供的一种流量统计装置的结构框图；

图4是本申请实施例提供的另一种流量统计装置的示意图；

图5是本申请实施例提供的又一种流量统计装置的结构框图；

图6是本申请实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的流量日志识别方法和终端设备的详细说明，以免不必要的细节妨碍本申请的描述。

以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“所述”、“上述”和“该”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。

随着物联网的不断发展，蜂窝物联网开始广泛地运用在无人值守应用场景，而长时间在线的蜂窝物联网终端在网络接入和数据收发的过程中会产生大量的会话日志。

相关技术中，针对物联网用户识别模块卡(SIM卡)，因特网服务器提供商(ISP)根据会话日志所提供的流量账单具有一定的时延，使得流量账单与实际使用SIM卡的时间存在一定的偏差，从而对流量账单的可靠性产生疑问。

而且，对会话日志的存储、查阅和筛选均存在一定的困难，导致查找出现异常的流量数据时，需要花费的成本和时间过多。

因此，本申请提出一种数据筛选方法，根据采集的样本流量数据，确定流量阈值。相应的，可以根据流量阈值，从当前流量日志中筛选异常流量数据，再根据异常流量数据，生成流量统计报告，无需针对大量的流量日志进行处理，可以及时对异常数据进行监控并统计，从而可以提高产生流量统计报告的效率，并降低产生流量统计报告的成本。

下述对基于流量日志进行流量筛选，得到流量统计报告的过程进行介绍。

图1是本申请实施例提供的一种数据筛选方法的示意性流程图，作为示例而非限定，参见图1，该方法包括：

步骤101、根据采集的样本流量数据，确定流量阈值。

终端设备在对流量日志进行筛选之前，可以根据预先采集的样本流量数据进行分析，确定流量阈值，以便在后续步骤中，终端设备可以根据流量阈值进行筛选，得到流量统计报告。

可选的，终端设备可以先获取多个流量卡对应的样本流量数据，并获取各个样本流量数据的多个时间戳，从而可以根据每个时间戳，计算得到流量阈值。

具体地，终端设备在确定流量阈值的过程中，可以先根据多个时间戳，确定样本流量数据的数据更新周期。相应的，针对每个流量卡，终端设备可以根据样本流量数据，以及预先设置的采样周期，计算得到采样周期内各个数据更新周期对应的数据变化量，再根据各个流量卡对应的数据变化量，计算得到流量阈值。

需要说明的是，在实际应用中，终端设备可以获取各个流量卡在每个数据更新周期对应的数据变化量，而针对同一数据更新周期，终端设备可以根据各个流量卡对应的数据变化量，先计算得到平均变化量，再从多个平均变化量中，选取参数值最大的平均变化量作为流量阈值。

步骤102、根据流量阈值，从当前流量日志中筛选异常流量数据。

终端设备在计算得到流量阈值后，可以根据该流量阈值确定是否需要筛选得到异常流量数据，以便在后续步骤中，可以根据流量阈值生成过滤指令，并基于过滤指令过滤得到异常流量数据。

具体地，终端设备可以先将获取的数据变化量与流量阈值进行比较，得到二者之间的大小关系。若数据变化量大于流量阈值，则说明数据变化量异常，可以生成过滤指令。之后，终端设备可以获取过滤指令中包括的流量卡的标识信息，再根据标识信息，从当前流量日志筛选得到异常流量数据。

步骤103、根据异常流量数据，生成流量统计报告。

与步骤102相对应的，终端设备开始筛选异常流量数据后，可以基于筛选得到的异常流量数据，生成流量统计报告，从而完成对异常流量数据的监控，提高流量统计报告的可靠性。

可选的，终端设备同样也可以根据过滤指令，获取流量卡的多个地址信息和多个端口信息，并根据多个地址信息和多个端口信息，对异常流量数据进行分类，得到每个地址信息和每个端口信息分别对应的流量统计报告。

相应的，终端设备可以向用户展示查询界面，该查询界面中可以包括多个流量卡和每个流量卡包括的多个地址信息和多个端口信息。当检测到用户对某个地址信息和端口信息触发的查询操作后，终端设备可以获取并根据该查询操作对应的地址信息和端口信息，在存储空间中查找相对应的流量统计报告，之后向用户展示如图2所示的流量统计报告。

步骤104、若接收到停止指令，则获取停止指令中包括的流量卡的标识信息。

与步骤102相对应的，终端设备在筛选异常流量数据的过程中，也可以接收停止指令，从而可以通过该停止指令获取标识信息，以便在后续步骤中停止对异常流量数据进行筛选。

本步骤104中获取标识信息的过程，与步骤101中获取标识信息的过程类似，在此不再赘述。

步骤105、根据标识信息，停止从当前流量日志筛选标识信息对应的异常流量数据。

与步骤104相对应的，终端设备在根据停止指令获取标识信息后，可以根据该标识信息查找得到相对应的流量统计报告，从而停止筛选更新该流量统计报告。

具体地，终端设备可以先对用于筛选异常流量数据的各个标识信息进行遍历，若检测到某个标识信息与停止指令所包括的标识信息一致，则可以删除该标识信息，从而停止通过该标识信息筛选异常流量数据。

进一步地，终端设备还可以根据停止指令所包括的标识信息，从多个流量统计报告中查找与该标识信息相匹配的流量统计报告，并删除该流量统计报告，从而减少存储空间的冗余，提高存储空间的利用率。

步骤106、根据当前流量日志，对流量阈值进行更新。

终端设备在对当前流量日志进行筛选的过程中，还可以采用与上述步骤101类似的过程，继续对流量阈值进行更新。也即是，将当前流量日志所包括的流量数据也作为样本流量数据，从而对流量阈值再次进行更新。

由于本步骤106的过程与上述步骤101的过程类似，在此不再赘述。

综上所述，本申请实施例提出的一种数据筛选方法，根据采集的样本流量数据，确定流量阈值。相应的，可以根据流量阈值，从当前流量日志中筛选异常流量数据，再根据异常流量数据，生成流量统计报告，无需针对大量的流量日志进行处理，可以及时对异常数据进行监控并统计，从而可以提高产生流量统计报告的效率，并可以降低产生流量统计报告的成本。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的数据筛选方法，图3是本申请实施例提供的一种数据筛选装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参见图3，该装置包括：

确定模块301，用于根据采集的样本流量数据，确定流量阈值；

筛选模块302，用于根据该流量阈值，从当前流量日志中筛选异常流量数据；

生成模块303，用于根据该异常流量数据，生成流量统计报告。

可选的，该确定模块301，具体用于获取多个流量卡对应的该样本流量数据；获取各个该样本流量数据的多个时间戳；根据每个该时间戳，计算得到该流量阈值。

可选的，该确定模块301，具体用于根据多个该时间戳，确定该样本流量数据的数据更新周期；针对每个该流量卡，根据该样本流量数据，以及预先设置的采样周期，计算得到该采样周期内各个该数据更新周期对应的数据变化量；根据各个该流量卡对应的数据变化量，计算得到该流量阈值。

可选的，该确定模块301，具体用于获取各个该流量卡在每个该数据更新周期对应的数据变化量；针对同一该数据更新周期，根据各个该流量卡对应的数据变化量，计算得到平均变化量；从多个该平均变化量中，选取参数值最大的平均变化量作为该流量阈值。

可选的，该筛选模块302，具体用于获取过滤指令中包括的该流量卡的标识信息；根据该标识信息，从该当前流量日志筛选得到该异常流量数据。

可选的，该生成模块303，用于根据该过滤指令，获取该流量卡的多个地址信息和多个端口信息；根据多个该地址信息和多个该端口信息，对该异常流量数据进行分类，得到每个该地址信息和每个该端口信息分别对应的流量统计报告。

可选的，参见图4，该装置还包括：

获取模块304，用于若接收到停止指令，则获取该停止指令中包括的该流量卡的标识信息；

停止模块305，用于根据该标识信息，停止从该当前流量日志筛选该标识信息对应的异常流量数据。

可选的，参见图5，该装置还包括：

更新模块306，用于根据该当前流量日志，对该流量阈值进行更新。

综上所述，本申请实施例提出的一种数据筛选装置，根据采集的样本流量数据，确定流量阈值。相应的，可以根据流量阈值，从当前流量日志中筛选异常流量数据，再根据异常流量数据，生成流量统计报告，无需针对大量的流量日志进行处理，可以及时对异常数据进行监控并统计，从而可以提高产生流量统计报告的效率，并可以降低产生流量统计报告的成本。

基于同一发明构思，本申请实施例还提供了一种终端设备。图6是本申请实施例提供的终端设备的结构示意图，如图6所示，本实施例提供的终端设备包括：存储器61和处理器62，存储器61用于存储计算机程序63；处理器62用于在调用计算机程序63时执行上述方法实施例所述的方法。

本实施例提供的终端设备可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所述的方法。

本申请实施例还提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述方法实施例所述的方法。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种数据筛选方法，其特征在于，所述方法包括：

根据采集的样本流量数据，确定流量阈值；

根据所述流量阈值，从当前流量日志中筛选异常流量数据；

根据所述异常流量数据，生成流量统计报告。

2.根据权利要求1所述的方法，其特征在于，所述根据采集的样本流量数据，确定流量阈值，包括：

获取多个流量卡对应的所述样本流量数据；

获取各个所述样本流量数据的多个时间戳；

根据每个所述时间戳，计算得到所述流量阈值。

3.根据权利要求2所述的方法，其特征在于，所述根据每个所述时间戳，计算得到所述流量阈值，包括：

根据多个所述时间戳，确定所述样本流量数据的数据更新周期；

针对每个所述流量卡，根据所述样本流量数据，以及预先设置的采样周期，计算得到所述采样周期内各个所述数据更新周期对应的数据变化量；

根据各个所述流量卡对应的数据变化量，计算得到所述流量阈值。

4.根据权利要求3所述的方法，其特征在于，所述根据各个所述流量卡对应的数据变化量，计算得到所述流量阈值，包括：

获取各个所述流量卡在每个所述数据更新周期对应的数据变化量；

针对同一所述数据更新周期，根据各个所述流量卡对应的数据变化量，计算得到平均变化量；

从多个所述平均变化量中，选取参数值最大的平均变化量作为所述流量阈值。

5.根据权利要求1所述的方法，其特征在于，所述根据所述流量阈值，从当前流量日志中筛选异常流量数据，包括：

获取过滤指令中包括的所述流量卡的标识信息；

根据所述标识信息，从所述当前流量日志筛选得到所述异常流量数据。

6.根据权利要求1至5任一所述的方法，其特征在于，所述根据所述异常流量数据，生成流量统计报告，包括：

根据所述过滤指令，获取所述流量卡的多个地址信息和多个端口信息；

根据多个所述地址信息和多个所述端口信息，对所述异常流量数据进行分类，得到每个所述地址信息和每个所述端口信息分别对应的流量统计报告。

7.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

若接收到停止指令，则获取所述停止指令中包括的所述流量卡的标识信息；

根据所述标识信息，停止从所述当前流量日志筛选所述标识信息对应的异常流量数据。

8.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

根据所述当前流量日志，对所述流量阈值进行更新。

9.一种终端设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用所述计算机程序时执行如权利要求1-8任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的方法。