CN109327329B - 数据模型更新方法及装置 - Google Patents

Abstract

本申请公开了一种数据模型更新方法及装置，其中，该方法包括：获取网络数据；确定系统最大处理能力，以及确定处理该网络数据采用的数据模型的编码能力；在确定该编码能力以及该系统最大处理能力满足预设条件的情况下，更新该数据模型。相应的，还提供了一种数据模型更新装置。实施本申请，可有效提高系统性能。

Description

数据模型更新方法及装置

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据模型更新方法及装置。

背景技术

在大数据时代，如在互联网领域、金融领域、通信领域等增加大量的网络设备和安全设备，这些设备会产生海量网络数据。同时，在处理该网络数据时通常会进行数据模型选择，一方面是为了减少网络传输的压力，提高数据处理的性能；另一方面是为了节省存储成本。

由于数据模型的多样性，每种数据模型都有优缺点，所以数据收集前一般要选择一种合适的数据模型。如在收集网络数据之前，预置一种数据模型，具体的，可以根据历史数据或实验数据来选择一种数据模型。

然而，采用上述方式，会使得系统性能低下。

发明内容

本申请提供了一种数据模型更新方法及装置，能够有效提高系统性能。

第一方面，本申请实施例提供一种数据模型更新方法，包括：

获取网络数据；确定系统最大处理能力，以及确定处理所述网络数据采用的数据模型的编码能力；在确定所述编码能力以及所述系统最大处理能力满足预设条件的情况下，更新所述数据模型。

本申请实施例中，预设条件可以为数据模型更新装置预先设置的，与系统最大处理能力以及与数据模型的编码能力相关的条件。具体的，如该预设条件可以由该数据模型更新装置通过接收用户输入的设置指令来设置，或者，该预设条件也可以由该数据模型更新装置自动设置等等，本申请实施例对于该预设条件的设置方式不作限定。实施本申请实施例，通过数据模型的编码能力以及系统最大处理能力来确定是否更新该数据模型，从而使得数据模型更新装置能够根据实际场景或实际需求来动态更新数据模型，进而提高了系统性能；另一方面，在接收到相同的数据的情况下，相对于非动态数据模型，动态数据模型能够有效减少存储的空间。

在一种可能的实现方式中，所述编码能力包括编码率和编码速度。

本申请实施例中，对于同一种数据模型来说，其编码率相同；而编码速度则根据数据模型的编码处理能力相关，因此，数据模型更新装置需要实时计算数据模型的编码速度。

在一种可能的实现方式中，所述预设条件包括：第一时间不大于第二时间；其中，所述第一时间由所述系统最大处理能力以及所述网络数据的数据量确定，所述第二时间由所述系统最大处理能力、所述网络数据的数据量以及所述编码能力确定；或者，所述预设条件包括：所述系统最大处理能力和所述编码速度的比值，与所述编码率的和不小于1。

本申请实施例中，通过两种方式来确定预设条件，从而进一步增加是否更新数据模型的准确性。

在一种可能的实现方式中，所述方法还包括：对所述网络数据进行格式化分析，得到所述网络数据的业务特征。

本申请实施例中，可对网络数据进行格式化分析，从而得到该网络数据的业务特征。具体的，如可根据网络数据的key、value和eventtype中的一项或多项来区分该网络数据的业务特征。通过区分该网络数据的业务特征，可使得用户在使用时，根据该业务特征来使用，提高网络数据的规范性，提高用户满意度。

在一种可能的实现方式中，所述得到所述网络数据的业务特征之后，所述方法还包括：依据所述网络数据的业务特征分类存储所述网络数据。

本申请实施例中，通过对网络数据进行格式化分析，从而分类存储该网络数据，提高了存储的规范化，且根据数据模型动态存储网络数据，降低了存储成本。

第二方面，本申请实施例提供了一种数据模型更新装置，包括：

获取单元，用于获取网络数据；确定单元，用于确定系统最大处理能力，以及确定处理所述网络数据采用的数据模型的编码能力；更新单元，用于在确定所述编码能力以及所述系统最大处理能力满足预设条件的情况下，更新所述数据模型。

在一种可能的实现方式中，所述编码能力包括编码率和编码速度。

在一种可能的实现方式中，所述预设条件包括：第一时间不大于第二时间；其中，所述第一时间由所述系统最大处理能力以及所述网络数据的数据量确定，所述第二时间由所述系统最大处理能力、所述网络数据的数据量以及所述编码能力确定；或者，所述预设条件包括：所述系统最大处理能力和所述编码速度的比值，与所述编码率的和不小于1。

在一种可能的实现方式中，所述装置还包括：格式化分析单元，用于对所述网络数据进行格式化分析，得到所述网络数据的业务特征。

在一种可能的实现方式中，所述装置还包括：存储单元，用于依据所述网络数据的业务特征分类存储所述网络数据。

第三方面，本申请实施例还提供了一种数据模型更新装置，包括处理器和存储器，所述存储器中存储有程序，所述程序被所述数据模型更新装置中的处理器执行时，使所述数据模型更新装置执行如第一方面所述的方法。

第四方面，本申请实施例还提供了一种芯片系统，所述芯片系统包括处理器，用于支持数据模型更新装置实现第一方面中所涉及的功能。

在一种可能的实现方式中，所述芯片系统还包括存储器，所述存储器，用于保存数据模型更新装置必要的程序指令和数据。

如该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。

第五方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

第六方面，本申请实施例提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

附图说明

图1是本申请实施例提供的一种数据模型更新方法的流程示意图；

图2是本申请实施例提供的一种数据模型更新方法的场景示意图；

图3是本申请实施例提供的一种数据模型更新装置的结构示意图；

图4是本申请实施例提供的另一种数据模型更新装置的结构示意图；

图5是本申请实施例提供的又一种数据模型更新装置的结构示意图；

图6是本申请实施例提供的又一种数据模型更新装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图对本申请实施例进行描述。

本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在实际应用中，网络设备如路由器或交换机等等，以及安全设备如防火墙、入侵检测系统(intrusion detection systems，IDS)或入侵防御系统(intrusion preventionsystem，IPS)等等在运行过程中，会产生大量的日志数据。为了分析该日志数据，收集装置会收集该日志数据，如可以便于审计或安全问题溯源等业务分析。一般地，收集装置通过预先设置数据模型，通过该数据模型来收集日志数据。然而，该种方法无法实时满足系统性能。因此，本申请实施例提供了一种数据模型更新方法。

图1是本申请实施例提供的一种数据模型更新方法的流程示意图，该方法可应用于数据模型更新装置，该数据模型更新装置可以包括服务器，又或者上述收集装置等等，本申请实施例对于该数据模型更新装置的具体实现形式不作限定。如图1所示，该方法包括：

101、获取网络数据。

本申请实施例中，该网络数据可以包括上述的日志数据，或者，该网络数据还可以包括由其他装置产生的网络数据等等，本申请实施例对于该网络数据的范围或定义不作限定。

可选的，该网络数据可以是从其他装置中获取到的网络数据等等，本申请实施例不作限定。

具体的，该数据模型更新装置可以通过该数据模型更新装置中的采集器或采集模块来获取该网络数据。可理解，本申请实施例对于该采集器或采集模型的具体实现方式不作限定。

102、确定系统最大处理能力，以及确定处理上述网络数据采用的数据模型的编码能力。

本申请实施例中，该系统最大处理能力可以根据数据模型更新装置的中央处理器(central processing unit，CPU)、内存、带宽和磁盘输入输出(input/output，IO)中的一项或多项来决定。也就是说，该系统最大处理能力可以是实时变化的。其中，内存可以指该数据模型更新装置的内存所能容纳的数据量，宽带可以指该数据模型更新装置的网络传输速度。可理解，该系统最大处理能力也可以理解为该数据模型更新装置的最大处理能力等，不应将本申请实施例中的系统理解为对本申请实施例的限定。

本申请实施例中，该数据模型的编码能力可表示该数据模型更新装置采用数据模型处理网络数据时的编码能力。具体的，该编码能力可包括该数据模型的编码率和该数据模型的编码速度。其中，对于数据模型的编码率来说，数据模型采用的编码算法则决定了编码率，而在数据模型相同的情况下，编码率相同，也就是说，对于同一个数据模型来说，编码率是不变的。对于数据模型的编码速度来说，一个数据模型的编码速度依赖于系统资源，因此，该编码速度需要实时获取。其中，系统资源可理解为内存资源、IO资源和CPU处理能力等等，本申请实施例对于该系统资源不作限定。

103、在确定上述编码能力以及上述系统最大处理能力满足预设条件的情况下，更新上述数据模型。

本申请实施例中，预设条件可以为数据模型更新装置预先设置的，与系统最大处理能力以及与数据模型的编码能力相关的条件。具体的，如该预设条件可以由该数据模型更新装置通过接收用户输入的设置指令来设置，或者，该预设条件也可以由该数据模型更新装置自动设置等等，本申请实施例对于该预设条件的设置方式不作限定。

具体的，上述预设条件包括：第一时间不大于第二时间；其中，上述第一时间由上述系统最大处理能力以及上述网络数据的数据量确定，上述第二时间由上述系统最大处理能力、上述网络数据的数据量以及上述编码能力确定；

或者，上述预设条件包括：上述系统最大处理能力和上述编码速度的比值，与上述编码率的和不小于1。

本申请实施例中，预设条件可以由第一时间和第二时间的关系来确定，其中，第一时间可以由系统最大处理能力和网络数据的数据量确定。也就是说，该第一时间可以表示未采用数据模型时数据模型更新装置处理网络数据使用的时间。第二时间可由系统最大处理能力、网络数据的数据量以及编码能力确定，也就是说，该第二时间可表示采用数据模型时该数据模型更新装置处理网络数据使用的时间。

具体的，假设系统最大处理能力为Cmax(MB/s)，而网络数据的数据量为Ncur(MB)，则第一时间T1＝Ncur/Cmax。

假设编码率为R，编码速度为Ecom(MB/s)，则第二时间为T2＝(Ncur*R)/Cmax+Ncur/Ecom。

其中，在T1大于T2时，则说明该数据模型能够满足不丢失网络数据的条件；而若T1不大于T2，则说明该数据模型已经无法满足不丢失网络数据的条件。也就是说，在T1不大于T2的情况下，该数据模型更新装置需要更新数据模型，以使得更新后的数据模型满足不丢失网络数据的条件。

本申请实施例中，预设条件还可以由系统最大处理能力和编码速度的比值，与编码率的和是否小于1来确定。也就是说，该预设条件还可以不根据网络数据的数据量来确定。具体的，以上述所给出的例子为例，则该预设条件可以为R+(Cmax/Ecom)大于或等于1。

可选的，上述方法还包括：

对上述网络数据进行格式化分析，得到上述网络数据的业务特征。

本申请实施例中，对网络数据进行格式化分析的具体实现方式可包括如按照正则表达式规则抽取网络数据的特征，如抽取网络数据的key、value和eventtype中的一项或多项。其中，key所代表的特征可为系统的静态知识库，value可代表该网络数据的业务数据，eventtype所代表的特征可为该网络数据的分类情况。因此，数据模型更新装置在获取到网络数据之后，可对该网络数据进行格式化分析，得到该网络数据的业务特征之后，执行图1所示的步骤102和103。或者，该数据模型更新装置也可以在执行图1所示的步骤101至步骤103之后，对该网络数据进行格式化分析等，本申请实施例对于该数据模型更新装置何时对该网络数据进行格式化分析不作限定。可理解，本申请实施例中，该系统的静态知识库也可以理解为数据模型更新装置的静态知识库等等，不应将本申请实施例中的该系统理解为对本申请实施例的限定。

举例来说，网络数据的eventtype可包括登入登出类、攻击类等等，也就是说，该网络数据可包括登入登出类数据，也可以包括攻击类数据等等，本申请实施例对于该网络数据的具体类型或分类不作限定。

本申请实施例中，通过对网络数据进行格式化分析，可得到规范性的网络数据，从而便于数据模型更新装置后续使用，提高了该数据模型更新装置使用数据的便利性以及效率，进而方便了用户使用，提高了用户的满意度。

进一步地，上述得到上述网络数据的业务特征之后，上述方法还包括：

依据上述网络数据的业务特征分类存储上述网络数据。

本申请实施例中，在得到网络数据的业务特征之后，该数据模型更新装置通过将不同类型的网络数据存储到不同地方，可有效提高存储的效率。

实施本申请实施例，通过数据模型的编码能力以及系统最大处理能力来确定是否更新该数据模型，从而使得数据模型更新装置能够根据实际场景或实际需求来动态更新数据模型，进而提高了系统性能，以及有效减少了存储的空间。

为了更形象的理解本申请实施例所提供的数据模型更新方法，以下将结合具体的场景来介绍该方法。

参见图2，图2是本申请实施例提供的一种数据模型更新方法的场景示意图，该方法可应用于数据模型更新装置。如图2所示，该方法包括：

201、接收网络设备或安全设备发送的网络数据。

其中，该网络设备可如前述实施例中的路由器或交换机等等，安全设备可如防火墙、IDS或IPS等等。

202、对接收到的网络数据进行格式化分析，得到该网络数据的业务特征。

其中，对网络数据进行格式化分析的具体方法可参考图1所示的方法，这里不再一一详述。可理解，每一种网络设备或安全设备发送的网络数据都对应有key，其中不同的网络设备或安全设备对应的key可能不同，因此，对于接收到的来自不同的网络设备或安全设备的网络数据的业务特征可能也会有差异。

203、确定系统最大处理能力，以及处理网络数据采用的数据模型的编码率和编码速度。

可理解，本申请实施例中，在数据模型更新装置初始化运行时，系统最大处理能力、以及数据模型的编码率和编码速度可以取缺省值。该缺省值可以理解为初始值。

具体的，数据模型更新装置可以通过计算目标时间段内的编码速度来得到该数据模型的编码速度，也可以通过计算当前的编码速度来得到该数据模型的编码速度等等，本申请实施例对于该数据模型更新装置如何计算编码速度不作限定。

204、确定编码率、编码速度以及系统最大处理能力是否满足预设条件，若是，则执行205；否则，执行206。

可理解，本申请实施例中，数据模型更新装置还可以通过设置更新标识，来显示该编码速度、编码率和系统最大处理能力是否满足预设条件。如更新标识为1，则说明编码速度、编码率和系统最大处理能力满足预设条件。又如更新标识达到上限，也可以表示编码速度、编码率和系统最大处理能力满足预设条件等等，本申请实施例对于该更新标识具体如何设置不作限定。如数据模型更新装置在确定编码速度、编码率和系统最大处理能力满足预设条件的情况下，可以确定更新标识已达到上限，则数据模型更新装置通过该更新标识便可直接更新数据模型。

205、更新数据模型。

可选的，本申请实施例中，还可以根据网络数据的不同来确定更新后的数据模型，如对于攻击类的网络数据以及登录类的网络数据可以确定不同的数据模型等等，本申请实施例对于具体的更新后的数据模型不作限定。

206、保持数据模型不变，继续采用该数据模型处理网络数据。

可选的，在数据模型更新装置对网络数据进行处理之后，还可以按照分布式节点的负载情况来选择节点进行并行消息分发，以及还可以按照数据模型的不同来分类存储该网络数据等等，本申请实施例对于该数据模型更新装置处理该网络数据之后所执行的方法不作限定。

本申请实施例中，在数据模型更新装置处理网络数据的情况下，可以根据系统最大处理能力以及数据模型的编码能力来确定是否更新该数据模型，从而避免了只使用一种数据模型，进而提高了系统性能。

可理解，图2和图1所示的方法各有侧重，其中一个实施例中未详尽描述的实现方式可对应参考另一个实施例的实现方式，这里不再一一详述。

以下将具体介绍本申请实施例提供的装置。

参见图3，图3是本申请实施例提供的一种数据模型更新装置的结构示意图，该数据模型更新装置可用于执行图1和图2所示的方法，如图3所示，该数据模型更新装置包括：

获取单元301，用于获取网络数据；

确定单元302，用于确定系统最大处理能力，以及确定处理上述网络数据采用的数据模型的编码能力；

更新单元303，用于在确定上述编码能力以及上述系统最大处理能力满足预设条件的情况下，更新上述数据模型。

实施本申请实施例，通过数据模型的编码能力以及系统最大处理能力来确定是否更新该数据模型，从而使得数据模型更新装置能够根据实际场景或实际需求来动态更新数据模型，进而提高了系统性能，以及有效减少了存储的空间。

具体的，上述编码能力包括编码率和编码速度。

具体的，上述预设条件包括：第一时间不大于第二时间；其中，上述第一时间由上述系统最大处理能力以及上述网络数据的数据量确定，上述第二时间由上述系统最大处理能力、上述网络数据的数据量以及上述编码能力确定；

或者，上述预设条件包括：上述系统最大处理能力和上述编码速度的比值，与上述编码率的和不小于1。

可选的，如图4所示，上述装置还包括：

格式化分析单元304，用于对上述网络数据进行格式化分析，得到上述网络数据的业务特征。

可选的，如图4所示，上述装置还包括：

存储单元305，用于依据上述网络数据的业务特征分类存储上述网络数据。

可理解，图3和图4所示的装置的具体实现方式可对应参考图1和图2所示的方法，这里不再一一详述。

参见图5，图5是本申请实施例提供的又一种数据模型更新装置的结构示意图，如图5所示，该数据模型更新装置可包括数据采集模块501、数据分类模块502、数据预处理模块503以及存储模块504。

具体的，该数据采集模块，可用于采集或接收来自网络设备或安全设备的网络数据；

该数据分类模型，可用于对网络数据进行格式化分析，以及确定该网络数据的业务特征，并选择与该网络数据对应的数据模型来处理该网络数据；

数据预处理模块，可用于通过与该网络数据对应的数据模型来对网络数据进行处理，以及该数据预处理模块，还可用于对该网络数据进行缓存或根据负载情况分发消息等等；

可理解，该数据预处理模块，还可用于在更新数据模型时，根据网络数据来更新对应的数据模型等等，本申请实施例对于该数据预处理模块所执行的操作不作唯一性限定。

存储模块，可用于存储该网络数据。

可理解，图5所示的数据模型更新装置的具体实现方式可参考图1或图2所示的方法的实现方式，这里不再一一详述。

参见图6，图6是本申请实施例提供的一种数据模型更新装置的结构示意图，如图6所示，该数据模型更新装置可包括处理器601和存储器602收发器603，该处理器601、存储器602和收发器603通过总线604相互连接。

存储器602包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmableread only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器602用于相关指令及数据。收发器603用于接收和发送数据，例如该收发器可用于接收来自安全设备或网络设备的网络数据等等，本申请实施例不作限定。

处理器601可以是一个或多个中央处理器(central processing unit，CPU)，在处理器601是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

具体的，该处理器601可用于执行图1所示的步骤101至步骤103所示的方法，或者，该处理器601还可用于执行获取单元301、确定单元302以及更新单元303所执行的功能等等，本申请实施例不作限定。

可理解，以上仅为本申请实施例提供的一种数据模型更新装置的结构示意图，在具体实现中，该数据模型更新装置可具有比示出的部分更多或更少的部件，可以组合两个或更多个部件，或者可具有不同部件的不同配置实现等等。

本申请实施例还提供一种芯片系统，该芯片系统包括至少一个处理器，存储器和收发器，该存储器、收发器和该至少一个处理器通过线路互联，该存储器中存储有指令；该指令被该至少一个处理器执行时，图1和图2所示的方法流程得以实现。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在数据模型更新装置上运行时，图1和图2所示的方法流程得以实现。

本申请实施例还提供一种计算机程序产品，当该计算机程序产品在数据模型更新装置上运行时，图1和图2所示的方法流程得以实现。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (9)

1.一种数据模型更新方法，其特征在于，包括：

获取网络数据；

确定系统最大处理能力，以及确定处理所述网络数据采用的数据模型的编码能力；

在确定所述编码能力以及所述系统最大处理能力满足预设条件的情况下，更新所述数据模型；所述编码能力包括编码率和编码速度，所述预设条件包括：第一时间不大于第二时间；其中，所述第一时间由所述系统最大处理能力以及所述网络数据的数据量确定，所述第二时间由所述系统最大处理能力、所述网络数据的数据量以及所述编码能力确定；

或者，所述预设条件包括：所述系统最大处理能力和所述编码速度的比值，与所述编码率的和不小于1。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述网络数据进行格式化分析，得到所述网络数据的业务特征。

3.根据权利要求2所述的方法，其特征在于，所述得到所述网络数据的业务特征之后，所述方法还包括：

依据所述网络数据的业务特征分类存储所述网络数据。

4.一种数据模型更新装置，其特征在于，包括：

获取单元，用于获取网络数据；

确定单元，用于确定系统最大处理能力，以及确定处理所述网络数据采用的数据模型的编码能力；

更新单元，用于在确定所述编码能力以及所述系统最大处理能力满足预设条件的情况下，更新所述数据模型，所述编码能力包括编码率和编码速度；所述预设条件包括：第一时间不大于第二时间；其中，所述第一时间由所述系统最大处理能力以及所述网络数据的数据量确定，所述第二时间由所述系统最大处理能力、所述网络数据的数据量以及所述编码能力确定；

或者，所述预设条件包括：所述系统最大处理能力和所述编码速度的比值，与所述编码率的和不小于1。

5.根据权利要求4所述的装置，其特征在于，所述装置还包括：

格式化分析单元，用于对所述网络数据进行格式化分析，得到所述网络数据的业务特征。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

存储单元，用于依据所述网络数据的业务特征分类存储所述网络数据。

7.一种数据模型更新装置，其特征在于，包括处理器和存储器，所述存储器中存储有程序，所述程序被所述数据模型更新装置中的处理器执行时，使所述数据模型更新装置执行如权利要求1至3任意一项所述的方法。

8.一种芯片系统，其特征在于，包括处理器，所述处理器用于支持数据模型更新装置执行如权利要求1至3任意一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被数据模型更新装置中的处理器执行时，使所述处理器执行权利要求1至3任意一项所述的方法。

Images