CN109857813B - 数据存储方法及数据处理装置 - Google Patents

Abstract

本申请公开了一种数据存储方法及数据处理装置，所述方法包括：获取第一时刻待存储数据中与资源的识别信息、信息数据或指标数据相关的多个数据项；根据所述识别信息对应的数据项将所述指标数据对应的多个数据项中的目标数据项和所述信息数据对应的多个数据项存储至关系型数据库中，其中，所述目标数据项根据各个数据项的被检索频率确定；将所述信息数据对应的多个数据项和所述指标数据对应的多个数据项存储至非关系型数据库。本申请实施例中，由于将数据根据使用频率以及数据的类型保存在不同类型的数据库中，从而使得从数据库中检索数据的速度大大提高。

Description

数据存储方法及数据处理装置

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据存储方法及数据处理装置。

背景技术

在IT资源监控过程中，需要对各个IT资源产生的数据进行保存，以方便对这些数据进行检索。

现有技术中IT资源相关的数据均通过关系型数据库来保存，或者通过大数据架构来存储。普通的关系型数据库中，在检索时，需要对全表进行扫描，当保存的数据量非常大时，数据库中本身包含的对象和字段非常多，会花费较多扫描时间，因此会导致建松效率低的问题。大数据存储架构中，某个字段的数据会存储至同一个数据表中，由于同一个对象具有多个字段，因此，在检索某一个对象对应的多个数据时，需要在多个数据表去查询相关数据，同样存在检索效率低的问题。

发明内容

为了克服现有技术中的上述不足，本申请的目的在于提供一种数据存储方法，所述方法包括：

获取第一时刻待存储数据中与资源的识别信息、信息数据或指标数据相关的多个数据项，所述信息数据包括资源类型、资源地址、资源的CPU使用率以及内存利用率，所述指标数据用于表征所述资源中预设监控类型的实际使用状态；

根据所述识别信息对应的数据项将所述指标数据对应的多个数据项中的目标数据项和所述信息数据对应的多个数据项存储至关系型数据库中，其中，所述目标数据项根据各个数据项的被检索频率确定；

将所述信息数据对应的多个数据项和所述指标数据对应的多个数据项存储至非关系型数据库。

可选地，所述非关系型数据库包括日志型数据库和文件型数据库，

所述将所述信息数据对应的多个数据项和所述指标数据对应的多个数据项存储至非关系型数据库的步骤包括，

将所述资源的指标数据对应的多个数据项中的非目标数据项存储至所述日志型数据库中；

将所述资源的指标数据对应的多个数据项中的非目标数据项存储至所述文件型数据库中；

根据所述识别信息对应的数据项将所述信息数据对应的数据项和所述目标数据项存储至所述文件型数据库中。

可选地，所述将所述指标数据对应的多个数据项中的非目标数据项存储至所述日志型数据库中的步骤包括：

判断日志型数据库中是否有第一时刻前预设时长的第二时刻前存储的目标数据项；

如果有第二时刻前存储的目标数据项，则删除第二时刻前存储的目标数据项；

存储第一时刻对应的所述目标数据项至所述日志型数据库。

可选地，在获取待存储数据中与资源的识别信息、信息数据或指标数据相关的多个数据项的步骤前，所述方法还包括，

获取包括所述信息数据和所述指标数据的原始数据；

对所述原始数据进行数据清洗，获得数据清洗后的待存储数据，所述待存储数据包括所述信息数据和所述指标数据。

可选地，在所述获取包括所述信息数据和所述指标数据的步骤后，所述方法还包括：

将所述原始数据缓存至数据缓存区；

从所述数据缓存区读取所述原始数据；

所述对所述原始数据进行数据清洗，获得数据清洗后的待存储数据的步骤包括，

对从所述数据缓存区读取所述原始数据进行数据清洗，获得待存储数据。

可选地，所述对从所述数据缓存区读取所述原始数据进行数据清洗的步骤包括：

检测从所述数据缓存区读取的所述原始数据中的各项数据是否为XML漏洞数据或者SQL注入数据；

筛除检测结果为XML漏洞数据或者SQL注入数据的各项数据，获得数据清洗后的待存储数据。

本申请的另一目的在于提供一种数据处理装置，所述装置包括获取模块、第一存储模块和第二存储模块；

所述获取模块用于获取第一时刻待存储数据中与资源的识别信息、信息数据或指标数据相关的多个数据项，所述信息数据包括资源类型、资源地址、资源的CPU使用率以及内存利用率，所述指标数据用于表征所述资源中预设监控类型的实际使用状态；

所述第一存储模块用于根据所述识别信息对应的数据项将所述指标数据对应的多个数据项中的目标数据项和所述信息数据对应的多个数据项存储至关系型数据库中，其中，所述目标数据项根据各个数据项的被检索频率确定；

所述第二存储模块用于将所述信息数据对应的多个数据项和所述指标数据对应的多个数据项存储至非关系型数据库。

可选地，所述非关系型数据库包括日志型数据库和文件型数据库，所述第二存储模块包括第一存储单元、第二存储单元和第三存储单元，

所述第一存储单元用于将所述资源的指标数据对应的多个数据项中的非目标数据项存储至所述日志型数据库中；

所述第二存储单元用于将所述资源的指标数据对应的多个数据项中的非目标数据项存储至所述文件型数据库中；

所述第三存储单元用于根据所述识别信息对应的数据项将所述信息数据对应的数据项和所述目标数据项存储至所述文件型数据库中。

可选地，所述装置还包括采集模块以及数据清洗模块；

所述采集模块用于获取包括所述信息数据和所述指标数据的原始数据；

所述清洗模块用于对所述原始数据进行数据清洗，获得数据清洗后的待存储数据，所述待存储数据包括所述信息数据和所述指标数据。

可选地，所述装置还包括读取模块；

所述采集模块还用于将所述原始数据缓存至数据缓存区；

所述读取模块用于从所述数据缓存区读取所述原始数据；

所述对所述原始数据进行数据清洗，获得数据清洗后的待存储数据，所述待存储数据包括所述信息数据和所述指标数据的步骤包括，

对从所述数据缓存区读取所述原始数据进行数据清洗，获得待存储数据，所述待存储数据包括所述信息数据和所述指标数据。

相对于现有技术而言，本申请具有以下有益效果：

本申请实施例通过根据各个数据项对应的数据被检索的频率来设置数据项，并判断所述指标数据中的各项数据是否属于目标数据项，将目标数据项和与信息数据相关的数据项保存到关系型数据库中，将非目标数据项保存到非关系型数据库中，从而可以大大提高数据检索的效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的数据处理设备的结构示意框图；

图2为本申请实施例提供的数据存储方法的流程示意图一；

图3为本申请实施例提供的数据存储方法的流程示意图二；

图4为本申请实施例提供的数据存储方法的流程示意图三；

图5为本申请实施例提供的数据存储方法的流程示意图四；

图6为本申请实施例提供的数据存储方法的流程示意图五；

图7为本申请实施例提供的数据存储方法的流程示意图六；

图8为本申请实施例提供的数据处理装置的结构示意图一；

图9为本申请实施例提供的数据处理装置的结构示意图二。

图标：100-数据处理设备；110-处理器；120-存储器；200-数据处理装置；210-采集模块；220-读取模块；230-清洗模块；240-获取模块；250-第一存储模块；260-第二存储模块；261-第一存储单元；262-第二存储单元；263-第三存储单元。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

本实施例提供一种数据处理系统，所述数据处理系统包括数据处理设备100以及至少两个服务器。

请参照图1，图1为本申请提供的数据处理设备100的结构框图，本实施例提供的数据处理设备100可以应用于解决至少一个上述问题。所述数据处理设备100包括处理器110和存储器120，所述处理器110与存储器120连接，用于实现数据交互。

在本实施例的数据处理设备100中，所述存储器120可以是，但不限于，随机存取存储器120(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。其中，存储器用于存储可执行指令，所述处理器110在接收到可执行指令后，执行该指令。

请参照图2，图2是应用于上述数据处理系统或者上述数据处理设备100的数据存储方法的流程示意图，数据存储方法，包括步骤S110-步骤S130。

步骤S110，获取与资源的识别信息、信息数据或指标数据相关的多个数据项。

本实施例用于获取第一时刻待存储数据中与资源的识别信息、信息数据或指标数据相关的多个数据项。

其中，信息数据包括资源基本信息、指标基本信息和系统配置信息等。

资源基本信息是与资源相关的信息，例如，资源基本信息包括资源类型、资源地址、资源的CPU个数、内存容量和磁盘空间。

指标基本信息是表征所述资源中可以监控的项目，例如指标基本信息可以包括CPU使用率，以及CPU使用率的告警阈值。

系统配置信息是指可以手动配置的信息，例如，系统配置信息可以包括资源的IP地址、登录资源的用户名和该用户的密码。

与信息数据相关的数据项可以包括与资源类型相关的数据项、与资源地址相关的数据项、与资源的CPU个数相关的数据项、与资源的内存容量相关的数据项、与资源的磁盘空间相关的数据项、与CPU使用率相关的数据项、与CPU使用率的告警阈值相关的数据项、与资源的IP地址相关的数据项、与登录资源的用户名相关的数据项或者与该用户的密码相关的数据项中的任意多个数据项。

其中，识别信息是可以用于唯一标识一个资源的信息。数据项是根据预先定义的数据种类而获得的与数据种类对应的数据。资源类型是用于表征所述资源是主机、中间件、数据库或者路由的数据。资源地址是用于表征资源所在物理位置或者空间位置等的数据。

本实施例用于从待存储数据中获取与资源的识别信息、信息数据或指标数据相关的多个数据项。

步骤S120，根据所述识别信息对应的数据项将目标数据项存储至关系型数据库中。

本实施例用于根据所述识别信息对应的数据项将所述指标数据对应的多个数据项中的目标数据项和所述信息数据对应的多个数据项存储至关系型数据库中，其中，所述目标数据项根据各个数据项的数据被检索频率确定。

本实施例中的目标数据项是根据可以明确划分类型的数据项，且是从可以明确划分类型的数据项中根据各个数据项的被检索频率确定的。例如，可以设置某一类型的数据对应的数据项被检索的检索频率阈值来设置，将检索频率高于检索频率阈值且可以明确划分类型的数据项存储至关系型数据库中。

例如，目标数据项可以包括资源类型、资源地址、CPU使用率、内存利用率等各自对应的数据项。

步骤S130，将所述信息数据对应的多个数据项和所述指标数据对应的多个数据项存储至非关系型数据库。

本实施例用于根据所述识别信息对应的数据项将所述资源的基本信息及所述运行信息对应的多个数据项中的非目标数据项存储至非关系型数据库中。

非目标数据项为基本信息及运行信息对应的多个数据项中除目标数据项以外的其他数据项。

根据所述识别信息对应的数据项将所述日志信息对应的数据项存储至所述非关系型数据库中。

本实施例中，识别信息、信息数据或指标数据与资源具有对应的关系，而每个识别信息又对应一个资源，因此，可以根据识别信息来对信息数据或指标数据进行存储。

本实施例中，由于在存储待存储数据时，根据数据项的使用频率来确定目标数据项，并将目标数据项保存在关系型数据中，将其他的数据项保存在非关系型数据库中，从而使得，关系型数据库中的数据量大大减少，在检索已经被存储的待存储数据中的数据项时的检索效率得到极大的提高。

本实施例中，可选的，采用一台独立的服务器来配置关系型数据库。

本实施例中，由于采用了非关系型数据库来对目标数据项之外的数据项以及目标数据项进行保存，因此，可以利用非关系型数据库扩展性高的特点，提高整个系统的扩展性。

可选地，本实施例中所述非关系型数据库包括日志型数据库和文件型数据库，。

请参照图3，步骤S130包括子步骤S131-步骤S133，步骤S131，将所述资源的指标数据对应的多个数据项中的非目标数据项存储至所述日志型数据库中；

步骤S132，将所述资源的指标数据对应的多个数据项中的非目标数据项存储至所述文件型数据库中；

步骤S133，将所述信息数据对应的数据项和所述目标数据项存储至所述文件型数据库中。

本实施例用于根据所述识别信息对应的数据项将所述信息数据对应的数据项和所述目标数据项存储至所述文件型数据库中。

本实施例中，通过日志型数据库来保存目标数据项，通过文件数据库来保存所有的数据项，使得在检索目标数据项时，可以通过全文检索的方式来检索目标数据项。通过文件型数据库来保存所有的数据项，能够对所有的数据项进行备份。

可选地，本实施例中，关系型数据库、日志型数据库以及文件型数据库分别采用至少一台独立的服务器来配置。也就是说关系型数据库可以布置在一台服务器上或者多台服务器上。日志型数据库可以布置在一台服务器上或者多台服务器上，文件型数据库可以布置在一台服务器上或者多台服务器上。

本实施例中，文件型数据库中存储数据时，还可以根据各个数据项的生成时间来存储。

请参照图4，可选地，本实施例中，步骤S131包括子步骤S1311-步骤S1313。

步骤S1311，判断日志型数据库中是否有第一时刻前预设时长的第二时刻前存储的目标数据项；

步骤S1312，如果有第二时刻前存储的目标数据项，则删除第二时刻前存储的目标数据项；

步骤S1313，存储第一时刻对应的所述目标数据项至所述日志型数据库。

本实施例中，在日志型数据库中，仅仅保存一定的时间长度内的数据，从而可以使日志型数据库中的数据更加少，因此，可以进一步提高日志型数据库中检索数据的效率。

请参照图5，可选地，在步骤S110前，所述方法还包括，步骤S210和步骤S220。

步骤S210，获取包括所述信息数据和所述指标数据的原始数据。

步骤S220，对所述原始数据进行数据清洗，获得数据清洗后的待存储数据，所述待存储数据包括所述信息数据和所述指标数据。

本实施例用于对原始数据进行数据清洗，将原始数据中不需要保存的数据和存在安全风险的数据过滤掉，这样，可以进一步减小待存储数据的数据量，还可以保证待存储数据的安全性。

请参照图6，可选地，在所述获取包括所述信息数据和所述指标数据的步骤后，所述方法还包括步骤S310-步骤S320。

步骤S310，将所述原始数据缓存至数据缓存区。

步骤S320，从所述数据缓存区读取所述原始数据。

所述步骤S220包括，对从所述数据缓存区读取所述原始数据进行数据清洗，获得待存储数据，所述待存储数据包括所述信息数据和所述指标数据。

本实施例用于将先将原始数据存储至数据缓存区，然后在读取数据时，从数据缓存区将原始数据读取出来并进行后续处理。将各个资源的数据存储在数据缓存区，这样就可以避免大量资源同时采集原始数据，造成的数据量过大进而导致服务器压力过大的问题。

请参照图7，可选地，所述步骤S220包括子步骤S221-步骤S222。

步骤S221，检测从所述数据缓存区读取的所述原始数据中的各项数据是否为XML漏洞数据或者SQL注入数据。

步骤S222，检测从所述数据缓存区读取的所述原始数据中的各项数据是否为XML漏洞数据或者SQL注入数据。

本实施例用于筛除XML漏洞数据或者SQL注入数据，使得待存储数据都是比较安全的数据。

XML漏洞数据是存在引发XML漏洞风险的数据，SQL注入数据是存在SQL注入风险的数据。

可选地，在对从所述数据缓存区读取所述原始数据进行数据清洗，获得待存储数据的步骤后，所述方法还包括，对所述待存储数据进行分类，获得与所述信息数据和所述指标数据相关的多个数据项。

本实施例用于对待存储时间进行分类处理，以获得与所述基本信息、所述运行信息或者所述日志信息相关的多个数据项。

本实施例中，当用户需要检索各个资源的信息时，可以通过REST API接口访问系统，并从客户端发送一个检索请求，检索请求中包含用户的待获取数据的相关信息。系统接收到用户的检索请求后，便根据用户的检索请求确定用户待获取数据是保存在关系型数据库中的数据项，还是保存在日志型数据库中的数据项，亦或是保存在文件型数据库中的数据项。

请参见图8，本申请的另一目的在于提供一种数据处理装置200，所述装置包括获取模块240、第一存储模块250和第二存储模块260。所述数据处理装置200包括一个可以软件或固件的形式存储于所述存储器120中或固化在所述图像处理设备的操作系统(operating system，OS)中的软件功能模块。

所述获取模块240用于获取第一时刻待存储数据中与资源的识别信息、信息数据或指标数据相关的多个数据项，所述信息数据包括资源类型、资源地址、资源的CPU使用率以及内存利用率，所述指标数据用于表征所述资源中预设监控类型的实际使用状态。

本实施例中，获取模块240可用于执行步骤S110，关于获取模块240的具体描述，可参考对所述步骤S110的描述。

所述第一存储模块250用于根据所述识别信息对应的数据项将所述指标数据对应的多个数据项中的目标数据项和所述信息数据对应的多个数据项存储至关系型数据库中，其中，所述目标数据项根据各个数据项的被检索频率确定；

所述第二存储模块260用于将所述信息数据对应的多个数据项和所述指标数据对应的多个数据项存储至非关系型数据库。

请参照图9，可选地，所述非关系型数据库包括日志型数据库和文件型数据库，所述第二存储模块260包括第一存储单元261、第二存储单元262和第三存储单元263。

所述第一存储单元261用于将所述资源的指标数据对应的多个数据项中的非目标数据项存储至所述日志型数据库中。

本实施例中，第一存储单元261具体可用于执行步骤S131，关于第一存储单元261的具体描述，可参考对所述步骤S131的描述。

所述第二存储单元262用于将所述资源的指标数据对应的多个数据项中的非目标数据项存储至所述文件型数据库中。

本实施例中，第二存储单元262具体可用于执行步骤S132，关于第二存储单元262的具体描述，可参考对所述步骤S132的描述。

所述第三存储单元263用于根据所述识别信息对应的数据项将所述信息数据对应的数据项和所述目标数据项存储至所述文件型数据库中。

本实施例中，第三存储单元263具体可用于执行步骤S133，关于第三存储单元263的具体描述，可参考对所述步骤S133的描述。

请继续参照图8，可选地，所述装置还包括采集模块210以及数据清洗模块230。

所述采集模块210用于获取包括所述信息数据和所述指标数据。

本实施例中，采集模块210具体可用于执行步骤S210，关于采集模块210的具体描述，可参考对所述步骤S210的描述。

所述清洗模块230用于对所述原始数据进行数据清洗，获得数据清洗后的待存储数据，所述待存储数据包括所述信息数据和所述指标数据。

本实施例中，清洗模块230具体可用于执行步骤S220，关于清洗模块230的具体描述，可参考对所述步骤S220的描述。

可选地，所述装置还包括读取模块220。

所述采集模块210还用于将所述原始数据缓存至数据缓存区。

本实施例中，采集模块210还可用于执行步骤S310，关于采集模块210的具体描述，可参考对所述步骤S310的描述。

所述读取模块220用于从所述数据缓存区读取所述原始数据。

本实施例中，读取模块220可用于执行步骤S320，关于读取模块220的具体描述，可参考对所述步骤S320的描述。

所述对所述原始数据进行数据清洗，获得数据清洗后的待存储数据，所述待存储数据包括所述信息数据和所述指标数据步骤包括，对从所述数据缓存区读取所述原始数据进行数据清洗，获得待存储数据，所述待存储数据包括所述信息数据和所述指标数据。

综上所述，本申请实施例通过根据各个数据项对应的数据被检索的频率来设置目标数据项，并判断所述资源的所述指标数据中的各项数据是否属于目标数据项，将目标数据项以及信息数据保存到关系型数据库中，将非目标数据项保存到日志型数据库中，将信息数据和指标数据的相关的所有数据项保存到文件型数据库中，从而可以大大提高数据检索的效率。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种数据存储方法，其特征在于，所述方法包括：

获取第一时刻待存储数据中与资源的识别信息、信息数据或指标数据相关的多个数据项，所述信息数据包括资源类型、资源地址、资源的CPU使用率以及内存利用率，所述指标数据用于表征所述资源中预设监控类型的实际使用状态；

根据所述识别信息对应的数据项将所述指标数据对应的多个数据项中的目标数据项和所述信息数据对应的多个数据项存储至关系型数据库中，其中，所述目标数据项根据各个数据项的被检索频率确定，针对所述检索频率设置检索频率阈值；

将所述信息数据对应的多个数据项和所述指标数据对应的多个数据项存储至非关系型数据库；

其中，所述非关系型数据库包括日志型数据库和文件型数据库，将所述资源的指标数据对应的多个数据项中的非目标数据项存储至所述日志型数据库中；

将所述资源的指标数据对应的多个数据项中的非目标数据项存储至所述文件型数据库中；

根据所述识别信息对应的数据项将所述信息数据对应的数据项和所述目标数据项存储至所述文件型数据库中。

2.根据权利要求1所述的数据存储方法，其特征在于，所述将所述指标数据对应的多个数据项中的非目标数据项存储至所述日志型数据库中的步骤包括：

判断日志型数据库中是否有第一时刻前预设时长的第二时刻前存储的目标数据项；

如果有第二时刻前存储的目标数据项，则删除第二时刻前存储的目标数据项；

存储第一时刻对应的所述目标数据项至所述日志型数据库。

3.根据权利要求1-2任一项所述的数据存储方法，其特征在于，在获取待存储数据中与资源的识别信息、信息数据或指标数据相关的多个数据项的步骤前，所述方法还包括，

获取包括所述信息数据和所述指标数据的原始数据；

对所述原始数据进行数据清洗，获得数据清洗后的待存储数据，所述待存储数据包括所述信息数据和所述指标数据。

4.根据权利要求3所述的数据存储方法，其特征在于，在所述获取包括所述信息数据和所述指标数据的步骤后，所述方法还包括：

将所述原始数据缓存至数据缓存区；

从所述数据缓存区读取所述原始数据；

所述对所述原始数据进行数据清洗，获得数据清洗后的待存储数据的步骤包括，

对从所述数据缓存区读取所述原始数据进行数据清洗，获得待存储数据。

5.根据权利要求4所述的数据存储方法，其特征在于，所述对从所述数据缓存区读取所述原始数据进行数据清洗的步骤包括：

检测从所述数据缓存区读取的所述原始数据中的各项数据是否为XML漏洞数据或者SQL注入数据；

筛除检测结果为XML漏洞数据或者SQL注入数据的各项数据，获得数据清洗后的待存储数据。

6.一种数据处理装置，其特征在于，所述装置包括获取模块、第一存储模块和第二存储模块；

所述获取模块用于获取第一时刻待存储数据中与资源的识别信息、信息数据或指标数据相关的多个数据项，所述信息数据包括资源类型、资源地址、资源的CPU使用率以及内存利用率，所述指标数据用于表征所述资源中预设监控类型的实际使用状态；

所述第一存储模块用于根据所述识别信息对应的数据项将所述指标数据对应的多个数据项中的目标数据项和所述信息数据对应的多个数据项存储至关系型数据库中，其中，所述目标数据项根据各个数据项的被检索频率确定，针对所述检索频率设置检索频率阈值；

所述第二存储模块用于将所述信息数据对应的多个数据项和所述指标数据对应的多个数据项存储至非关系型数据库；

其中，所述非关系型数据库包括日志型数据库和文件型数据库，所述第二存储模块包括第一存储单元、第二存储单元和第三存储单元，

所述第一存储单元用于将所述资源的指标数据对应的多个数据项中的非目标数据项存储至所述日志型数据库中；

所述第二存储单元用于将所述资源的指标数据对应的多个数据项中的非目标数据项存储至所述文件型数据库中；

所述第三存储单元用于根据所述识别信息对应的数据项将所述信息数据对应的数据项和所述目标数据项存储至所述文件型数据库中。

7.根据权利要求6所述的数据处理装置，其特征在于，所述装置还包括采集模块以及数据清洗模块；

所述采集模块用于获取包括所述信息数据和所述指标数据的原始数据；

所述清洗模块用于对所述原始数据进行数据清洗，获得数据清洗后的待存储数据，所述待存储数据包括所述信息数据和所述指标数据。

8.根据权利要求7所述的数据处理装置，其特征在于，所述装置还包括读取模块；

所述采集模块还用于将所述原始数据缓存至数据缓存区；

所述读取模块用于从所述数据缓存区读取所述原始数据；

所述对所述原始数据进行数据清洗，获得数据清洗后的待存储数据，所述待存储数据包括所述信息数据和所述指标数据的步骤包括，

对从所述数据缓存区读取所述原始数据进行数据清洗，获得待存储数据，所述待存储数据包括所述信息数据和所述指标数据。

Images