CN104657435B - 一种应用数据的存储管理方法和网络管理系统 - Google Patents

Abstract

本发明公开了一种应用数据的存储管理方法和网络管理系统，该方法包括：网络管理系统获得应用数据，并确定所述应用数据的数据类型；所述网络管理系统利用所述数据类型分级存储所述应用数据。本发明实施例中，网络管理系统可以基于应用数据的数据类型分级存储应用数据，极大的利用本地存储介质和内存缓存，降低网络管理系统的压力，利用内存缓存的空间，提升用户访问页面的速度，降低访问本地存储介质和数据库内的应用数据的频率，提升系统性能。

Description

一种应用数据的存储管理方法和网络管理系统

技术领域

本发明涉及存储技术领域，尤其是涉及一种应用数据的存储管理方法和网络管理系统。

背景技术

在分布式、多业务的Web(网页)网络管理系统中，存在和使用着网络视图、设备信息、用户操作状态、故障告警、性能采样等大量应用数据。例如，在一个桌面形式的Web网络管理系统中，为了记录用户的当前操作状态，需要将用户的每次应用图标移动、窗口打开位置/尺寸等应用数据进行跟踪记录，并将应用数据存储到数据库中。由于用户操作可能是频繁的，如果每次都进行数据库的存取操作，系统性能会变得非常低，严重影响用户体验。为减少应用程序与数据库之间的交互，可以使用内存缓存来进行应用数据的缓存维护，提升系统性能，加快数据读取速度，减少数据库的负担，节约系统资源。

用户每次访问Web网络管理系统时，从内存缓存中读取应用数据，如果内存缓存中存在应用数据，直接返回给客户端进行界面展示；如果内存缓存中不存在应用数据，从数据库中读取应用数据，将读取到的应用数据存储到内存缓存，并将内存缓存的应用数据返回给客户端进行界面展示。针对每次用户操作(如打开应用，删除应用等)的应用数据，都将用户的应用数据存储到内存缓存中，且内存缓存中的应用数据在一定时间后会存储到数据库中。

内存缓存中的应用数据存在易失性，如当断电情况发生时，内存缓存中的应用数据会丢失，用户体验差，内存缓存中的应用数据无法存储到数据库。

发明内容

本发明实施例提供一种应用数据的存储管理方法，所述方法包括以下步骤：网络管理系统获得应用数据，并确定所述应用数据的数据类型；

所述网络管理系统利用所述数据类型分级存储所述应用数据。

所述网络管理系统利用所述数据类型分级存储所述应用数据，具体包括：

当所述数据类型为第一子数据类型时，所述网络管理系统将所述应用数据存储到内存缓存中，并设置有效时间；在到达所述有效时间之后，所述网络管理系统从所述内存缓存中读取所述应用数据，并将所述应用数据存储到本地存储介质中；所述网络管理系统根据预设周期从所述本地存储介质中读取所有应用数据，并将所述所有应用数据存储到数据库中；和/或

当所述数据类型为第二子数据类型时，所述网络管理系统将所述应用数据存储到内存缓存中，并从所述内存缓存中读取所述应用数据，将所述应用数据存储到本地存储介质中；所述网络管理系统根据预设周期从所述本地存储介质中读取所有应用数据，并将所述所有应用数据存储到数据库中；和/或

当所述数据类型为第三子数据类型时，所述网络管理系统将所述应用数据存储到本地存储介质中；所述网络管理系统根据预设周期从所述本地存储介质中读取所有应用数据，并将所述所有应用数据存储到数据库中；和/或

当所述数据类型为第四子数据类型时，所述网络管理系统将所述应用数据存储到数据库中。

所述第一子数据类型具体包括应用信息类型；所述第二子数据类型具体包括桌面状态信息类型；所述第三子数据类型具体包括浏览器信息类型和用户信息类型；所述第四子数据类型具体包括不需要进行展示的数据信息类型。

所述方法进一步包括：

所述网络管理系统在收到来自客户端的用于请求应用数据的访问请求消息时，判断内存缓存中是否存储有该应用数据；如果内存缓存中存储有该应用数据，则将所述内存缓存中的该应用数据返回给所述客户端；如果内存缓存中没有存储该应用数据，则判断本地存储介质中是否存储有该应用数据；如果本地存储介质中存储有该应用数据，则将所述本地存储介质中的该应用数据存储到内存缓存，并将所述内存缓存中的该应用数据返回给所述客户端；如果本地存储介质中没有存储该应用数据，则将数据库中的该应用数据存储到内存缓存，并将所述内存缓存中的该应用数据返回给所述客户端。

所述网络管理系统具体包括：针对分布式、多业务的Web网络管理系统。

本发明实施例提供一种网络管理系统，所述网络管理系统具体包括：

确定模块，用于获得应用数据，并确定所述应用数据的数据类型；

存储模块，用于利用所述数据类型分级存储所述应用数据。

所述存储模块，具体用于当数据类型为第一子数据类型时，将所述应用数据存储到内存缓存中，并设置有效时间；在到达所述有效时间后，从所述内存缓存中读取所述应用数据，将所述应用数据存储到本地存储介质中；根据预设周期从所述本地存储介质中读取所有应用数据，并将所述所有应用数据存储到数据库中；和/或，当数据类型为第二子数据类型时，将所述应用数据存储到内存缓存中，从所述内存缓存中读取所述应用数据，将所述应用数据存储到本地存储介质中；根据预设周期从所述本地存储介质中读取所有应用数据，并将所述所有应用数据存储到数据库中；和/或，当数据类型为第三子数据类型时，将所述应用数据存储到本地存储介质中；根据预设周期从所述本地存储介质中读取所有应用数据，将所述所有应用数据存储到数据库中；和/或，当数据类型为第四子数据类型时，将所述应用数据存储到数据库中。

所述第一子数据类型具体包括应用信息类型；所述第二子数据类型具体包括桌面状态信息类型；所述第三子数据类型具体包括浏览器信息类型和用户信息类型；所述第四子数据类型具体包括不需要进行展示的数据信息类型。

还包括：处理模块，用于在收到来自客户端的用于请求应用数据的访问请求消息时，判断内存缓存中是否存储有该应用数据；如果内存缓存中存储有该应用数据，则将所述内存缓存中的该应用数据返回给所述客户端；如果内存缓存中没有存储该应用数据，则判断本地存储介质中是否存储有该应用数据；如果本地存储介质中存储有该应用数据，则将所述本地存储介质中的该应用数据存储到内存缓存，并将所述内存缓存中的该应用数据返回给所述客户端；如果本地存储介质中没有存储该应用数据，则将数据库中的该应用数据存储到内存缓存，并将所述内存缓存中的该应用数据返回给所述客户端。

所述网络管理系统具体包括：针对分布式、多业务的Web网络管理系统。

基于上述技术方案，本发明实施例中，网络管理系统可以基于应用数据的数据类型分级存储应用数据，极大的利用本地存储介质和内存缓存，降低网络管理系统的压力，最大化的利用内存缓存的空间，提升用户访问页面的速度，降低访问本地存储介质和数据库内的应用数据的频率，提升系统性能，保证应用数据的实时性，避免频繁的数据库操作带来的系统性能损耗，避免不同业务同时访问数据库造成资源争用问题，保证应用数据的持久化，避免过多的资源浪费。

附图说明

图1是本发明实施例中提供的一种应用数据的存储管理方法流程示意图；

图2是本发明实施例中提出的分级存储应用数据的结构示意图；

图3是本发明实施例中提供的一种网络管理系统的结构示意图。

具体实施方式

针对现有技术中存在的问题，本发明实施例提供了一种应用数据的存储管理方法，该存储方法可以应用在网络管理系统上，且该网络管理系统具体可以包括但不限于：针对分布式、多业务的Web网络管理系统。在上述应用场景下，如图1所示，该应用数据的存储管理方法具体可以包括以下步骤：

步骤101，网络管理系统获得应用数据，并确定该应用数据的数据类型。

步骤102，网络管理系统利用该数据类型分级存储该应用数据。

如图2所示，为分级存储应用数据的结构示意图，本发明实施例中，以数据类型包括第一子数据类型、第二子数据类型、第三子数据类型、第四子数据类型为例，对网络管理系统利用数据类型分级存储应用数据的过程进行详细说明，网络管理系统利用数据类型分级存储应用数据的过程，具体包括：

情况一、当数据类型为第一子数据类型时，网络管理系统将应用数据存储到内存缓存中，并设置有效时间。在到达该有效时间之后，网络管理系统从内存缓存中读取该应用数据，并将该应用数据存储到本地存储介质中。进一步的，网络管理系统可以根据预设周期(可以根据实际经验任意设置)从本地存储介质中读取所有应用数据，并将所有应用数据存储到数据库中。

其中，第一子数据类型具体包括但不限于：应用信息类型。第一子数据类型是指：读操作频繁，数据更新操作不频繁，且数据更新操作需要通知给多个客户端的数据类型，如经常用到但并不需要即时更新的桌面应用信息类型。例如，第一子数据类型的应用数据可以为软件相关的应用信息、查看网络拓扑的应用信息、各应用信息可以如注册名称、描述信息图标信息等。

由于第一子数据类型的应用数据可以容忍在一定时间内不进行更新，因此，网络管理系统在将应用数据存储到内存缓存之后，可以设置一个有效时间，该有效时间为应用数据的数据有效期，在该有效时间之内，网络管理系统不需要将内存缓存中的应用数据存储到本地存储介质和数据库中，即内存缓存不需要频繁的与本地存储介质和数据库进行交互，从而提高效率。

情况二、当数据类型为第二子数据类型时，网络管理系统将应用数据存储到内存缓存中，并从内存缓存中读取该应用数据，将该应用数据存储到本地存储介质中。网络管理系统根据预设周期(可以根据实际经验任意设置)从本地存储介质中读取所有应用数据，并将所有应用数据存储到数据库中。

其中，第二子数据类型具体包括但不限于：桌面状态信息类型。第二子数据类型是指：读操作频繁，数据更新操作频繁，且数据更新操作需要实时更新的数据类型，如经常访问并需要即时更新的频繁使用的桌面状态信息类型，该第二子数据类型的应用数据是需要直接展示给用户的。例如，第二子数据类型的应用数据可以为告警信息、网络视图信息、用户当前操作状态信息、性能采样信息、应用图标移动信息、窗口打开位置/尺寸信息等。

由于第二子数据类型的应用数据不可以容忍在一定时间内不进行更新，因此，网络管理系统在将应用数据存储到内存缓存之后，需要直接从内存缓存中读取该应用数据，并将该应用数据存储到本地存储介质中。通过上述处理，保证了内存缓存中的应用数据是最新状态，同时内存缓存中的应用数据会自动化的与本地存储介质中的应用数据进行交互，可以保证应用数据的实时性和不易失性。基于此，即使由于机房断电或者网络管理系统所在的Web应用服务器故障导致内存缓存失效，则网络管理系统也可以从本地存储介质中获得相关的应用数据，不会造成应用数据的丢失问题，提高了使用体验。

针对上述情况一和情况二，网络管理系统在将应用数据存储到内存缓存的过程中，内存缓存中的对象是以键值对的形式存在，键名为当前用户的唯一标识，键值为第一子数据类型的应用数据和第二子数据类型的应用数据。

进一步的，由于将应用数据存储到内存缓存中，因此用户短时间内再次访问时，可以直接从内存缓存中获得应用数据，而不需要通过访问数据库获得应用数据，保证了系统的高性能，大大节省了数据库的访问开销。

情况三、当数据类型为第三子数据类型时，网络管理系统将应用数据存储到本地存储介质中。进一步的，网络管理系统可以根据预设周期从本地存储介质中读取所有应用数据，并将所有应用数据存储到数据库中。

其中，第三子数据类型具体包括但不限于：浏览器信息类型以及用户信息类型。第三子数据类型是指：读操作频繁，数据更新操作不频繁，且数据更新操作不需要通知给多个客户端的数据类型，如经常用到的针对一个用户的浏览器信息和用户信息等。例如，第三子数据类型的应用数据可以为用户IE信息、用户标识信息、用户使用的密码信息、用户IE版本信息等。

由于第三子数据类型的应用数据不需要实时展示给用户，但是有展示给用户的需求，因此将第三子数据类型的应用数据存储到本地存储介质中，这部分应用数据不会消耗内存缓存中的资源，同时也能保证需要时被随时取出。

情况四、当数据类型为第四子数据类型时，网络管理系统直接将应用数据存储到数据库中，即网络管理系统只需要将应用数据存储到数据库中。

其中，第四子数据类型具体包括但不限于：不需要进行展示的数据信息类型。第四子数据类型是指：读操作不频繁，数据更新操作不频繁，且数据更新操作不需要通知给多个客户端的数据类型，如针对一个用户定制的不需要经常进行展示、也不会经常被访问的数据信息等。例如，第四子数据类型的应用数据可以为用户定制的架构信息、用户定制的桌面结构信息等。

由于第四子数据类型的应用数据不需要实时展示给用户，也没有展示给用户的需求，因此将第四子数据类型的应用数据直接存储到数据库中，从而既不消耗本地的存储空间，可以释放存储空间，也保证了应用数据的有效性。

针对上述四种情况，本地存储介质具体包括但不限于：文件系统、本地的硬盘、U盘等。数据库具体包括但不限于本地数据库，云数据库等。

本发明实施例中，针对应用数据的读操作，网络管理系统在收到来自客户端的用于请求应用数据的访问请求消息时，判断内存缓存中是否存储有该应用数据；如果内存缓存中存储有该应用数据，则将内存缓存中的该应用数据返回给客户端；如果内存缓存中没有存储该应用数据，则判断本地存储介质中是否存储有该应用数据；如果本地存储介质中存储有该应用数据，则将本地存储介质中的该应用数据存储到内存缓存，并将内存缓存中的该应用数据返回给客户端；如果本地存储介质中没有存储该应用数据，则将数据库中的该应用数据存储到内存缓存，并将内存缓存中的该应用数据返回给客户端。

基于上述技术方案，本发明实施例中，网络管理系统可以基于应用数据的数据类型分级存储应用数据，极大的利用本地存储介质和内存缓存，降低网络管理系统的压力，最大化的利用内存缓存的空间，提升用户访问页面的速度，降低访问本地存储介质和数据库内的应用数据的频率，提升系统性能，保证应用数据的实时性，避免频繁的数据库操作带来的系统性能损耗，避免不同业务同时访问数据库造成资源争用问题，保证应用数据的持久化，避免过多的资源浪费。

进一步的，上述方案带来如下技术优势：自动伺服：网络管理系统依据各业务指定的数据缓存及访问规则自动进行数据缓存及持久化管理调度，减少业务功能实现者与数据管理方案的高耦合，降低业务功能开发复杂度。多级数据管理：网络管理系统对数据分层级管理，使用缓存提升了用户访问页面的速度，使用本地存储降低了访问数据的频率，提升了系统性能。近实时的数据固化：网络管理系统使用缓存的方式记录用户的实时数据，并自动去存储用户信息至本地存储和数据库，保证了数据的实时性。低单点持久化争用：网络管理系统中同一进行数据缓存和持久化管理调度，批量持久化业务数据，降低单点持久化系统的使用频度，最大程度减少资源争用。

基于与上述方法同样的发明构思，本发明实施例中还提供了一种网络管理系统，如图3所示，所述网络管理系统具体包括：

确定模块11，用于获得应用数据，并确定所述应用数据的数据类型；

存储模块12，用于利用所述数据类型分级存储所述应用数据。

所述存储模块12，具体用于当数据类型为第一子数据类型时，将所述应用数据存储到内存缓存中，设置有效时间；在到达所述有效时间后，从所述内存缓存中读取所述应用数据，将所述应用数据存储到本地存储介质中；根据预设周期从所述本地存储介质中读取所有应用数据，并将所述所有应用数据存储到数据库中；和/或，当数据类型为第二子数据类型时，将所述应用数据存储到内存缓存中，从所述内存缓存中读取所述应用数据，将所述应用数据存储到本地存储介质中；根据预设周期从所述本地存储介质中读取所有应用数据，并将所述所有应用数据存储到数据库中；和/或，当数据类型为第三子数据类型时，将所述应用数据存储到本地存储介质中；根据预设周期从所述本地存储介质中读取所有应用数据，将所述所有应用数据存储到数据库中；和/或，当数据类型为第四子数据类型时，将所述应用数据存储到数据库中。

所述第一子数据类型具体包括应用信息类型；所述第二子数据类型具体包括桌面状态信息类型；所述第三子数据类型具体包括浏览器信息类型和用户信息类型；所述第四子数据类型具体包括不需要进行展示的数据信息类型。

所述网络管理系统，还包括：

处理模块13，用于在收到来自客户端的用于请求应用数据的访问请求消息时，判断内存缓存中是否存储有该应用数据；如果内存缓存中存储有该应用数据，则将所述内存缓存中的该应用数据返回给所述客户端；如果内存缓存中没有存储该应用数据，则判断本地存储介质中是否存储有该应用数据；如果本地存储介质中存储有该应用数据，则将所述本地存储介质中的该应用数据存储到内存缓存，并将所述内存缓存中的该应用数据返回给所述客户端；如果本地存储介质中没有存储该应用数据，则将数据库中的该应用数据存储到内存缓存，并将所述内存缓存中的该应用数据返回给所述客户端。

所述网络管理系统具体包括：针对分布式、多业务的Web网络管理系统。

其中，本发明装置的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (6)

1.一种应用数据的存储管理方法，其特征在于，所述方法包括以下步骤：

网络管理系统获得应用数据，并确定所述应用数据的数据类型；

所述网络管理系统利用所述数据类型分级存储所述应用数据，其中，当所述数据类型为第一子数据类型时，所述网络管理系统将所述应用数据存储到内存缓存中，并设置有效时间；在到达所述有效时间之后，所述网络管理系统从所述内存缓存中读取所述应用数据，并将所述应用数据存储到本地存储介质中；所述网络管理系统根据预设周期从所述本地存储介质中读取所有应用数据，并将所述所有应用数据存储到数据库中；和

当所述数据类型为第二子数据类型时，所述网络管理系统将所述应用数据存储到内存缓存中，并从所述内存缓存中读取所述应用数据，将所述应用数据存储到本地存储介质中；所述网络管理系统根据预设周期从所述本地存储介质中读取所有应用数据，并将所述所有应用数据存储到数据库中；和

当所述数据类型为第三子数据类型时，所述网络管理系统将所述应用数据存储到本地存储介质中；所述网络管理系统根据预设周期从所述本地存储介质中读取所有应用数据，并将所述所有应用数据存储到数据库中；和

当所述数据类型为第四子数据类型时，所述网络管理系统将所述应用数据存储到数据库中；

其中，所述第一子数据类型具体包括：应用信息类型，具体指读操作频繁，数据更新操作不频繁，且数据更新操作需要通知给多个客户端的数据类型；所述第二子数据类型具体包括：桌面状态信息类型，具体指读操作频繁，数据更新操作频繁，且数据更新操作需要实时更新的数据类型；所述第三子数据类型具体包括：浏览器信息类型以及用户信息类型，具体指读操作频繁，数据更新操作不频繁，且数据更新操作不需要通知给多个客户端的数据类型；所述第四子数据类型具体包括：不需要进行展示的数据信息类型，具体指读操作不频繁，数据更新不频繁，且数据更新操作不需要通知给多个客户端的数据类型。

2.如权利要求1所述的方法，其特征在于，所述方法进一步包括：

所述网络管理系统在收到来自客户端的用于请求应用数据的访问请求消息时，判断内存缓存中是否存储有该应用数据；如果内存缓存中存储有该应用数据，则将所述内存缓存中的该应用数据返回给所述客户端；如果内存缓存中没有存储该应用数据，则判断本地存储介质中是否存储有该应用数据；如果本地存储介质中存储有该应用数据，则将所述本地存储介质中的该应用数据存储到内存缓存，并将所述内存缓存中的该应用数据返回给所述客户端；如果本地存储介质中没有存储该应用数据，则将数据库中的该应用数据存储到内存缓存，并将所述内存缓存中的该应用数据返回给所述客户端。

3.如权利要求1-2任一项所述的方法，其特征在于，所述网络管理系统具体包括：针对分布式、多业务的网页Web网络管理系统。

4.一种网络管理系统，其特征在于，所述网络管理系统具体包括：

确定模块，用于获得应用数据，并确定所述应用数据的数据类型；

存储模块，用于利用所述数据类型分级存储所述应用数据，其中，当数据类型为第一子数据类型时，将所述应用数据存储到内存缓存中，并设置有效时间；在到达所述有效时间后，从所述内存缓存中读取所述应用数据，将所述应用数据存储到本地存储介质中；根据预设周期从所述本地存储介质中读取所有应用数据，并将所述所有应用数据存储到数据库中；和，当数据类型为第二子数据类型时，将所述应用数据存储到内存缓存中，从所述内存缓存中读取所述应用数据，将所述应用数据存储到本地存储介质中；根据预设周期从所述本地存储介质中读取所有应用数据，并将所述所有应用数据存储到数据库中；和，当数据类型为第三子数据类型时，将所述应用数据存储到本地存储介质中；根据预设周期从所述本地存储介质中读取所有应用数据，将所述所有应用数据存储到数据库中；和，当数据类型为第四子数据类型时，将所述应用数据存储到数据库中；

其中，所述第一子数据类型具体包括：应用信息类型，具体指读操作频繁，数据更新操作不频繁，且数据更新操作需要通知给多个客户端的数据类型；所述第二子数据类型具体包括：桌面状态信息类型，具体指读操作频繁，数据更新操作频繁，且数据更新操作需要实时更新的数据类型；所述第三子数据类型具体包括：浏览器信息类型以及用户信息类型，具体指读操作频繁，数据更新操作不频繁，且数据更新操作不需要通知给多个客户端的数据类型；所述第四子数据类型具体包括：不需要进行展示的数据信息类型，具体指读操作不频繁，数据更新不频繁，且数据更新操作不需要通知给多个客户端的数据类型。

5.如权利要求4所述的网络管理系统，其特征在于，还包括：

处理模块，用于在收到来自客户端的用于请求应用数据的访问请求消息时，判断内存缓存中是否存储有该应用数据；如果内存缓存中存储有该应用数据，则将所述内存缓存中的该应用数据返回给所述客户端；如果内存缓存中没有存储该应用数据，则判断本地存储介质中是否存储有该应用数据；如果本地存储介质中存储有该应用数据，则将所述本地存储介质中的该应用数据存储到内存缓存，并将所述内存缓存中的该应用数据返回给所述客户端；如果本地存储介质中没有存储该应用数据，则将数据库中的该应用数据存储到内存缓存，并将所述内存缓存中的该应用数据返回给所述客户端。

6.如权利要求4-5任一项所述的网络管理系统，其特征在于，所述网络管理系统具体包括：针对分布式、多业务的网页Web网络管理系统。