CN111858480A - 一种数据处理方法、装置及计算机存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、装置及计算机存储介质，方法包括：根据数据属性对日志数据进行命名；将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。通过对日志数据进行命名，以实现分类日志数据，日志检索组件对分类后的日志数据进行检索，避免在海量日志数据的场景下，直接检索日志数据，解决了检索效率慢，用户体验感差等问题。

Description

一种数据处理方法、装置及计算机存储介质

技术领域

本发明涉及软件工程技术领域，尤其涉及一种数据处理方法、装置及计算机存储介质。

背景技术

传统的统一待办系统需要与很多的子系统对接，产生大量的待办数据和日志数据，其中，待办数据用于统一门户检索个人待办数据，日志数据用于核查子系统的同步状况。在传统的统一待办系统中，通常直接登录Linux或者Windows服务器查看日志数据，以核查子系统是否同步成功。当生成一个待办数据时，待办系统的门户页面上将显示该条待办数据的相关信息，当用户办结某条待办数据时，将该条待办数据的待办状态设置为已办状态，待办系统中的门户页面上将显示该条待办数据的办结信息。

目前，日志数据最终要以界面的形式呈现给相关运维人员，因此在海量日志数据的场景下，直接进行日志数据的检索、筛选、分析，会产生性能上的瓶颈问题，比如检索效率很慢，用户体验感很差。

另外，由于统一待办系统对接的子系统较多，同步数据量较大，如果将日志数据都写入数据库，则日志数据必然会非常频繁地写入数据库，导致数据库服务器压力过大，为了解决此类问题，可以部署多个数据库服务器节点，但是又会大大地增加经济成本。并且，在技术方面，传统的日志采集和分析存在诸多缺陷，例如在并行计算、集群计算、分布式计算、网格计算和云计算的环境下，日志文件数量多，采集日志困难，海量日志的查询和分析耗时长、效率低，无法满足系统运维人员的日志分析需求。在待办数据量较大的情况下，由于业务场景要求待办数据需要每隔5秒就刷新一次，其刷新频率较高，查询数据库的次数将对数据库服务器造成很大的压力。

发明内容

有鉴于此，本发明实施例为解决现有技术中存在的至少一个问题而提供一种数据处理方法、装置及计算机存储介质，解决日志数据查询、检索速度慢的问题。

为达到上述目的，本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供一种数据处理方法，所述方法包括：

根据数据属性对日志数据进行命名；

将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。

上述技术方案中，在所述根据数据属性对日志数据进行命名之前，所述方法还包括：

周期性地监听日志组件中写入日志数据的文件大小，当所述文件的大小产生变化，获取当前写入所述日志组件的日志数据；所述日志组件用于写入服务器产生的日志数据。

上述技术方案中，所述将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中，包括：

根据命名格式筛选日志数据，获得符合命名格式的日志数据；

将符合命名格式的日志数据根据所述数据属性发送至日志检索组件中对应的目录中。

上述技术方案中，所述方法还包括：

根据待办数据的唯一标识确定缓存组件中是否存在所需的待办数据，得到判断结果；

根据所述判断结果确定所述缓存组件存在所述所需的待办数据，从所述缓存组件中获取所述所需的待办数据。

上述技术方案中，所述方法还包括：

根据所述判断结果确定所述缓存组件不存在所述所需的待办数据，根据所述待办数据的唯一标识确定数据库中存在所述所需的待办数据，从所述数据库中获取所述所需的待办数据。

上述技术方案中，所述方法还包括：

将所述所需的待办数据保存至所述缓存组件。

第二方面，本发明实施例提供一种数据处理装置，所述装置包括：

命名单元，用于根据数据属性对日志数据进行命名；

发送单元，用于将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。

上述技术方案中，所述装置还包括：

监听单元，用于周期性地监听日志组件中写入日志数据的文件大小，当所述文件的大小产生变化，获取当前写入所述日志组件的日志数据；所述日志组件用于写入服务器产生的日志数据。

第三方面，本发明实施例提供一种数据处理装置，所述装置包括网络接口、存储器和处理器；其中，

所述网络接口，配置为实现组件之间的连接通信；

所述存储器，配置为存储能够在所述处理器上运行的计算机程序；

所述处理器，配置为在运行所述计算机程序时，执行第一方面所述方法。

第四方面，本发明实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，当所述计算机程序被至少一个处理器执行时实现第一方面所述任一方法。

本发明实施例所提供的一种数据处理方法、装置及计算机存储介质，通过根据数据属性对日志数据进行命名；将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据，即对日志数据进行命名，以实现分类日志数据，日志检索组件对分类后的日志数据进行检索，可以避免在海量日志数据的场景下，直接检索日志数据，解决了检索效率慢，用户体验感差等问题。

附图说明

图1为本发明实施例提供的一种数据处理方法的实现流程示意图一；

图2为本发明实施例提供的一种数据处理方法的实现流程示意图二；

图3为现有的待办系统的结构示意图；

图4为本发明实施例提供的待办系统的结构示意图；

图5为本发明实施例提供的ElasticSearch对分类后的日志数据进行检索的部分代码示意图；

图6为本发明实施例提供的一种数据处理方法的实现流程示意图三；

图7为本发明实施例提供的一种数据处理装置的结构示意图；

图8为本发明实施例提供的一种数据处理装置的具体硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明实施例提供一种数据处理方法，图1为本发明实施例提供的一种数据处理方法的实现流程示意图一，如图1所示，该方法主要包括以下步骤：

步骤101、根据数据属性对日志数据进行命名。

需要说明的是，所述数据属性可以是数据类型，还可以是数据生成时间等信息。日志搜集组件可以根据数据类型对日志数据进行命名，还可以根据数据类型以及时间对日志数据进行命名，日志搜集组件用于搜集、分类日志数据。

需要说明的是，在所述根据数据属性对日志数据进行命名之前，还包括：周期性地监听日志组件中写入日志数据的文件大小，当所述文件的大小产生变化，则获取当前写入所述日志组件的日志数据，其中，所述日志组件用于写入服务器产生的日志数据。日志搜集组件通过周期性地监听日志组件中写入日志数据的文件大小是否发生变化，来获取日志数据，其中，所述周期可以是预设的时间间隔，例如时间间隔是1天，则日志搜集组件每隔1天监听日志组件中写入日志数据的文件大小，只要文件中写入日志数据，则日志搜集组件将会监听到文件的大小发生变化，从而获取日志数据。

步骤102、将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。

需要说明的是，所述将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中，包括：根据命名格式筛选日志数据，获得符合命名格式的日志数据；将符合命名格式的日志数据根据所述数据属性发送至日志检索组件中对应的目录中。由于日志搜集组件对日志数据进行命名的过程中可能出现错误，使得日志搜集组件根据数据类型所生成的命名中的命名格式可能不符合后续的检索要求，因此需要根据命名格式筛选日志数据，并将符合命名格式的日志数据根据所述数据属性发送至日志检索组件中对应的目录中，便于后续日志检索组件根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。

需要说明的是，所述数据处理方法还包括服务器从缓存组件中获取所需的待办数据，所述缓存组件用于缓存待办数据，具体地：根据待办数据的唯一标识确定缓存组件中是否存在所需的待办数据，得到判断结果；根据所述判断结果确定所述缓存组件存在所述所需的待办数据，从所述缓存组件中获取所述所需的待办数据。当服务器根据待办数据的唯一标识确定缓存组件中存在所需的待办数据，则直接从缓存组件中获取所需的待办数据，无需从数据库中检索待办数据，避免不断地查询数据库，造成数据库服务器的压力，从而降低检索效率。另外，服务器从缓存组件中获取所需的待办数据与本实施例中步骤101、步骤102并无明显的先后顺序，也可同时执行。

需要说明的是，所述数据处理方法还包括服务器从数据库中获取所需的待办数据，具体地：根据待办数据的唯一标识确定缓存组件中是否存在所需的待办数据，得到判断结果；根据所述判断结果确定所述缓存组件不存在所述所需的待办数据，根据所述待办数据的唯一标识确定数据库中存在所述所需的待办数据，从所述数据库中获取所述所需的待办数据。另外，服务器从数据库中获取所需的待办数据与本实施例中步骤101、步骤102并无明显的先后顺序，也可同时执行。

另外，在服务器从数据库中获取所需的待办数据之后，服务器将所述所需的待办数据保存至所述缓存组件，以便下次根据待办数据的唯一标识检索缓存组件，避免不断地查询数据库，造成数据库服务器的压力。

本发明实施例提供一种数据处理方法，图2为本发明实施例提供的一种数据处理方法的实现流程示意图二，如图2所示，该方法主要包括以下步骤：

步骤201、全球广域网(World Wide Web，web)服务器产生日志数据，将日志数据写入日志组件中。

需要说明的是，如图3所示，现有的待办系统包括至少一个子系统、至少一个待办数据库服务器、至少一个日志数据库服务器和一个web服务器，其中，数据库服务器是由运行在局域网中的一台或多台计算机和数据库管理系统软件共同构成的，数据库服务器为用户应用程序提供数据服务，该web服务器可将子系统的待办数据实时写入到待办数据库服务器、将日志数据实时同步到日志数据库服务器，通过待办数据库服务器、日志数据库服务器可检索待办数据、日志数据，并以页面的形式展示给用户，其中，待办数据用于统一门户检索个人待办数据，日志数据是在与子系统对接的过程中，web服务器产生的用于记录待办系统在运行过程中发生的事件的数据，以便后续根据日志数据核查子系统的同步状况。如图3所示，现有的待办系统中通过日志数据库服务器直接检索海量的日志数据，存在性能上的瓶颈问题，比如检索效率很慢，用户体验感很差。

如图4所示，本实施例中的待办系统包括至少一个子系统、一个web服务器、至少一个待办数据库服务器、至少一个缓存组件、一个日志组件、一个日志搜集组件和一个日志检索组件，其中，日志搜集组件用于搜集、分类日志数据，日志检索组件用于检索分类后的日志数据，缓存组件用于缓存待办数据。在web服务器与子系统对接的过程中，web服务器会产生日志数据，并将日志数据写入日志组件中，其中日志组件可以为应用日志框架log4j2，还可以为其他可存放日志数据的日志框架，日志数据包括数据类型以及生成时间。

步骤202、日志搜集组件周期性地监听日志组件中写入日志数据的文件大小，当文件的大小产生变化，获取当前写入日志组件的日志数据。

需要说明的是，数据往往以各种各样的形式，分散或集中地存在于待办系统中。日志搜集组件可以为日志文件管理工具(logstash)，其中logstash是一个开源的数据搜集引擎，具有实时监听以及搜集数据的功能，可以从多个数据源获取数据，并将来自多个数据源的数据统一起来，对数据进行转换，以便后续对数据进行检索。

一旦待办系统中的web服务器产生日志数据，则将日志数据写入日志组件的文件中，由于logstash会周期性地监听日志组件中写入日志数据的文件大小，其中，所述周期可以是预设的时间间隔，例如时间间隔是1天，则logstash每隔1天监听日志组件中写入日志数据的文件大小，只要文件中写入日志数据，则logstash将会监听到文件的大小发生变化，并根据日志数据写入日志组件的时间，即当前的时间获取最新写入日志组件的日志数据，例如2017-08-15将日志数据写入日志组件的文件中，logstash监听到当前日志组件的文件变大，则获取当前(2017-08-15)写入日志组件的日志数据。

步骤203、日志搜集组件根据数据类型以及时间对获取到的日志数据进行命名。

需要说明的是，日志搜集组件在获取了最新写入日志组件的日志数据后，由于日志数据的来源不同，日志数据的类型不同，且日志数据很多，因此需要对日志数据进行分类，将日志数据按照数据类型进行分类，即按照数据类型对获取的日志数据进行命名，其数据命名格式包括日志数据类型和时间，例如单点登录服务的日志数据可命名为log_sso-2017-08-15，统一待办的日志数据可命名为log_pending-2017-08-15。根据数据类型以及时间对获取的日志数据进行命名，可以很好的区分待办系统中不同类型的日志数据，还可以通过时间有序地备份日志数据，提高安全性。

步骤204、日志搜集组件根据命名格式筛选日志数据，获得符合命名格式的日志数据。

需要说明的是，由于日志搜集组件对日志数据进行命名的过程中可能出现错误，使得日志搜集组件根据数据类型以及时间所生成的命名中的时间格式可能不符合后续的检索要求，因此需要根据命名格式进行筛选，以便得到方便后续检索的日志数据，可以对日志数据的命名进行正则匹配，获取符合命名格式的日志数据，并通过过滤器滤除不符合命名格式的日志数据，其中正则匹配是利用正则表达式对日志数据的命名进行匹配，正则表达式是对字符串操作的一种逻辑公式，即用预先定义好的特定字符或特定字符的组合，组成一个“规则字符串”，该“规则字符串”表示一种对字符串的过滤逻辑。例如日志搜集组件生成的命名中的时间格式为数据存储和交换形式·信息交换·日期和时间(ISO 8601)格式，如2017年8月15日按照ISO 8601格式表示为2017-08-15或20170815，而后续检索的时间格式为时间戳格式，其时间戳为格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至当前的总秒数，则日志搜集组件采用正则表达式对日志数据进行筛选，过滤掉以ISO 8601格式命名的日志数据，而保留以时间戳格式命名的日志数据。

另外，日志搜集组件获得符合命名格式的日志数据后，还可以在日志数据的命名中加入所需的前缀或后缀，以便后续日志检索组件根据命名进行检索，以便基于前缀或后缀得到更确切的检索结果。

步骤205、日志搜集组件根据数据类型将符合命名格式的日志数据发送至日志检索组件中对应的目录中。

需要说明的是，日志检索组件可以为一种基于全文搜索引擎(Lucene)的搜索服务器(ElasticSearch)，ElasticSearch提供一个分布式多用户的全文搜索引擎，主要作为企业级搜索引擎，实现分布式的存储、实时搜索和海量数据分析。

由于日志搜集组件根据数据类型以及时间对获取的日志数据进行命名后，日志搜索组件会根据数据类型将日志数据发送至日志检索组件中对应的目录中，因此日志搜集组件中日志数据的命名格式与日志检索组件中日志数据的命名格式一致，即ElasticSearch中日志数据的命名格式与logstash中日志数据的命名格式一致。日志搜集组件将不同数据类型的日志数据存放至日志检索组件中对应的目录或表(类型)中，即不同数据类型的日志数据对应不同的表，例如日志搜集组件将单点登录服务的日志数据log_sso-2017-08-15存放至命名为sso的目录中，统一待办的日志数据log_pending-2017-08-15存放至命名为pending的目录中。

这里，当日志检索组件中没有与日志数据类型对应的目录时，日志检索组件会自动生成与日志数据类型对应的目录，日志搜集组件再将日志数据发送至日志检索组件中对应的目录中。

步骤206、日志检索组件根据目录对日志数据进行检索，通过设定格式显示日志数据。

需要说明的是，日志搜集组件将日志数据发送至日志检索组件中对应的目录中后，日志检索组件可根据目录检索日志数据，以获取所需的日志数据，并根据设定格式进行显示，例如运维人员需要检索单点登录服务的日志数据，则日志检索组件可以直接检索命名为sso的目录，当检索到单点登录服务的日志数据后，以表格或饼状图等形式进行显示，由于不用检索所有的日志数据，从而可以大大地提高检索数据的效率。在海量日志数据的情况下，通常采用通过select*from table的方法在数据库中进行查询，该检索方法效率比较低，但是，本实施例中日志检索组件通过检索ElasticSearch的索引(index)以及函数actionGet()将查询到的日志数据返回到response的结果集中，如图5所示，即本实施例通过logstash对日志数据进行分类、ElasticSearch对分类后的日志数据进行检索，可以有效的提升检索效率。

需要说明的是，步骤201-206是日志搜集组件对日志数据进行分类、日志检索组件对分类后的日志数据进行检索的过程，以下步骤601-604是web服务器检索缓存组件中的待办数据的过程，如图6所示。本实施例中的步骤201-206和步骤601-604并无明显的先后顺序，也可同时执行。

步骤601、web服务器根据待办数据的唯一标识检索缓存组件中是否存在所需的待办数据，如果在缓存组件中检索到所需的待办数据，则转入步骤602a；如果在缓存组件中未检索到所需的待办数据，则转入步骤602b。

需要说明的是，web服务器在与子系统对接的过程中，子系统会推送大量的待办数据至web服务器，其中，待办数据用于统一门户检索个人待办数据，待办数据可以是新增的待办数据，也可以是变更的待办数据。web服务器接收到子系统推送的待办数据(新增的待办数据或变更的待办数据)后，将新增的待办数据或变更的待办数据保存至待办数据库服务器中，并根据新增的待办数据或变更的待办数据的唯一标识删除缓存组件中具有该唯一标识的待办数据，该唯一标识可以是人名，即具有唯一标识的待办数据表示为某位用户的待办数据，还可以是待办数据的类型等。

需要说明的是，由于web服务器接收到子系统推送的待办数据(新增的待办数据或变更的待办数据)后，将新增的待办数据或变更的待办数据保存至待办数据库服务器中，并没有保存至缓存组件中，因此，web服务器根据待办数据的唯一标识检索缓存组件中是否存在所需的待办数据时，可能出现检索不到所需待办数据的情况。

本实施例中的缓存组件可以为一种轻量级缓存组件(redis)，该redis支持存储各种数据类型，包括字符串(string)、链表(list)、集合(set)、有序集合(sorted set)和哈希(hash)，且redis的读取性能远优于数据库的读取性能。

步骤602a、web服务器从缓存组件中获取所需的待办数据。

需要说明的是，如图4所示，当web服务器在缓存组件中检索到所需的待办数据，则直接从缓存组件中获取所需的待办数据，无需从待办数据库服务器中检索待办数据，避免不断地查询数据库，造成数据库服务器的压力，从而降低检索效率。

步骤602b、web服务器根据待办数据的唯一标识检索待办数据库服务器中是否存在所需的待办数据，如果在待办数据库服务器中检索到所需的待办数据，则转入步骤603；如果在待办数据库服务器中未检索到所需的待办数据，则结束流程。

需要说明的是，若缓存组件中缓存有所需的待办数据，则web服务器就会从缓存组件中直接获取所需的待办数据，如果缓存组件中没有缓存所需的待办数据，则web服务器会从待办数据库服务器中检索所需的待办数据，从而缓解数据库的压力。

步骤603、web服务器从待办数据库服务器中获取所需的待办数据。

需要说明的是，所述数据库可以是MySQL，还可以是其他的关系型数据库管理系统。

步骤604、web服务器将所需的待办数据保存至缓存组件。

需要说明的是，当web服务器从待办数据库服务器中获取到所需的待办数据后，会将该待办数据保存至缓存组件，以便下次根据待办数据的唯一标识检索缓存组件，避免不断地查询数据库，造成数据库服务器的压力。

基于上述实施例的同一发明构思，本发明实施例提供一种数据处理装置，图7为本发明实施例提供的一种数据处理装置的结构示意图，如图7所示，所述数据处理装置700包括：

命名单元701，用于根据数据属性对日志数据进行命名；

发送单元702，用于将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。

需要说明的是，所述数据处理装置700还可以包括：

监听单元，用于周期性地监听日志组件中写入日志数据的文件大小，当所述文件的大小产生变化，获取当前写入所述日志组件的日志数据；所述日志组件用于写入服务器产生的日志数据。

需要说明的是，所述发送单元702还用于根据命名格式筛选日志数据，获得符合命名格式的日志数据；

将符合命名格式的日志数据根据所述数据属性发送至日志检索组件中对应的目录中。

需要说明的是，所述数据处理装置700还可以包括：

判断单元703，用于根据待办数据的唯一标识确定缓存组件中是否存在所需的待办数据，得到判断结果；

第一获取单元704，根据所述判断结果确定所述缓存组件存在所述所需的待办数据，从所述缓存组件中获取所述所需的待办数据。

需要说明的是，所述装置700还可以包括：

第二获取单元705，根据所述判断结果确定所述缓存组件不存在所述所需的待办数据，根据所述待办数据的唯一标识确定数据库中存在所述所需的待办数据，从所述数据库中获取所述所需的待办数据。

需要说明的是，所述数据处理装置700还可以包括：

保存单元706，用于将所述所需的待办数据保存至所述缓存组件。

在本发明实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

因此，本发明实施例提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述实施例所述的步骤。

参见图8，示出了本发明实施例提供的一种数据处理装置800的具体硬件结构，包括：网络接口801、存储器802和处理器803；各个组件通过总线系统804耦合在一起。可理解，总线系统804用于实现这些组件之间的连接通信。总线系统804除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统804。其中，

所述网络接口801，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；

存储器802，用于存储能够在处理器803上运行的计算机程序；

处理器803，用于在运行所述计算机程序时，执行：

根据数据属性对日志数据进行命名；

将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。

所述处理器803还用于运行所述计算机程序时，执行：

周期性地监听日志组件中写入日志数据的文件大小，当所述文件的大小产生变化，获取当前写入所述日志组件的日志数据；所述日志组件用于写入服务器产生的日志数据。

所述处理器803还用于运行所述计算机程序时，执行：

根据命名格式筛选日志数据，获得符合命名格式的日志数据；

将符合命名格式的日志数据根据所述数据属性发送至日志检索组件中对应的目录中。

所述处理器803还用于运行所述计算机程序时，执行：

根据待办数据的唯一标识确定缓存组件中是否存在所需的待办数据，得到判断结果；

根据所述判断结果确定所述缓存组件存在所述所需的待办数据，从所述缓存组件中获取所述所需的待办数据。

所述处理器803还用于运行所述计算机程序时，执行：

根据所述判断结果确定所述缓存组件不存在所述所需的待办数据，根据所述待办数据的唯一标识确定数据库中存在所述所需的待办数据，从所述数据库中获取所述所需的待办数据。

所述处理器803还用于运行所述计算机程序时，执行：

将所述所需的待办数据保存至所述缓存组件。

可以理解，本发明实施例中的存储器802可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccess Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Sync Link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的方法的存储器702旨在包括但不限于这些和任意其它适合类型的存储器。

而处理器803可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器803中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器803可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器802，处理器803读取存储器802中的信息，结合其硬件完成上述方法的步骤。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。以上所描述的终端实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

根据数据属性对日志数据进行命名；

将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。

2.根据权利要求1所述的方法，其特征在于，在所述根据数据属性对日志数据进行命名之前，所述方法还包括：

周期性地监听日志组件中写入日志数据的文件大小，当所述文件的大小产生变化，获取当前写入所述日志组件的日志数据；所述日志组件用于写入服务器产生的日志数据。

3.根据权利要求1所述的方法，其特征在于，所述将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中，包括：

根据命名格式筛选日志数据，获得符合命名格式的日志数据；

将符合命名格式的日志数据根据所述数据属性发送至日志检索组件中对应的目录中。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

根据待办数据的唯一标识确定缓存组件中是否存在所需的待办数据，得到判断结果；

根据所述判断结果确定所述缓存组件存在所述所需的待办数据，从所述缓存组件中获取所述所需的待办数据。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据所述判断结果确定所述缓存组件不存在所述所需的待办数据，根据所述待办数据的唯一标识确定数据库中存在所述所需的待办数据，从所述数据库中获取所述所需的待办数据。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述所需的待办数据保存至所述缓存组件。

7.一种数据处理装置，其特征在于，所述装置包括：

命名单元，用于根据数据属性对日志数据进行命名；

发送单元，用于将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

监听单元，用于周期性地监听日志组件中写入日志数据的文件大小，当所述文件的大小产生变化，获取当前写入所述日志组件的日志数据；所述日志组件用于写入服务器产生的日志数据。

9.一种数据处理装置，其特征在于，所述装置包括网络接口、存储器和处理器；其中，

所述网络接口，配置为实现组件之间的连接通信；

所述存储器，配置为存储能够在所述处理器上运行的计算机程序；

所述处理器，配置为在运行所述计算机程序时，执行权利要求1至6任一项所述方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，当所述计算机程序被至少一个处理器执行时实现如权利要求1至6中任一项所述方法。

Images