CN111611207A - 状态数据处理方法、装置及计算机设备 - Google Patents

状态数据处理方法、装置及计算机设备 Download PDF

Info

Publication number
CN111611207A
CN111611207A CN202010437921.XA CN202010437921A CN111611207A CN 111611207 A CN111611207 A CN 111611207A CN 202010437921 A CN202010437921 A CN 202010437921A CN 111611207 A CN111611207 A CN 111611207A
Authority
CN
China
Prior art keywords
state data
service
log
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010437921.XA
Other languages
English (en)
Other versions
CN111611207B (zh
Inventor
朱堂华
康添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Hongmei Intelligent Technology Co Ltd
Original Assignee
Sichuan Hongmei Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Hongmei Intelligent Technology Co Ltd filed Critical Sichuan Hongmei Intelligent Technology Co Ltd
Priority to CN202010437921.XA priority Critical patent/CN111611207B/zh
Publication of CN111611207A publication Critical patent/CN111611207A/zh
Application granted granted Critical
Publication of CN111611207B publication Critical patent/CN111611207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种状态数据处理方法、装置及计算机设备，在接收到目标智能设备上报的状态数据后，按照设定格式生成对应的业务日志，将业务日志放置至Flume组件对应的日志目录中，实现对状态数据的整合，由Flume组件按照设定采集规则，将日志目录中的所有业务日志取出发送至Hadoop，由Hadoop中的pig处理框架对业务日志进行分析，以快速针对不同业务需求生成不同的统计数据，通过生成用于表述相应统计数据的sql语句，将sql语句存储到数据库中，从而完成对大量状态数据的统计分析和存储，在需要进行数据统计展示时，可以直接将数据库中的sql语句表述的统计数据进行响应，从而可以提高服务器的响应速度。

Description

状态数据处理方法、装置及计算机设备
技术领域
本发明涉及数据处理技术领域，特别涉及一种状态数据处理方法、装置及计算机设备。
背景技术
随着智能家居的发展，智能设备的使用也越来越普遍。智能设备与服务器之间需要经常进行数据交互，例如，智能设备将状态数据上报给服务器，为了便于后续进行数据统计，服务器需要将智能设备上报的状态数据进行持久化处理。传统处理方式是服务器在每接收到智能设备上报的状态数据后，则直接将这些状态数据存储到数据库中，在进行数据统计时，从数据库中存储的状态数据中进行计算，以对统计结果进行响应。然而数据库中存储的数据量较大，计算统计过程耗费时间较长，从而影响服务器的响应速度。因此，需要提供一种快速高效的数据处理方案，以解决现有技术存在的问题。
发明内容
本发明实施例提供了一种状态数据处理方法、装置及计算机设备，以对状态数据快速高效的进行处理，提高服务器性能。
第一方面，本发明实施例提供了一种状态数据处理方法，包括
接收目标智能设备上报的状态数据，并对所述状态数据进行解析；
根据解析后的所述状态数据，按照预设格式，生成对应的业务日志；
将生成的所述业务日志放置至Flume组件对应的日志目录中；
利用所述Flume组件，按照设定采集规则，将所述日志目录中的所有业务日志取出，发送至分布式系统基础架构Hadoop；
所述Hadoop中的pig处理框架对接收到的业务日志进行分析，以针对不同业务需求生成不同的统计数据，并生成用于表述相应统计数据的sql语句；
采用linux命令将生成的sql语句存储到数据库中。
优选地，进一步包括：预先存储有若干解析协议，每一个解析协议对应不同的智能设备；
所述对所述状态数据进行解析，包括：确定所述目标智能设备对应的目标解析协议，从预先存储的若干解析协议中选择出所述目标解析协议，利用所述目标解析协议对所述状态数据进行解析。
优选地，在所述采用linux命令将生成的sql语句存储到数据库中之前，进一步包括：将生成的sql语句整合到目标文件夹中；
所述采用linux命令将生成的sql语句存储到数据库中，包括：采用Linux命令执行所述目标文件夹中包含的sql语句，以将所述目标文件夹中包含的sql语句存储到数据库中。
优选地，在所述生成对应的业务日志之后，进一步包括：将生成的所述业务日志进行本地备份；
优选地，所述设定采集规则包括：每隔设定时间段采集一次，或，每当所述日志目录中放置的业务日志量达到设定数量则采集一次。
第二方面，本发明实施例提供了一种状态数据处理装置，包括：
数据处理模块，用于接收目标智能设备上报的状态数据，并对所述状态数据进行解析，根据解析后的所述状态数据，按照预设格式，生成对应的业务日志，将生成的所述业务日志放置至Flume组件对应的日志目录中；
所述Flume组件，用于按照设定采集规则，将所述日志目录中的所有业务日志取出，发送至分布式系统基础架构Hadoop；
所述Hadoop中的pig处理框架，用于对接收到的业务日志进行分析，以针对不同业务需求生成不同的统计数据，并生成用于表述相应统计数据的sql语句；
Linux命令调用模块，用于调用Linux命令将生成的sql语句存储到数据库中。
优选地，进一步包括：第一存储模块，用于预先存储有若干解析协议，每一个解析协议对应不同的智能设备；
所述数据处理模块在对所述状态数据进行解析时，具体包括：确定所述目标智能设备对应的目标解析协议，从预先存储的若干解析协议中选择出所述目标解析协议，利用所述目标解析协议对所述状态数据进行解析。
优选地，进一步包括：整合模块，用于将生成的sql语句整合到目标文件夹中；
所述Linux命令调用模块，用于采用Linux命令执行所述目标文件夹中包含的sql语句，以将所述目标文件夹中包含的sql语句存储到数据库中。
优选地，进一步包括：第二存储模块，用于将生成的所述业务日志进行本地备份；
优选地，所述设定采集规则包括：每隔设定时间段采集一次，或，每当所述日志目录中放置的业务日志量达到设定数量则采集一次。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
本发明实施例提供了一种状态数据处理方法、装置及计算机设备，在接收到目标智能设备上报的状态数据后，不是直接执行存储过程，而是解析出状态数据，并按照设定格式生成对应的业务日志，将业务日志放置至Flume组件对应的日志目录中，实现对状态数据的整合，由Flume组件按照设定采集规则，将日志目录中的所有业务日志取出发送至Hadoop，由Hadoop中的pig处理框架对所有的业务日志进行分析，pig处理框架可以用于分析较大数据集，可以快速针对不同业务需求生成不同的统计数据，通过生成用于表述相应统计数据的sql语句，将sql语句存储到数据库中，从而完成对大量状态数据的统计分析和存储，在需要进行数据统计展示时，可以直接将数据库中的sql语句表述的统计数据进行响应，从而可以提高服务器的响应速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种状态数据处理方法流程图；
图2是本发明一实施例提供的另一种状态数据处理方法流程图；
图3是本发明一实施例提供的一种状态数据处理装置结构示意图；
图4是本发明一实施例提供的一种计算机设备的硬件架构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，本发明实施例提供了一种状态数据处理方法，该方法可以包括以下步骤：
步骤101：接收目标智能设备上报的状态数据，并对所述状态数据进行解析；
步骤102：根据解析后的所述状态数据，按照预设格式，生成对应的业务日志；
步骤103：将生成的所述业务日志放置至Flume组件对应的日志目录中；
步骤104：利用所述Flume组件，按照设定采集规则，将所述日志目录中的所有业务日志取出，发送至分布式系统基础架构Hadoop；
步骤105：所述Hadoop中的pig处理框架对接收到的业务日志进行分析，以针对不同业务需求生成不同的统计数据，并生成用于表述相应统计数据的sql语句；
步骤106：采用linux命令将生成的sql语句存储到数据库中。
本发明上述实施例，在接收到目标智能设备上报的状态数据后，不是直接执行存储过程，而是解析出状态数据，并按照设定格式生成对应的业务日志，将业务日志放置至Flume组件对应的日志目录中，实现对状态数据的整合，由Flume组件按照设定采集规则，将日志目录中的所有业务日志取出发送至Hadoop，由Hadoop中的pig处理框架对所有的业务日志进行分析，pig处理框架可以用于分析较大数据集，可以快速针对不同业务需求生成不同的统计数据，通过生成用于表述相应统计数据的sql语句，将sql语句存储到数据库中，从而完成对大量状态数据的统计分析和存储，在需要进行数据统计展示时，可以直接将数据库中的sql语句表述的统计数据进行响应，从而可以提高服务器的响应速度。
在本发明一个实施例中，服务器与建立连接关系的智能设备之间进行数据交互，以至少可以实现获取智能设备的状态数据、向智能设备发送控制指令、向智能设备响应相应请求等。服务器接收到的状态数据是按一定协议规则排列的字符串，为了获知该字符串对应的具体内容，需要使用相应解析协议对该字符串进行解析，而智能设备的种类有很多种，例如，洗衣机、冰箱、空调等等，且同一种类不同型号的智能设备在于服务器之间进行数据交互时，也可能采用不同的协议来构建的交互数据，因此，服务器需要采用不同解析协议，对不同智能设备发送的数据进行解析，其中可以进一步包括：预先存储有若干解析协议，每一个解析协议对应不同的智能设备；
所述对所述状态数据进行解析，包括：确定所述目标智能设备对应的目标解析协议，从预先存储的若干解析协议中选择出所述目标解析协议，利用所述目标解析协议对所述状态数据进行解析。
其中，服务器中在存储解析协议时可以与智能设备的唯一标识绑定对应关系，一种解析协议可以对应至少一个智能设备的唯一标识，在服务器接收到目标智能设备上报的状态数据时，同时携带有该目标智能设备的唯一标识，服务器可以通过该唯一标识确定与其绑定的具有对应关系的目标解析协议，从而可以使用该目标解析协议对该目标智能设备上报的状态数据进行解析。
在本发明一个实施例中，Hadoop中的pig处理框架在针对不同业务需求生成不同的统计数据后，会生成用于表述相应统计数据的sql语句，且针对同一业务需求，会将该相同业务需求对应的若干个sql语句放入到一个文件夹中，如此会生成对应不同业务需求的多个文件夹，为了快速将这些sql语句进行持久化存储，在所述采用linux命令将生成的sql语句存储到数据库中之前，可以进一步包括：将生成的sql语句整合到目标文件夹中；
所述采用linux命令将生成的sql语句存储到数据库中，包括：采用Linux命令执行所述目标文件夹中包含的sql语句，以将所述目标文件夹中包含的sql语句存储到数据库中。
通过将生成的sql语句整合到一个目标文件夹中，直接生成一个Linux命令，用于执行该目标文件夹中的sql语句，将批量的sql语句存储到数据库中，从而可以实现状态数据的持久化存储。
在本发明一个实施例中，为了保证智能设备上报的状态数据进行持久化存储，且防止状态数据丢失造成数据统计错误，在所述生成对应的业务日志之后，可以进一步包括：将生成的所述业务日志进行本地备份。若在后续数据处理过程中，某一个环节发生错误，造成业务日志丢失，可以将丢失的业务日志从本地备份中取出，并重新放置到Flume组件对应的日志目录中，从而可以进一步保证状态数据的持久化存储。
由于传统的数据处理方式是每接收到一个状态数据，则直接将该状态数据存储到数据库中，而在本发明一个实施例中，可以将其生成业务日志后放置到Flume组件对应的日志目录中，每隔设定时间段采集一次，或，每当所述日志目录中放置的业务日志量达到设定数量则采集一次，如此可以实现状态数据的批量处理，快速高效。
下面以智能洗衣机上报状态数据为例，对本发明实施例的状态数据处理方法进行说明，请参考图2，该状态数据处理方法可以包括以下步骤：
步骤201：根据智能设备在服务器上的注册信息，确定每一个智能设备对应的解析协议，采用智能设备的唯一标识与解析协议绑定对应关系。
智能设备的种类不同，在进行数据交互时采用的协议不同，甚至同一种类的智能设备其型号不同，可能使用的协议也不同，因此，在智能设备在服务器进行注册时，可以根据其注册信息确定该智能设备使用的协议，从而可以确定出用于解析该智能设备发送数据的协议，为了后续在交互过程中能够快速对智能设备上报的状态数据进行解析，可以将智能设备的唯一标识与其对应的解析协议绑定对应关系，从而可以快速找出该智能设备对应的解析协议，实现对其上报状态数据的解析。
在本实施例中，解析协议可以采用脚本文件的形式进行存储，在采用该解析协议对状态数据进行解析时，可以调用该脚本文件，以实现对状态数据的解析。
步骤202：服务器中的数据处理模块在接收到智能洗衣机上报的状态数据后，根据该智能洗衣机的唯一标识，在存储的对应关系中查找与该智能洗衣机对应的解析协议，利用查找到的该解析协议对所述状态数据进行解析。
智能洗衣机通过调用接口的方式与服务器进行数据交互。智能洗衣机每隔一个设定的时间段，则将该设定的时间段内自身的状态数据上报一次给服务器，该状态数据是指在该设定时间段内该智能洗衣机发生哪些操作，例如，在第一时间点，开机，第二时间点，洗衣模式，第三时间点，脱水模式，第四时间点，停机。该状态数据上报可以便于服务器统计该型号的智能洗衣机的使用频率以及其对应的故障率等。再如，智能洗衣机在售出后首次开机时，则上报其状态，便于统计智能洗衣机的某一型号在某个时间段内的销量。
由于智能洗衣机上报的状态数据是按照一种协议进行编码的一串字符串，为了获知该智能洗衣机上报的状态数据的内容，需要采用解析协议将该字符串解析成其具体的内容，从而获知该智能洗衣机上报的状态数据。
步骤203：数据处理模块根据解析后的所述状态数据，按照预设格式，生成对应的业务日志。
数据处理模块在解析出状态数据后，就可以获知到该智能洗衣机的容积、使用频率、开关机等内容，为了便于后续持久化处理过程，可以将解析出的内容按照设定格式生成对应的业务日志。
本实施例中，业务日志中的内容是由业务字段拼接而成，每个字段由设定人员预先设置好，在生成业务日志时按照设置好的格式描述状态数据。其中，至少可以采用“定义字段+数值”的方式描述，例如，解析出的状态数据为智能洗衣机的容积是10公斤，2019年10月1日12:00首次开机，那么可以使用“volume，10kilogram；First start，201910011200”来描述。
步骤204：将生成的所述业务日志在本地进行备份。
为了保证智能设备上报的状态数据进行持久化存储，且防止状态数据丢失造成数据统计错误，可以将生成的所述业务日志进行本地备份。若在后续数据处理过程中，某一个环节发生错误，造成业务日志丢失，可以将丢失的业务日志从本地备份中取出进行后续过程的处理，从而可以进一步保证状态数据的持久化存储。
步骤205：将生成的所述业务日志放置至Flume组件对应的日志目录中。
步骤206：利用所述Flume组件，按照设定采集规则，将所述日志目录中的所有业务日志取出，发送至分布式系统基础架构Hadoop。
Flume组件是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，其对应有日志目录，在日志目录中放置有业务日志时，配置好的Flume组件会按照设定规则，及时将日志目录中的所有业务日志采集出来，发送至Hadoop中，便于Hadoop中的pig处理框架进行处理分析。
在本发明一个实施例中，所述设定采集规则至少可以包括：每隔设定时间段采集一次，或，每当所述日志目录中放置的业务日志量达到设定数量则采集一次。如此，可以实现状态数据的批量处理，快速高效。
需要说明的是，步骤204与步骤205之间的没有先后顺序关系，可以是先执行步骤204在执行步骤205，也可以先执行步骤205在执行步骤204，也可以同时执行。
步骤207：所述Hadoop中的pig处理框架对接收到的业务日志进行分析，以针对不同业务需求生成不同的统计数据，并生成用于表述相应统计数据的sql语句。
分布式系统基础架构Hadoop包含HDFS和MapReduce两部分，其中HDFS(Distributed File System，分布式文件系统)为海量的数据提供存储功能，而MapReduce则为海量的数据提供了计算功能。pig处理框架，用于分析较大的数据集，并将分析结果表述为数据流。
在本实施例中，pig处理框架可以针对不同业务需求生成不同的统计数据，例如，有ABCD四个业务，每一个业务对应不同统计需求，该需求可以为在某个时间段内哪些设备执行了哪些程序，某一个类型的智能洗衣机第一次启动是什么时候，统计某个时间段内所有洗衣机的属性、容积、使用频率等，pig处理框架根据业务日志进行计算，以生成不同的统计数据，并生成每一个业务需求对应的sql(Structured Query Language，结构化查询语言)语句。
其中，该sql是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。例如，一个sql语句为某一个品牌某一个型号的洗衣机在北京上线50台，开机量为25台。
每一个业务需求可以对应一个文件夹，文件夹中包括该业务需求对应的所有sql语句。
步骤208：利用服务器中的整合模块，将将生成的sql语句整合到一个目标文件夹中。
步骤209：采用Linux命令调用模块调用Linux命令，执行所述目标文件夹中包含的sql语句，以将所述目标文件夹中包含的sql语句存储到数据库中。
通过将sql语句整合到一个目标文件夹中，Linux命令调用模块可以调用一次Linux命令，直接执行该目标文件夹中包含的sql语句，即可实现将目标文件夹中包含的sql语句持久化的存储到数据库中。
请参考图3，本发明实施例提供了一种状态数据处理装置，包括：
数据处理模块301，用于接收目标智能设备上报的状态数据，并对所述状态数据进行解析，根据解析后的所述状态数据，按照预设格式，生成对应的业务日志，将生成的所述业务日志放置至Flume组件302对应的日志目录中；
所述Flume组件302，用于按照设定采集规则，将所述日志目录中的所有业务日志取出，发送至分布式系统基础架构Hadoop303；
所述Hadoop303中的pig处理框架3031，用于对接收到的业务日志进行分析，以针对不同业务需求生成不同的统计数据，并生成用于表述相应统计数据的sql语句；
Linux命令调用模块304，用于调用Linux命令将生成的sql语句存储到数据库中。
在本发明一个实施例中，为了实现快速对状态数据的解析，可以进一步包括：第一存储模块，用于预先存储有若干解析协议，每一个解析协议对应不同的智能设备；
所述数据处理模块301在对所述状态数据进行解析时，具体包括：确定所述目标智能设备对应的目标解析协议，从预先存储的若干解析协议中选择出所述目标解析协议，利用所述目标解析协议对所述状态数据进行解析。
在本发明一个实施例中，为了快速高效的将sql语句存储到数据库中，可以进一步包括：整合模块，用于将生成的sql语句整合到目标文件夹中；
所述Linux命令调用模块，用于采用Linux命令执行所述目标文件夹中包含的sql语句，以将所述目标文件夹中包含的sql语句存储到数据库中。
在本发明一个实施例，可以进一步包括第二存储模块，用于将生成的所述业务日志进行本地备份。其中，第一存储模块和第二存储模块可以为同一个。
在本发明一个实施例，所述设定采集规则包括：每隔设定时间段采集一次，或，每当所述日志目录中放置的业务日志量达到设定数量则采集一次。
可以理解的是，本发明实施例示意的结构并不构成对状态数据处理装置的具体限定。在本发明的另一些实施例中，状态数据处理装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图4所示。需要指出的是，图4仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备20的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如上述实施例状态数据处理装置的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行状态数据处理装置，以实现上述实施例的状态数据处理方法。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储状态数据处理装置，被处理器执行时上述实施例的状态数据处理方法。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (10)

1.一种状态数据处理方法，其特征在于，包括：
接收目标智能设备上报的状态数据，并对所述状态数据进行解析；
根据解析后的所述状态数据，按照预设格式，生成对应的业务日志；
将生成的所述业务日志放置至Flume组件对应的日志目录中；
利用所述Flume组件，按照设定采集规则，将所述日志目录中的所有业务日志取出，发送至分布式系统基础架构Hadoop；
所述Hadoop中的pig处理框架对接收到的业务日志进行分析，以针对不同业务需求生成不同的统计数据，并生成用于表述相应统计数据的sql语句；
采用linux命令将生成的sql语句存储到数据库中。
2.根据权利要求1所述的状态数据处理方法，其特征在于，
进一步包括：预先存储有若干解析协议，每一个解析协议对应不同的智能设备；
所述对所述状态数据进行解析，包括：确定所述目标智能设备对应的目标解析协议，从预先存储的若干解析协议中选择出所述目标解析协议，利用所述目标解析协议对所述状态数据进行解析。
3.根据权利要求1所述的状态数据处理方法，其特征在于，在所述采用linux命令将生成的sql语句存储到数据库中之前，进一步包括：将生成的sql语句整合到目标文件夹中；
所述采用linux命令将生成的sql语句存储到数据库中，包括：采用Linux命令执行所述目标文件夹中包含的sql语句，以将所述目标文件夹中包含的sql语句存储到数据库中。
4.根据权利要求1-3中任一所述的状态数据处理方法，其特征在于，
在所述生成对应的业务日志之后，进一步包括：将生成的所述业务日志进行本地备份；
和/或，
所述设定采集规则包括：每隔设定时间段采集一次，或，每当所述日志目录中放置的业务日志量达到设定数量则采集一次。
5.一种状态数据处理装置，其特征在于，包括：
数据处理模块，用于接收目标智能设备上报的状态数据，并对所述状态数据进行解析，根据解析后的所述状态数据，按照预设格式，生成对应的业务日志，将生成的所述业务日志放置至Flume组件对应的日志目录中；
所述Flume组件，用于按照设定采集规则，将所述日志目录中的所有业务日志取出，发送至分布式系统基础架构Hadoop；
所述Hadoop中的pig处理框架，用于对接收到的业务日志进行分析，以针对不同业务需求生成不同的统计数据，并生成用于表述相应统计数据的sql语句；
Linux命令调用模块，用于调用Linux命令将生成的sql语句存储到数据库中。
6.根据权利要求5所述的状态数据处理装置，其特征在于，
进一步包括：第一存储模块，用于预先存储有若干解析协议，每一个解析协议对应不同的智能设备；
所述数据处理模块在对所述状态数据进行解析时，具体包括：确定所述目标智能设备对应的目标解析协议，从预先存储的若干解析协议中选择出所述目标解析协议，利用所述目标解析协议对所述状态数据进行解析。
7.根据权利要求6所述的状态数据处理装置，其特征在于，进一步包括：整合模块，用于将生成的sql语句整合到目标文件夹中；
所述Linux命令调用模块，用于采用Linux命令执行所述目标文件夹中包含的sql语句，以将所述目标文件夹中包含的sql语句存储到数据库中。
8.根据权利要求5-7中任一所述的状态数据处理装置，其特征在于，
进一步包括：第二存储模块，用于将生成的所述业务日志进行本地备份；
和/或，
所述设定采集规则包括：每隔设定时间段采集一次，或，每当所述日志目录中放置的业务日志量达到设定数量则采集一次。
9.一种计算机设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。
CN202010437921.XA 2020-05-21 2020-05-21 状态数据处理方法、装置及计算机设备 Active CN111611207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010437921.XA CN111611207B (zh) 2020-05-21 2020-05-21 状态数据处理方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010437921.XA CN111611207B (zh) 2020-05-21 2020-05-21 状态数据处理方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN111611207A true CN111611207A (zh) 2020-09-01
CN111611207B CN111611207B (zh) 2023-06-23

Family

ID=72199506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010437921.XA Active CN111611207B (zh) 2020-05-21 2020-05-21 状态数据处理方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN111611207B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702388A (zh) * 2020-12-03 2021-04-23 广州启盟信息科技有限公司 位置感应数据快速接收处理方法、装置及系统
CN113157475A (zh) * 2021-03-30 2021-07-23 北京大米科技有限公司 日志处理方法、装置、存储介质及电子设备
CN113535757A (zh) * 2021-08-12 2021-10-22 厦门市易联众易惠科技有限公司 一种冷热数据的发现方法、装置、设备及可读存储介质
CN113722194A (zh) * 2021-08-02 2021-11-30 中移（杭州）信息技术有限公司 日志统计方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302481A1 (en) * 2014-04-18 2015-10-22 Level 3 Communications, Llc Systems and methods for generating network intelligence through real-time analytics
CN106709003A (zh) * 2016-12-23 2017-05-24 长沙理工大学 基于Hadoop的海量日志数据处理方法
WO2017149051A1 (fr) * 2016-03-01 2017-09-08 Atos Worldgrid Utilisation d'un noeud intelligent dans un système intelligent et universel de supervision de processus industriels
WO2017166644A1 (zh) * 2016-03-31 2017-10-05 乐视控股（北京）有限公司 一种数据采集方法和系统
CN107341096A (zh) * 2017-06-28 2017-11-10 百度在线网络技术（北京）有限公司 日志文件的生成方法和装置、计算机设备和存储介质
CN107563153A (zh) * 2017-08-03 2018-01-09 华子昂 一种基于Hadoop构建的PacBio测序平台IT架构
CN108335075A (zh) * 2018-03-02 2018-07-27 华南理工大学 一种面向物流大数据的处理系统及方法
CA3050220A1 (en) * 2018-07-19 2020-01-19 Bank Of Montreal Systems and methods for data storage and processing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302481A1 (en) * 2014-04-18 2015-10-22 Level 3 Communications, Llc Systems and methods for generating network intelligence through real-time analytics
WO2017149051A1 (fr) * 2016-03-01 2017-09-08 Atos Worldgrid Utilisation d'un noeud intelligent dans un système intelligent et universel de supervision de processus industriels
WO2017166644A1 (zh) * 2016-03-31 2017-10-05 乐视控股（北京）有限公司 一种数据采集方法和系统
CN106709003A (zh) * 2016-12-23 2017-05-24 长沙理工大学 基于Hadoop的海量日志数据处理方法
CN107341096A (zh) * 2017-06-28 2017-11-10 百度在线网络技术（北京）有限公司 日志文件的生成方法和装置、计算机设备和存储介质
CN107563153A (zh) * 2017-08-03 2018-01-09 华子昂 一种基于Hadoop构建的PacBio测序平台IT架构
CN108335075A (zh) * 2018-03-02 2018-07-27 华南理工大学 一种面向物流大数据的处理系统及方法
CA3050220A1 (en) * 2018-07-19 2020-01-19 Bank Of Montreal Systems and methods for data storage and processing

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于淑云;林姝敏;: "基于Hadoop的大数据用户行为分析系统", 北京信息科技大学学报(自然科学版), no. 05 *
李洋;吕家恪;: "基于Hadoop与Storm的日志实时处理系统研究", 西南师范大学学报(自然科学版), no. 04 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702388A (zh) * 2020-12-03 2021-04-23 广州启盟信息科技有限公司 位置感应数据快速接收处理方法、装置及系统
CN112702388B (zh) * 2020-12-03 2023-08-22 广州启盟信息科技有限公司 位置感应数据快速接收处理方法、装置及系统
CN113157475A (zh) * 2021-03-30 2021-07-23 北京大米科技有限公司 日志处理方法、装置、存储介质及电子设备
CN113722194A (zh) * 2021-08-02 2021-11-30 中移（杭州）信息技术有限公司 日志统计方法、装置、设备及存储介质
CN113722194B (zh) * 2021-08-02 2024-05-24 中移（杭州）信息技术有限公司 日志统计方法、装置、设备及存储介质
CN113535757A (zh) * 2021-08-12 2021-10-22 厦门市易联众易惠科技有限公司 一种冷热数据的发现方法、装置、设备及可读存储介质
CN113535757B (zh) * 2021-08-12 2023-06-23 厦门市易联众易惠科技有限公司 一种冷热数据的发现方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN111611207B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111611207B (zh) 状态数据处理方法、装置及计算机设备
CN108427705B (zh) 电子装置、分布式系统日志查询方法及存储介质
CN107453960B (zh) 一种在服务测试中处理测试数据的方法、装置和系统
CN108874558B (zh) 分布式事务的消息订阅方法、电子装置及可读存储介质
CN110086658B (zh) 接口切换方法、装置及计算机可读存储介质
CN111723313A (zh) 页面跳转的处理方法、装置、设备及存储介质
CN111694797B (zh) 一种文件上传及解析方法、装置、服务器及介质
CN111241182A (zh) 数据处理方法和装置、存储介质和电子装置
CN104809199A (zh) 一种数据库同步的方法和装置
CN110515795B (zh) 一种大数据组件的监控方法、装置、电子设备
CN112416964A (zh) 一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质
CN108255735B (zh) 关联环境测试方法、电子装置及计算机可读存储介质
CN107391528B (zh) 前端组件依赖信息搜索方法及设备
CN111258819A (zh) MySQL数据库备份文件的数据获取方法、装置和系统
CN111240772A (zh) 一种基于区块链的数据处理方法、装置及存储介质
CN114153910A (zh) 数据采集方法、装置及电子装置、计算机程序产品
CN112463549A (zh) 云平台的审计方法、装置、设备及计算机可读存储介质
CN112671878A (zh) 一种区块链的信息订阅方法、装置、服务器和存储介质
CN112187509A (zh) 多架构云平台执行日志管理方法、系统、终端及存储介质
CN111752838A (zh) 问题排查方法、装置、服务器及存储介质
CN114169318A (zh) 进程识别方法、装置、设备、介质和程序
CN113656378A (zh) 一种服务器管理方法、装置、介质
CN114253534A (zh) 一种实时数据处理方法和系统
CN114143187B (zh) 智能平台接口网络地址管理方法、系统、终端及存储介质
CN116737513B (zh) 一种计算机硬件信息获取方法、系统及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant