CN107273439A - 一种智能设备数据可视化方法及系统 - Google Patents

一种智能设备数据可视化方法及系统 Download PDF

Info

Publication number
CN107273439A
CN107273439A CN201710377071.7A CN201710377071A CN107273439A CN 107273439 A CN107273439 A CN 107273439A CN 201710377071 A CN201710377071 A CN 201710377071A CN 107273439 A CN107273439 A CN 107273439A
Authority
CN
China
Prior art keywords
data
initial
module
smart machine
cache module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710377071.7A
Other languages
English (en)
Other versions
CN107273439B (zh
Inventor
刘效华
孙志东
陈鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Junbo Network Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710377071.7A priority Critical patent/CN107273439B/zh
Publication of CN107273439A publication Critical patent/CN107273439A/zh
Application granted granted Critical
Publication of CN107273439B publication Critical patent/CN107273439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种智能设备数据可视化方法，包括：智能设备原始数据的写入和存储；智能设备数据针预处理；用户进行可视化查询，系统将结果数据缓存在数据缓存模块中；在数据缓存模块中查询结果数据是否存在，如存在则直接从数据缓存模块中获取结果数据，如不存在则下一步；从数据缓存模块中获取原始数据，如存在则直接从数据缓存模块中获取原始数据，如不存在则下一步；用户从数据存储模块中查询原始数据；把查询到的原始数据可视化展示。本发明还公开了一种智能设备数据可视化系统。发明的有益效果：既能满足各种智能设备的多样性功能需求，又能满足各种智能设备大数据量的数据查询需求。

Description

一种智能设备数据可视化方法及系统
技术领域
本发明涉及可视化技术领域，具体而言，涉及一种智能设备数据可视化方法及系统。
背景技术
随着智能设备的普及，数据量越来越大，设备种类越来越多，用户的可视化需求越来越多样化，传统的数据可视化方法，在功能上和性能上越来越无法满足客户的需求。现有的数据可视化方法具有如下缺点：
(1)需要预先配置可视化需要的数据和模型，数据写入时，根据数据模型实时计算得到可视化数据，不能同时支持多种智能设备的各种复杂需求，只支持平均值，总数等简单需求；
(2)需要专用的数据查询设备，从数据库中获取全量数据，然后经过处理后，返回给仪表盘或用户，不支持通用并且简单的数据查询接口；
(3)无法满足高频率、大数据量的的可视化数据的查询。
发明内容
为解决上述问题，本发明的目的在于提供一种智能设备数据可视化方法及系统，既能满足各种智能设备的多样性功能需求，又能满足各种智能设备大数据量的数据查询需求。
本发明提供了一种智能设备数据可视化方法，该方法包括：
步骤1，写入多个智能设备待处理的原始数据，包括时序数据和状态数据，将所述时序数据和所述状态数据存储在数据存储模块中；
步骤2，根据预定义的预计算配置模型，将写入的多个智能设备最近的原始数据进行数据预处理，并将原始数据和预处理后的数据均写入数据缓存模块中；
步骤3，用户通过数据聚合模块的数据查询接口对原始数据进行可视化查询，并将聚合查询的结果数据缓存在所述数据缓存模块中；
步骤4，在所述数据缓存模块中查询结果数据是否存在，如果结果数据在所述数据缓存模块中存在，则直接从所述数据缓存模块中获取结果数据，如果结果数据在所述数据缓存模块中不存在，则执行步骤5；
步骤5，从所述数据缓存模块中获取最近的原始数据，如果原始数据存在，则直接从所述数据缓存模块中获取原始数据，如果原始数据不存在，则执行步骤6；
步骤6，用户根据查询条件从所述数据存储模块中查询原始数据；
步骤7，把查询到的原始数据通过所述数据聚合模块的绘图接口进行可视化展示。
作为本发明进一步的改进，步骤1中所述数据存储模块包括时序数据存储系统和状态数据存储系统，所述时序数据以追加的方式写入所述时序数据存储系统，所述状态数据以更新的方式写入所述状态数据存储系统。
作为本发明进一步的改进，所述时序数据存储系统为基于LSM结构的Cassandra/Hbase存储系统，所述状态数据存储系统为Mysql关系数据库。
作为本发明进一步的改进，步骤3中的数据查询接口为restful格式，可视化查询的参数为：时间区间、时区、数据取样间隔、数据过滤参数、可视化数据源和聚合方法。
作为本发明进一步的改进，时间区间包括相对时间和绝对时间。
作为本发明进一步的改进，聚合方法包括最小值方法、最大值方法、平均值方法、方差方法和分布方法。
作为本发明进一步的改进，所述可视化数据源为写入的多个智能设备。
本发明还提供了一种智能设备数据可视化系统，包括：
写入数据单元，用于写入多个智能设备待处理的原始数据，包括时序数据和状态数据，将所述时序数据和所述状态数据存储在数据存储模块中；
预计算配置单元，用于根据预定义的预计算配置模型，将写入的多个智能设备最近的原始数据进行数据预处理，并将这些原始数据写入数据缓存模块中；
绘图数据聚合单元，用户通过数据聚合模块的数据查询接口对原始数据进行可视化查询，并将聚合查询的结果数据缓存在所述数据缓存模块中；在所述数据缓存模块中查询结果数据缓存是否存在，如果结果数据缓存存在，则直接从所述数据缓存模块中获取结果数据，如果结果数据缓存不存在，则从所述数据缓存模块中获取最近的原始数据，如果原始数据存在，则直接从所述数据缓存模块中获取原始数据，如果原始数据不存在，则用户根据查询条件从所述数据存储模块中查询原始数据；把查询到的原始数据通过所述数据聚合模块的绘图接口进行可视化展示。
作为本发明进一步的改进，所述数据存储模块包括时序数据存储系统和状态数据存储系统，所述时序数据以追加的方式写入所述时序数据存储系统，所述状态数据以更新的方式写入所述状态数据存储系统。
作为本发明进一步的改进，所述数据缓存模块用于缓存智能设备的最近的原始数据或聚合查询的结果数据。
本发明的有益效果为：
1、同时使用了两套数据存储系统：时序数据存储系统和状态数据存储系统，使得在功能和性能上支持各种智能设备数据的可视化需求；
2、数据聚合功能支持多种可视化数据需求，包括：时间区间，时区，取样间隔，空值填充方法，可视化数据源，聚合方法等等；
3、预计算配置模型支持大量数据的可视化聚合需求；
4、根据设备数据可视化的特点，设计了两套缓存：结果数据缓存和最近原始数据缓存。
附图说明
图1为本发明第一实施例所述的一种智能设备数据可视化方法的流程示意图。
具体实施方式
下面通过具体的实施例并结合附图对本发明做进一步的详细描述。
实施例1，如图1所示，本发明第一实施例所述的一种智能设备数据可视化方法，该方法包括：
步骤1，写入多个智能设备待处理的原始数据，包括时序数据和状态数据，将时序数据和状态数据存储在数据存储模块中；其中，数据存储模块包括时序数据存储系统和状态数据存储系统，时序数据以追加的方式写入时序数据存储系统，状态数据以更新的方式写入状态数据存储系统；时序数据存储系统为基于LSM结构的Cassandra/Hbase存储系统，这种系统容易扩展，并且最新数据在内存，适合存储基于时间不断增长，数据量大，并且有时效性的智能设备时序数据；状态数据存储系统为Mysql关系数据库，功能强大，用于支撑用户对于最新数据的多维度的数据分析，状态数据数据量较小。
步骤2，根据预定义的预计算配置模型，将写入的多个智能设备最近的原始数据进行数据预处理，并将这些原始数据写入数据缓存模块中。
步骤3，用户通过数据聚合模块的数据查询接口对原始数据进行可视化查询，并将聚合查询的结果数据缓存在数据缓存模块中；其中，数据查询接口为restful格式，可视化查询的参数为：时间区间、时区、数据取样间隔、数据过滤参数、可视化数据源和聚合方法，时间区间包括相对时间和绝对时间，聚合方法包括最小值方法、最大值方法、平均值方法、方差方法和分布方法，可视化数据源为写入的多个智能设备。
步骤4，在数据缓存模块中查询结果数据是否存在，如果结果数据在数据缓存模块中存在，则直接从数据缓存模块中获取结果数据，如果结果数据在数据缓存模块中不存在，则执行步骤5。
步骤5，从数据缓存模块中获取最近的原始数据，如果原始数据存在，则直接从数据缓存模块中获取原始数据，如果原始数据不存在，则执行步骤6。
步骤6，用户根据查询条件从数据存储模块中查询原始数据。
步骤7，把查询到的原始数据通过数据聚合模块的绘图接口进行可视化展示。
实施例2，本发明第二实施例所述的一种智能设备数据可视化系统，包括：
写入数据单元，用于写入多个智能设备待处理的原始数据，包括时序数据和状态数据，将时序数据和状态数据存储在数据存储模块中；数据存储模块包括时序数据存储系统和状态数据存储系统，时序数据以追加的方式写入时序数据存储系统，状态数据以更新的方式写入状态数据存储系统。时序数据存储系统支持基于单个智能设备在一个时区区间的的数据的可视化数据查询，如一个智能设备在最近一周的数据变化曲线；状态数据存储系统支持大量智能设备在最新时间点的数据可视化分析，如当前所有智能设备的运行状态等。
预计算配置单元，用于根据预定义的预计算配置模型，将写入的多个智能设备最近的原始数据进行数据预处理，并将这些原始数据写入数据缓存模块中；预计算配置单元可以支持工业智能设备大量的数据可视化需求，根据用户提前配置的规则，在数据写入的时候，就完成计算，查询时，可以快速满足用户的需求。
数据聚合单元，用户通过数据聚合模块的数据查询接口对原始数据进行可视化查询，并将聚合查询的结果数据缓存在数据缓存模块中；在数据缓存模块中查询结果数据缓存是否存在，如果结果数据缓存存在，则直接从数据缓存模块中获取结果数据，如果结果数据缓存不存在，则从数据缓存模块中获取最近的原始数据，如果原始数据存在，则直接从数据缓存模块中获取原始数据，如果原始数据不存在，则用户根据查询条件从数据存储模块中查询原始数据；把查询到的原始数据通过数据聚合模块的绘图接口进行可视化展示。其中，数据缓存模块用于缓存智能设备的最近的原始数据或聚合查询的结果数据，支持用户对最近常用数据可视化查询需求；数据聚合模块支持各种复杂的可视化查询，如时间区间(相对时间，绝对时间)、聚合方法(最小值，最大值，平均值，方差，分布)、数据取样、数据过滤规则等查询。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种智能设备数据可视化方法，其特征在于，该方法包括：
步骤1，写入多个智能设备待处理的原始数据，包括时序数据和状态数据，将所述时序数据和所述状态数据存储在数据存储模块中；
步骤2，根据预定义的预计算配置模型，将写入的多个智能设备最近的原始数据进行数据预处理，并将原始数据和预处理后的数据均写入数据缓存模块中；
步骤3，用户通过数据聚合模块的数据查询接口对原始数据进行可视化查询，聚合查询的结果数据缓存在所述数据缓存模块中；
步骤4，在所述数据缓存模块中查询结果数据是否存在，如果结果数据在所述数据缓存模块中存在，则直接从所述数据缓存模块中获取结果数据，如果结果数据在所述数据缓存模块中不存在，则执行步骤5；
步骤5，从所述数据缓存模块中获取最近的原始数据，如果原始数据存在，则直接从所述数据缓存模块中获取原始数据，如果原始数据不存在，则执行步骤6；
步骤6，用户根据查询条件从所述数据存储模块中查询原始数据；
步骤7，把查询到的原始数据通过所述数据聚合模块的绘图接口进行可视化展示。
2.根据权利要求1所述的智能设备数据可视化方法，其特征在于，步骤1中所述数据存储模块包括时序数据存储系统和状态数据存储系统，所述时序数据以追加的方式写入所述时序数据存储系统，所述状态数据以更新的方式写入所述状态数据存储系统。
3.根据权利要求2所述的智能设备数据可视化方法，其特征在于，所述时序数据存储系统为基于LSM结构的Cassandra/Hbase存储系统，所述状态数据存储系统为Mysql关系数据库。
4.根据权利要求1所述的智能设备数据可视化方法，其特征在于，步骤3中的数据查询接口为restful格式，可视化查询的参数为：时间区间、时区、数据取样间隔、数据过滤参数、可视化数据源和聚合方法。
5.根据权利要求4所述的智能设备数据可视化方法，其特征在于，时间区间包括相对时间和绝对时间。
6.根据权利要求4所述的智能设备数据可视化方法，其特征在于，聚合方法包括最小值方法、最大值方法、平均值方法、方差方法和分布方法。
7.根据权利要求4所述的智能设备数据可视化方法，其特征在于，所述可视化数据源为写入的多个智能设备。
8.一种智能设备数据可视化系统，其特征在于，包括：
写入数据单元，用于写入多个智能设备待处理的原始数据，包括时序数据和状态数据，将所述时序数据和所述状态数据存储在数据存储模块中；
预计算配置单元，用于根据预定义的预计算配置模型，将写入的多个智能设备最近的原始数据进行数据预处理，并将这些原始数据写入数据缓存模块中；
数据聚合单元，用户通过数据聚合模块的数据查询接口对原始数据进行可视化查询，并将聚合查询的结果数据缓存在所述数据缓存模块中；在所述数据缓存模块中查询结果数据缓存是否存在，如果结果数据缓存存在，则直接从所述数据缓存模块中获取结果数据，如果结果数据缓存不存在，则从所述数据缓存模块中获取最近的原始数据，如果原始数据存在，则直接从所述数据缓存模块中获取原始数据，如果原始数据不存在，则用户根据查询条件从所述数据存储模块中查询原始数据；把查询到的原始数据通过所述数据聚合模块的绘图接口进行可视化展示。
9.根据权利要求8所述的智能设备数据可视化系统，其特征在于，所述数据存储模块包括时序数据存储系统和状态数据存储系统，所述时序数据以追加的方式写入所述时序数据存储系统，所述状态数据以更新的方式写入所述状态数据存储系统。
10.根据权利要求8所述的智能设备数据可视化系统，其特征在于，所述数据缓存模块用于缓存智能设备的最近的原始数据或聚合查询的结果数据。
CN201710377071.7A 2017-05-25 2017-05-25 一种智能设备数据可视化方法及系统 Active CN107273439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710377071.7A CN107273439B (zh) 2017-05-25 2017-05-25 一种智能设备数据可视化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710377071.7A CN107273439B (zh) 2017-05-25 2017-05-25 一种智能设备数据可视化方法及系统

Publications (2)

Publication Number Publication Date
CN107273439A true CN107273439A (zh) 2017-10-20
CN107273439B CN107273439B (zh) 2021-06-04

Family

ID=60065103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710377071.7A Active CN107273439B (zh) 2017-05-25 2017-05-25 一种智能设备数据可视化方法及系统

Country Status (1)

Country Link
CN (1) CN107273439B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783532A (zh) * 2018-12-12 2019-05-21 航天信息股份有限公司 基于微服务架构的食品/药品分析方法和系统
CN113722549A (zh) * 2021-09-03 2021-11-30 优维科技(深圳)有限公司 一种基于图的数据状态融合存储系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130046798A1 (en) * 2011-08-16 2013-02-21 Computer Associates Think, Inc. Method and apparatus for visualization of infrastructure using a non-relational graph data store
CN104850640A (zh) * 2015-05-26 2015-08-19 华北电力大学（保定） 一种基于HBase的电网设备状态监测数据存储和查询方法及系统
CN105426421A (zh) * 2015-11-03 2016-03-23 武汉地大信息工程股份有限公司 一种时态监测数据快速可视化方法及系统
CN105553957A (zh) * 2015-12-09 2016-05-04 国家电网公司 基于大数据的网络安全态势感知预警方法和系统
CN105631027A (zh) * 2015-12-30 2016-06-01 中国农业大学 一种面向企业商务智能的数据可视化分析方法和系统
CN106021378A (zh) * 2016-05-11 2016-10-12 吕骏 基于数据抽取、数据可视化的查询分析方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130046798A1 (en) * 2011-08-16 2013-02-21 Computer Associates Think, Inc. Method and apparatus for visualization of infrastructure using a non-relational graph data store
CN104850640A (zh) * 2015-05-26 2015-08-19 华北电力大学（保定） 一种基于HBase的电网设备状态监测数据存储和查询方法及系统
CN105426421A (zh) * 2015-11-03 2016-03-23 武汉地大信息工程股份有限公司 一种时态监测数据快速可视化方法及系统
CN105553957A (zh) * 2015-12-09 2016-05-04 国家电网公司 基于大数据的网络安全态势感知预警方法和系统
CN105631027A (zh) * 2015-12-30 2016-06-01 中国农业大学 一种面向企业商务智能的数据可视化分析方法和系统
CN106021378A (zh) * 2016-05-11 2016-10-12 吕骏 基于数据抽取、数据可视化的查询分析方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783532A (zh) * 2018-12-12 2019-05-21 航天信息股份有限公司 基于微服务架构的食品/药品分析方法和系统
CN113722549A (zh) * 2021-09-03 2021-11-30 优维科技(深圳)有限公司 一种基于图的数据状态融合存储系统及方法

Also Published As

Publication number Publication date
CN107273439B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN107256265B (zh) 一种搜索引擎结果数据可视化展示方法及系统
CN104685498B (zh) 聚合/分组操作的硬件实现方式：散列表方法
CN108628608A (zh) 一种数据可视化的方法及装置
CN109918475A (zh) 一种基于医疗知识图谱的可视查询方法及查询系统
US20150347528A1 (en) Pixel-aware query rewriting
CN103995855B (zh) 存储数据的方法和装置
CN107133362A (zh) 商品信息搜索方法、系统、计算机程序及电子设备
CN102902730A (zh) 基于数据缓存的读数据方法及装置
CN103020149B (zh) 共享数据更新装置和共享数据更新方法
CN104239417A (zh) 一种分布式数据库数据分片后动态调整方法及装置
CN108733316A (zh) 用于管理存储系统的方法和管理器
CN109446227A (zh) 用于处理缓存分页的方法、装置及计算机可读存储介质
CN107273439A (zh) 一种智能设备数据可视化方法及系统
CN102737068B (zh) 一种用于对检索数据进行缓存管理的方法与设备
CN108780458A (zh) 一种页面缓存处理方法、装置和服务器
CN105359142B (zh) 哈希连接方法和装置
CN110502579A (zh) 用于批量和实时特征计算的系统和方法
CN105741070B (zh) 一种海量实时舱位运价结果数据快速差异更新存储的方法
CN110019337A (zh) 确定数据库中有效分区的方法、装置和系统
CN108415917A (zh) 一种可视化报表的生成方法及可视化报表的生成装置
CN110515953A (zh) 数据的查询方法、装置、设备以及存储介质
CN105930354A (zh) 存储模型转换方法和装置
CN112473149B (zh) 排行榜处理方法
CN107798007A (zh) 一种分布式数据库数据校验的方法、装置及相关装置
CN109189343A (zh) 一种元数据落盘方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210520

Address after: 100083 a-605b, 5th floor, building 1, 18 Zhongguancun East Road, Haidian District, Beijing

Applicant after: BEIJING JUNBO NETWORK TECHNOLOGY Co.,Ltd.

Address before: 100193 3rd floor, North District, Boyan science and technology building, building 7, East District, yard 10, northwest Wangdong Road, Haidian District, Beijing

Applicant before: Li Hailei

GR01 Patent grant
GR01 Patent grant