CN116644111A - 一种基于物联数据的指标确定方法、装置及电子设备 - Google Patents
一种基于物联数据的指标确定方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116644111A CN116644111A CN202310559209.0A CN202310559209A CN116644111A CN 116644111 A CN116644111 A CN 116644111A CN 202310559209 A CN202310559209 A CN 202310559209A CN 116644111 A CN116644111 A CN 116644111A
- Authority
- CN
- China
- Prior art keywords
- point data
- data
- service attribute
- measurement point
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000005259 measurement Methods 0.000 claims abstract description 100
- 238000005192 partition Methods 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000004941 influx Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Game Theory and Decision Science (AREA)
- Fuzzy Systems (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及计算机技术领域，尤其涉及一种基于物联数据的指标确定方法、装置及电子设备。该方法中，接收查询指令。其中，查询指令包括设置的第一时间段、至少一个目标业务属性。从时序数据库中获取查询指令中的每个目标业务属性在第一时间段内的测点数据。其中，时序数据库中的数据分区中用于存储按照时间顺序从第一Kafka Topic中获取的测点数据，且每个测点数据对应的数据分区位置是利用MD5信息摘要算法计算确定的，第一Kafka Topic用于存储多个不同业务属性的测点数据。根据每个目标业务属性在第一时间段内的测点数据，得到指标。上述方案，可以提高基于物联数据确定指标的时效性以及准确性。
Description
技术领域
本申请涉及网络分析技术领域，尤其涉及一种基于物联数据的指标确定方法、装置及电子设备。
背景技术
随着物联领域的飞速发展，物联业务的指标时效性在企业运营中的重要性日益凸现。面对海量的物联数据，如何能够实时、准确的基于物联数据确定指标成为一种值得商榷的问题。
发明内容
本申请实施例提供一种基于物联数据的指标确定方法、装置及电子设备，用于提高基于物联数据确定指标的时效性以及准确性。
第一方面，本申请实施例提供一种基于物联数据的指标确定方法，包括：
接收查询指令。其中，查询指令包括设置的第一时间段、至少一个目标业务属性。从时序数据库中获取查询指令中的每个目标业务属性在第一时间段内的测点数据。其中，时序数据库中的数据分区中用于存储按照时间顺序从第一Kafka Topic中获取的测点数据，且每个测点数据对应的数据分区位置是利用MD5信息摘要算法计算确定的，第一KafkaTopic用于存储多个不同业务属性的测点数据。根据每个目标业务属性在第一时间段内的测点数据，得到指标。
上述方法中，由于现有技术中采用时序数据库缓存测点数据是不分区的。在查询测点数据计算指标时会出现计算资源不足、效率低的问题，即热点问题。本申请采用MD5信息摘要算法的方式将测点数据存储到时序数据库中的多个数据分区中。在后续查询测点数据计算指标时，可以降低计算资源的消耗、提高计算效率。同时，使用时序数据库存储测点数据，供后续调用测点数据确定指标，可以使得测点数据更加规范化，能够提高后续确定指标的准确性，最终提升实时确定指标的应用效率以及准确率。基于时序数据库中的物联数据确定指标，能有效加速企业指标体系的构建速度，疏通指标数据，落地指标管理，发挥指标最大价值。
可选的，接收查询指令之前，上述方法还包括：
接收来自传感器的测点数据，测点数据包括字段，字段与业务属性存在对应关系；
识别测点数据的字段，确定测点数据的业务属性；
按照测点数据的业务属性，将测点数据存储到业务属性对应的Kafka Topic中。
上述方法中，通过字段与业务属性的对应关系，确定测点数据的业务属性，将测点数据存储至业务属性对应的Kafka Topic中，可以具有更高的分析针对性。便于后续可以根据业务属性对应的Kafka Topic获取数据。
可选的，按照测点数据的业务属性，将测点数据存储到业务属性对应的KafkaTopic中之后，上述方法还包括：
在测点数据包括修正标签的情况下，获取设置的修正规则，修正标签用于指示修正带有修正标签的测点数据；
根据修正规则，修正带有修正标签的测点数据；
将修正后的测点数据，与不包含修正标签的测点数据按照获取的时间顺序存储在第一Kafka Topic中。
上述方法中，由于来自传感器的测点数据有些真实性较低，通过修正标签确定是否修正数据，可以提高测点数据的真实性，使测点数据更加准确。从而使得后续确定的指标也更加准确。同时，将修正后的测点数据，与不包含修正标签的测点数据按照获取的时间顺序存储在第一Kafka Topic中。便于后续流计算引擎从第一Kafka Topic中获取数据，存储至时序数据库中，将测点数据统一进行存储，具有良好的数据追踪性，便于整合测点数据。
可选的，上述方法还包括：
采用流计算引擎实时从第一Kafka Topic中获取每个业务属性的测点数据；
分别根据每个业务属性的测点数据，确定每个业务属性的测点数据的指标。
上述方法中，通过采用流计算引擎实时从第一Kafka Topic中获取每个业务属性的测点数据。分别根据每个业务属性的测点数据，确定每个业务属性的测点数据的指标的方式。可以实时确定每个业务属性的测点数据的指标，在接收到大量的查询指令的情况下，也能够及时确定指标，提升确定指标的查询效率。合理分配计算资源，实现计算资源的均衡分配，提高计算机资源利用率，增加系统的吞吐量。
可选的，上述方法还包括：
将指标存储在第二Kafka Topic中。
上述方法中，在确定测点数据的指标之后，通过将上述指标存储在第二KafkaTopic的方式。便于后续进行数据分析，建立数据平台。
可选的，上述方法还包括：
从第二Kafka Topic中获取所述指标，将指标存储在离线数据库中。
上述方法中，通过将已经确定的指标存储在离线数据库汇总，便于后续根据指标分析数据，建立数据平台。
第二方面，本申请实施例提供一种基于物联数据的指标确定装置，包括：
收发模块，用于接收查询指令，查询指令包括设置的第一时间段、至少一个目标业务属性；
处理模块，用于从时序数据库中获取查询指令中的每个目标业务属性在第一时间段内的测点数据，时序数据库中的数据分区中用于存储按照时间顺序从第一Kafka Topic中获取的测点数据，且每个测点数据对应的数据分区位置是利用MD5信息摘要算法计算确定的，第一Kafka Topic用于存储多个不同业务属性的测点数据；
确定模块，用于根据每个目标业务属性在第一时间段内的测点数据，得到指标。
第三方面，本申请实施例还提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，当计算机程序被处理器执行时，使得处理器实现上述第一方面中的任一种基于物联数据的指标确定方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时，实现第一方面的中的任一种基于物联数据的指标确定方法。
第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行以实现如上述第一方面中任一种基于物联数据的指标确定方法。
第二方面至第五方面中任意一种实现方式所带来的技术效果可参见第一方面中对应的实现方式所带来的技术效果，此处不再赘述。
附图说明
图1为本申请实施例提供的一种基于物联数据的指标确定方法的应用场景示意图；
图2为本申请实施例提供的一种基于物联数据的指标确定方法流程图；
图3为本申请实施例提供的另一种基于物联数据的指标确定方法流程图；
图4为本申请实施例提供的一种基于物联数据的指标确定的装置示意图；
图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
1、“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
2、分布式文件管理系统(HadoopDistributed File System，Hhadoop)是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop由许多元素构成。
3、开源数据库(Hadoop Database，Hbase)是一个基于分布式文件管理系统(HadoopDistributed File System，Hadoop)平台的分布式的、面向列的开源数据库，HBase在Hadoop之上提供了类似于结构化数据开发的云存储技术(Bigtable)的能力。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。
4、开发时间序列数据库(Open time series data base，OpenTSDB)是一个基于开源数据库(Hadoop Database，Hbase)存储和查询的时间序列数据库。它支持秒级数据采集所有指标(metrics)，支持永久存储，可以做容量规划，并很容易地接入到现有的报警系统里。OpenTSDB可以从大规模的集群(包括集群中的网络设备、操作系统、应用程序)中获取相应的指标(metrics)并进行存储、索引以及服务，从而使得这些数据更容易让人理解，如web化，图形化等。
5、Flink是分布式、高性能、随时可以用以及准确的流处理应用程序打造的开源流处理框架，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。
6、远程字典服务(Remote Dictionary Server，Redis)是一个高性能的键值数据库(key-value database)，能提供高并发，低延迟的查询写入能力。它支持存储的值(value)类型相对更多，包括字符串(string)、链表(list)、集合(set)、有序集合(sortedset)和哈希(hash)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。Redis(Remote Dictionary Server)，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的应用程序编程接口(Application ProgrammingInterface，API)。
7、Kafka是最初由领英(Linkedin)公司开发，是一个分布式、分区的、多副本的、多订阅者，基于分布式应用程序协调服务软件(zookeeper)协调的分布式日志系统，常见可以用于web/nginx日志、访问日志，消息服务等等。
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
随着物联领域的飞速发展，越来越多的基于物联数据的指标需要实时查看。随着物联业务的指标时效性在企业运营中的重要性日益凸现，面对海量的物联数据。如何能够实时、准确的基于物联数据确定指标成为一种值得商榷的问题。
为了解决上述问题，本申请实施例提供一种基于物联数据的指标确定方法、装置及电子设备。例如，接收查询指令。其中，查询指令包括设置的第一时间段、至少一个目标业务属性。从时序数据库中获取查询指令中的每个目标业务属性在第一时间段内的测点数据。其中，时序数据库中的数据分区中用于存储按照时间顺序从第一Kafka Topic中获取的测点数据，且每个测点数据对应的数据分区位置是利用MD5信息摘要算法计算确定的。第一Kafka Topic用于存储多个不同业务属性的测点数据。根据每个目标业务属性在第一时间段内的测点数据，得到指标。
这样，基于时序数据库确定物联数据的指标，可以有效加速企业指标体系的构建速度。保障指标计算正确，提升查询效率。支持海量的物联数据的计算和由于在短时间内遇到大量的查询指令的情况下。任何时点均可以得到当前最精确的基于物联数据的指标，快速高效地满足业务的需求，良好地支撑企业进行数据分析。
如图1所示，本申请实施例一种可选的基于物联数据的指标确定方法的应用场景示意图，包括服务端100以及终端101，服务端100与终端101之间可以通过网络实现可通信的连接，以实现本申请的基于物联数据的指标确定方法。
用户可以使用服务端100通过网络与终端101交互，例如接收或发送消息等。终端101上可以安装有各种客户端应用程序，例如程序编写类应用、网页浏览器应用、搜索类应用等。
可以理解的是，本申请实施例中，服务端100可以为独立的服务器或者是多个服务器组成的服务器集群来实现。终端101可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、台式计算机等等。
如图2所示，本申请实施例提供的一种基于物联数据的指标确定方法的流程图，具体可以包括以下步骤。
S201、接收查询指令。
其中，查询指令包括设置的第一时间段、至少一个目标业务属性。
可以理解的是，本申请实施例中第一时间段以及目标业务属性可以为用户发送查询指令时设置的，并且该第一时间段以及目标业务属性可以根据具体的应用场景进行合理设置。
例如，第一时间段可以包括分钟级、小时级、天级、月级、年级的时间段。例如，从2023/02/03 08:05至2023/02/03 08:21。又例如，从2023/02/03 08:05至2023/02/03 10:05。又例如，从2023/02/03 08:05至2023/02/05 08:21。
在一种可选的实施例中，在接收查询指令之前，服务端可以通过物联网(Internetof Things，IoT)通道接收来自传感器的测点数据。其中，测点数据包括字段。字段与业务属性存在对应关系。服务端可以识别测点数据的字段，确定测点数据的业务属性。按照测点数据的业务属性，将测点数据存储到业务属性对应的Kafka Topic中。
例如，传感器能同时探测各种参数如温度、压力、气体和蒸汽浓度、味觉、加速度、惯性、电磁场区域等测点数据。服务端在接收到来自传感器的测点数据之后，可以根据测点数据的字段可确定测点数据的业务属性。例如，测点数据1的业务属性为传感器1上报的温度。又例如，测点数据2的业务属性为传感器2上报的压力。
上述方法中，通过字段与业务属性的对应关系，确定测点数据的业务属性，将测点数据存储至业务属性对应的Kafka Topic中，可以具有更高的分析针对性。便于后续可以根据业务属性对应的Kafka Topic获取数据。
可选的，由于一些传感器检测的测点数据的准确度低，为了使测点数据更加准确，可以预先设置修正规则对测点数据进行修正。例如，气体传感器可以用于监测环境中的气体浓度，然而在实际监测过程中，气体浓度的监测值偏离气体浓度的真实值，气体传感器的检测准确度低。
服务端在将测点数据存储到各自类型对应的Kafka Topic之后，可以确定测点数据是否存在修正标签。在测点数据包括修正标签的情况下，获取设置的修正规则。服务端可以采用流计算引擎根据预先设置的修正规则对来自气体传感器的初始测点数据进行修正，使得来自气体传感器的初始测点数据更加准确。将修正后的测点数据，与不包含修正标签的测点数据合并存储在第一Kafka Topic中。
可以理解的是，本申请实施例中修正规则可以为本领域技术人员预先设置的，并且该修正规则可以根据具体的应用场景进行合理设置。
例如，修正规则可以包括数据清洗、数据转换、数据修正等规则。其中，数据清洗是指对接收到的测点数据中不符合要求的数据，进行数据清洗。如，不符合要求的数据可以包括不完整的测点数据、错误的测点数据、重复的测点数据这三类。对于这些不符合要求的数据的处理方式包括：填补、修正、删除等方式。数据转换是指将多种测点数据进行格式转换成文本格式或可扩展标记语言(Extensible Markup Language，XML)格式的报文。数据修正可以包括对初始测点数据进行关于非清洁数据的标记、不完整数据的填补、错误数据的修改和冗余数据的删除中至少一者的修正处理。
上述方法中，基于流计算引擎修正测点数据的极大、极小、跳变等错误值，保障后续指标更加准确，解决了由于测点数据不准确，造成的指标不可用的问题。
在将修正后的测点数据，与不包含修正标签的测点数据合并存储在第一KafkaTopic之后，服务端可以采用流计算引擎实时从第一Kafka Topic中获取测点数据。并采用MD5信息摘要算法确定每个测点数据的数据分区。按照时间顺序将测点数据存储在时序数据库中各个测点数据对应的数据分区中。
其中，流计算引擎可以采用数据流执行引擎(Flink)、离散流Spark Streaming、Storm等其他的流计算引擎。存储引擎可以采用redis、Tendis、Tair、Memcached等其他的存储引擎。本申请不做具体限定。
时序数据库可以采用开发时间序列数据库(Open time series data base，OpenTSDB)、时序数据库(Influx data base，InfluxDB)、时序数据库(Time SeriesDatabase，TDengine)。本申请不做具体限定。
上述方法中，由于现有技术中采用时序数据库缓存测点数据是不分区的。在查询测点数据计算指标时会出现计算资源不足、效率低的问题，即热点问题。本申请采用MD5的方式将测点数据存储到时序数据库中的多个数据分区中。在后续查询测点数据计算指标时，可以降低计算资源的消耗、提高计算效率。同时，使用时序数据库存储测点数据，供后续调用测点数据确定指标，可以使得测点数据更加规范化，能够提高后续确定指标的准确性，最终提升实时确定指标的应用效率以及准确率。基于时序数据库中的物联数据确定指标，能有效加速企业指标体系的构建速度，疏通指标数据，落地指标管理，发挥指标最大价值。
S202、从时序数据库中获取查询指令中的每个目标业务属性在第一时间段内的测点数据。
其中，时序数据库中的数据分区中用于存储按照时间顺序从第一Kafka Topic中获取的测点数据，且每个测点数据对应的数据分区位置是利用MD5信息摘要算法计算确定的。第一Kafka Topic用于存储多个不同业务属性的测点数据。
例如，假设查询指令中的目标业务属性包括传感器1上报的温度数据，以及传感器2上报的压力数据。第一时间段包括2023/02/03 08:05至2023/02/0308:21。则服务端可以根据测点数据的字段确定测点数据的业务属性以及时间。服务端可以获取从2023/02/0308:05至2023/02/03 08:21有关于传感器1上报的温度数据，以及传感器2上报的压力数据。
S203、根据每个目标业务属性在第一时间段内的测点数据，得到指标。
可以理解的是，确定多个目标业务属性在第一时间段的测点数据的指标时，服务端可以调用预先设置的多测点指标公式，将多个目标业务属性在第一时间段的测点数据代入至上述多测点指标公式中，得到指标。
在一种可能的情况中，为了在接收到大量的查询指令的情况下，也能够及时确定指标，提升确定指标的查询效率。合理分配计算资源，实现计算资源的均衡分配，提高计算机资源利用率，增加系统的吞吐量。在将修正后的测点数据，与不包含修正标签的测点数据合并存储在第一Kafka Topic之后，服务端可以采用流计算引擎实时从第一Kafka Topic中获取每个业务属性的测点数据。并分别根据每个业务属性的测点数据，确定每个目标业务属性的测点数据的指标。将上述每个目标业务属性的测点数据的指标实时采用高效缓存服务存储在数据库中。
其中，高效缓存服务可以采用远程字典服务(Remote Dictionary Server，Redis)、结构数据存储系统(Tair)、高速缓存系统(Memcached)等缓存服务。本申请不做具体限定。
例如，服务端采用流计算引擎实时从第一Kafka Topic中获取每个业务属性的测点数据。由于测点数据的字段与业务属性存在对应关系，因此可以通过字段确定同一业务属性的测点数据。服务端通过流计算引擎Flink实时计算从第一Kafka Topic中获取的测点数据，得到每个业务属性的测点数据的指标。服务端再采用远程字典服务(RemoteDictionary Server，Redis)实时存储上述指标，便于后续提供数据查询服务，直接确定相应的指标。
上述方法中，采用流计算引擎实时计算每个业务属性的指标，并实时采用高效缓存服务存储指标，供用户实时查询的方式，相较于在短时间内遇到大量的查询指令的情况下，接收到查询单个目标业务属性的指标查询指令时确定指标，减少时序数据库的性能开销，节约计算资源。在后续接收到查询指令，计算指标的过程中，可以提升查询效率，可以解决日均访问10亿+的查询性能较低的问题，提升查询性能。
在另一种可能的情况中，由于在短时间内遇到大量的查询指令的情况下，可能出现确定指标延迟的情况，不能及时确定指标。为了合理分配计算资源，实现计算资源的均衡分配，提高计算机资源利用率，增加系统的吞吐量。查询指令中可以包括定时查询多个目标业务属性的指标。其中，定时的时间为第一时间段。如，定时的时间段为一个月。则服务端定时每月查询多个目标业务属性的指标。又如，定时的时间段为一年。则服务端定时每年查询多个目标业务属性的指标。
服务端在定时确定目标业务属性的指标之后，服务端可以将定时确定的指标存储在用于存储指标的时序数据库中。便于后续用户查询指标时，可以直接从用于存储指标的时序数据库中获取相应的指标，相较于在短时间内遇到大量的查询指令的情况下，需要实时确定每个指标，通过直接从用于存储指标的时序数据库中获取相应的指标的方式，可以提高查询效率。
在另一种可能的情况中，在接收到查询指令之后，由于查询指令为实时查询多个目标业务属性的测点数据的指标，则服务端从时序数据库中获取查询指令中的每个目标业务属性在第一时间段内的测点数据之后，可以调用预先设置的多测点指标公式，将多个目标业务属性在第一时间段的测点数据代入至上述多测点指标公式中，得到指标。
上述方法中，通过分别确定每个业务属性的测点数据的指标、定时查询多个目标业务属性的测点数据的指标、实时查询多个目标业务属性的测点数据，实现了合理分配计算资源，均衡利用计算资源。便于提高用于查询指标时的查询效率。提高计算机资源利用率，增加系统的吞吐量。
可选的，在确定测点数据的指标之后，服务端可以将上述指标存储在第二KafkaTopic中。便于后续进行数据分析，建立数据平台。其中，第二Kafka Topic用于存储测点数据的指标。
可选的，服务端还可以从第二Kafka Topic中获取已确定的各个指标。将上述指标存储在离线数据库中。例如，可以采用可分布式日志收集系统、(flume)已经确定的指标实时存储在离线数据库中。上述方法中，通过将已经确定的指标存储在离线数据库汇总，便于后续根据指标分析数据，建立数据平台。
可选的，由于Hadoop的分布式计算存储引擎可以支持海量的物联数据计算和高并发查询服务，满足物联数据应用的大部分使用场景。本申请中可以基于Hadoop的分布式计算存储引擎，确定基于物联数据的指标。
如图3所示，本申请实施例提一种基于物联数据的指标确定方法的示例性的流程图，可以包括以下步骤：
S301、接收来自传感器的测点数据；
S302、识别测点数据的字段，确定测点数据的业务属性；
S303、按照测点数据的业务属性，将测点数据存储到业务属性对应的Kafka Topic中；
S304、确定测点数据是否包含修正标签，若是执行步骤S305，若否，执行步骤S307；
S305、获取设置的修正规则；
S306、根据修正规则，修正带有修正标签的测点数据；
S307、将修正后的测点数据，与不包含修正标签的测点数据按照获取的时间顺序存储在第一Kafka Topic中；
S308、接收查询指令，查询指令包括设置的第一时间段、至少一个目标业务属性；
S309、从时序数据库中获取查询指令中的每个目标业务属性在第一时间段内的测点数据；
S310、根据每个目标业务属性在第一时间段内的测点数据，得到指标。
图4为本申请实施例提供的一种基于物联数据的指标确定装置的结构示意图，如图4所示，该装置包括：收发模块401、处理模块402、确定模块403。
收发模块401，用于接收查询指令，查询指令包括设置的第一时间段、至少一个目标业务属性；
处理模块402，用于从时序数据库中获取查询指令中的每个目标业务属性在第一时间段内的测点数据，时序数据库中的数据分区中用于存储按照时间顺序从第一KafkaTopic中获取的测点数据，且每个测点数据对应的数据分区位置是利用MD5信息摘要算法计算确定的，第一Kafka Topic用于存储多个不同业务属性的测点数据；
确定模块403，用于根据每个目标业务属性在第一时间段内的测点数据，得到指标。
可选的，接收查询指令之前，收发模块401还用于：
接收来自传感器的测点数据，测点数据包括字段，字段与业务属性存在对应关系；
确定模块403还用于：识别测点数据的字段，确定测点数据的业务属性；
按照测点数据的业务属性，将测点数据存储到业务属性对应的Kafka Topic中。
可选的，按照测点数据的业务属性，将测点数据存储到业务属性对应的KafkaTopic中之后，确定模块403还用于：
在测点数据包括修正标签的情况下，获取设置的修正规则，修正标签用于指示修正带有修正标签的测点数据；
根据修正规则，修正带有修正标签的测点数据；
将修正后的测点数据，与不包含修正标签的测点数据按照获取的时间顺序存储在第一Kafka Topic中。
可选的，处理模块402还用于：
采用流计算引擎实时从第一Kafka Topic中获取每个业务属性的测点数据；
确定模块403还用于：
分别根据每个业务属性的测点数据，确定每个业务属性的测点数据的指标。
可选的，处理模块402还用于：
将指标存储在第二Kafka Topic中。
可选的，处理模块402还用于：
从第二Kafka Topic中获取指标，将指标存储在离线数据库中。
基于相同的技术构思，本申请实施例中还提供了一种电子设备，电子设备可以实现前述基于物联数据的指标确定装置的功能。
图5为本申请实施例提供的电子设备的结构示意图。
至少一个处理器501，以及与至少一个处理器501连接的存储器502，本申请实施例中不限定处理器501与存储器502之间的具体连接介质，图5中是以处理器501和存储器502之间通过总线500连接为例。总线500在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线500可以分为地址总线、数据总线、控制总线等，为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器501也可以称为控制器，对于名称不做限制。
在本申请实施例中，存储器502存储有可被至少一个处理器501执行的指令，至少一个处理器501通过执行存储器502存储的指令，可以执行前文论述的一种基于物联数据的指标确定方法。处理器501可以实现图4所示的装置中各个模块的功能。
其中，处理器501是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
在一种可能的设计中，处理器501可包括一个或多个处理单元，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、驾驶人员界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。在一些实施例中，处理器501和存储器502可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器501可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的一种基于物联数据的指标确定方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器501进行设计编程，可以将前述实施例中介绍的一种基于物联数据的指标确定方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图2所示的实施例的一种基于物联数据的指标确定方法。如何对处理器501进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
在此需要说明的是，本申请实施例提供的上述通电子设备，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行上述实施例中的一种基于物联数据的指标确定方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一条或多条其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一条机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一条流程或多条流程和/或方框图一条方框或多条方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一条流程或多条流程和/或方框图一条方框或多条方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一条流程或多条流程和/或方框图一条方框或多条方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种基于物联数据的指标确定方法，其特征在于，所述方法包括：
接收查询指令，所述查询指令包括设置的第一时间段、至少一个目标业务属性；
从时序数据库中获取所述查询指令中的每个目标业务属性在所述第一时间段内的测点数据，所述时序数据库中的数据分区中用于存储按照时间顺序从第一Kafka Topic中获取的测点数据，且每个测点数据对应的数据分区位置是利用MD5信息摘要算法计算确定的，所述第一Kafka Topic用于存储多个不同业务属性的测点数据；
根据所述每个目标业务属性在第一时间段内的测点数据，得到指标。
2.根据权利要求1所述的方法，其特征在于，所述接收查询指令之前，所述方法还包括：
接收来自传感器的测点数据，所述测点数据包括字段，所述字段与所述业务属性存在对应关系；
识别所述测点数据的字段，确定所述测点数据的业务属性；
按照所述测点数据的业务属性，将所述测点数据存储到所述业务属性对应的KafkaTopic中。
3.根据权利要求1或2所述的方法，其特征在于，所述按照所述测点数据的业务属性，将所述测点数据存储到所述业务属性对应的Kafka Topic中之后，所述方法还包括：
在所述测点数据包括修正标签的情况下，获取设置的修正规则，所述修正标签用于指示修正带有修正标签的测点数据；
根据所述修正规则，修正所述带有修正标签的测点数据；
将修正后的测点数据，与不包含修正标签的测点数据按照获取的时间顺序存储在所述第一Kafka Topic中。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采用流计算引擎实时从所述第一Kafka Topic中获取每个业务属性的测点数据；
分别根据每个业务属性的测点数据，确定所述每个业务属性的测点数据的指标。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述指标存储在第二Kafka Topic中。
6.根据权利要求1或5所述的方法，其特征在于，所述方法还包括：
从第二Kafka Topic中获取所述指标，将所述指标存储在离线数据库中。
7.一种基于物联数据的指标确定装置，其特征在于，包括：
收发模块，用于接收查询指令，所述查询指令包括设置的第一时间段、至少一个目标业务属性；
处理模块，用于从时序数据库中获取所述查询指令中的每个目标业务属性在所述第一时间段内的测点数据，所述时序数据库中的数据分区中用于存储按照时间顺序从第一Kafka Topic中获取的测点数据，且每个测点数据对应的数据分区位置是利用MD5信息摘要算法计算确定的，所述第一Kafka Topic用于存储多个不同业务属性的测点数据；
确定模块，用于根据所述每个目标业务属性在第一时间段内的测点数据，得到指标。
8.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～6中任一所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～6中任一所述方法的步骤。
10.一种计算机程序产品，其特征在于，所述计算机程序产品在被计算机调用时，使得所述计算机执行如权利要求1～6中任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310559209.0A CN116644111A (zh) | 2023-05-18 | 2023-05-18 | 一种基于物联数据的指标确定方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310559209.0A CN116644111A (zh) | 2023-05-18 | 2023-05-18 | 一种基于物联数据的指标确定方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116644111A true CN116644111A (zh) | 2023-08-25 |
Family
ID=87622287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310559209.0A Pending CN116644111A (zh) | 2023-05-18 | 2023-05-18 | 一种基于物联数据的指标确定方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116644111A (zh) |
-
2023
- 2023-05-18 CN CN202310559209.0A patent/CN116644111A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11816083B2 (en) | Method and system for indexing of time-series data | |
| US11775501B2 (en) | Trace and span sampling and analysis for instrumented software | |
| CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
| US11914566B2 (en) | Indexing and relaying data to hot storage | |
| US20170289240A1 (en) | Managed function execution for processing data streams in real time | |
| CN109933514B (zh) | 一种数据测试方法和装置 | |
| JP2019523952A (ja) | ストリーミングデータ分散処理方法及び装置 | |
| US11570078B2 (en) | Collecting route-based traffic metrics in a service-oriented system | |
| CN110134738B (zh) | 分布式存储系统资源预估方法、装置 | |
| CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
| AU2021244852B2 (en) | Offloading statistics collection | |
| CN112948397A (zh) | 一种数据处理系统、方法、装置及存储介质 | |
| CN113468226A (zh) | 一种业务处理方法、装置、电子设备和存储介质 | |
| CN107391528B (zh) | 前端组件依赖信息搜索方法及设备 | |
| US11620164B1 (en) | Virtual partitioning of a shared message bus | |
| CN116644111A (zh) | 一种基于物联数据的指标确定方法、装置及电子设备 | |
| Jiadi et al. | Research on Data Center Operation and Maintenance Management Based on Big Data | |
| CN115269519A (zh) | 一种日志检测方法、装置及电子设备 | |
| CN115269654A (zh) | 一种数据缓存补充方法、装置、设备及介质 | |
| WO2019218677A1 (zh) | 电网仿真分析数据存储方法、装置及电子设备 | |
| CN111581173A (zh) | 日志系统分布式存储的方法、装置、服务器及存储介质 | |
| US11494397B1 (en) | Data digital decoupling of legacy systems | |
| CN113220530B (zh) | 数据质量监控方法及平台 | |
| Li et al. | Database Systems for Advanced Applications: 24th International Conference, DASFAA 2019, Chiang Mai, Thailand, April 22–25, 2019, Proceedings, Part I | |
| CN115865645A (zh) | 链路确定方法、装置、设备、介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |