CN113112158A - 设备使用数据的处理方法及装置、存储介质及电子装置 - Google Patents
设备使用数据的处理方法及装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN113112158A CN113112158A CN202110410587.3A CN202110410587A CN113112158A CN 113112158 A CN113112158 A CN 113112158A CN 202110410587 A CN202110410587 A CN 202110410587A CN 113112158 A CN113112158 A CN 113112158A
- Authority
- CN
- China
- Prior art keywords
- data
- index
- index data
- day
- time scales
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000004364 calculation method Methods 0.000 claims abstract description 81
- 238000004590 computer program Methods 0.000 claims description 16
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 70
- 230000008569 process Effects 0.000 abstract description 14
- 230000002354 daily effect Effects 0.000 description 34
- 238000001514 detection method Methods 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003672 processing method Methods 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Game Theory and Decision Science (AREA)
- Computing Systems (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种设备使用数据的处理方法及装置、存储介质及电子装置,其中,上述方法包括:获取目标设备上传的日志数据;按照预设的多个时间尺度对日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据;根据对应于不同时间尺度的指标数据生成目标设备的使用报告。采用上述技术方案,解决了因燃气热水器在使用的过程中,产生的数据量过大,导致无法计算生成使用报告等问题。
Description
技术领域
本发明涉及通信领域,具体而言,涉及一种设备使用数据的处理方法及装置、存储介质及电子装置。
背景技术
随着家电智能化的普及,区别于传统家电单一的电器硬件服务,数据服务同样也是智能家电服务的重要组成部分,为了满足用户的需求,提升家电市场的品牌竞争力,为家电赋予更多的服务技能,数据服务变得越来越重要。
智能家电,如燃气热水器在使用过程中,通过记录状态变化及能源消耗等情况会产生日志数据,但因产生的数据量过大,导致数据无法计算生成使用报告。
针对相关技术,因燃气热水器在使用的过程中,产生的数据量过大,导致无法计算生成使用报告等问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种设备使用数据的处理方法及装置、存储介质及电子装置,以至少解决因燃气热水器在使用的过程中,产生的数据量过大,导致无法计算生成使用报告等问题。
根据本发明实施例的一个实施例,提供一种设备使用数据的处理方法,包括:获取目标设备上传的日志数据;按照预设的多个时间尺度对日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据;根据对应于不同时间尺度的指标数据生成目标设备的使用报告。
进一步地,预设的多个时间尺度至少包括日度、月度和年度;按照预设的多个时间尺度对日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据,具体包括:对日志数据进行计算得到日度指标数据;根据日度指标数据得到月度指标数据;根据月度指标数据得到年度指标数据。
进一步地,在得到分别对应于不同时间尺度的指标数据之前或之后,还包括:创建日度数据表,将日度指标数据保存至日度数据表;创建月度数据表,将月度指标数据保存至月度数据表;创建年度数据表,将年度指标数据保存至年度数据表。
进一步地,方法还包括:将日度指标数据中的多个第一指标数据用多个第一指标码标识,根据多个第一指标码将多个第一指标数据保存进日度数据表,其中,多个第一指标数据与多个第一指标码标识一一对应;将月度指标数据中的多个第二指标数据用多个第二指标码标识,根据多个第二指标码将多个第二指标数据保存进月度数据表,其中,多个第二指标数据与多个第二指标码标识一一对应;将年度指标数据中的多个第三指标数据用多个第三指标码标识,根据多个第三指标码将多个第三指标数据保存进年度数据表,其中,多个第三指标数据与多个第三指标码标识一一对应。
进一步地,获取目标设备上传的日志数据之后,还包括:在日志数据存在缺失的情况下,根据目标公式补全缺失数据。
进一步地,根据目标公式补全缺失数据,包括:根据目标公式得到核算值,其中,目标公式为:核算值=(指标汇总值/指标统计天数)×(设备实际值天数/指标统计天数)×设备历史使用天数;根据核算值补全缺失数据。
进一步地,根据核算值补全缺失数据之后,还包括:将核算值保存在hive数据库;根据datax数据同步工具从hive数据库中将核算值抽取到mysql数据库;通过调用mysql数据库开放接口获得mysql数据库中存储的数据。
根据本发明实施例的又一个实施例,还提供一种设备使用数据的处理装置,包括:获取模块,用于获取目标设备上传的日志数据;计算模块,用于按照预设的多个时间尺度对日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据;生成模块,用于根据对应于不同时间尺度的指标数据生成目标设备的使用报告。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述设备使用数据的处理方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述设备使用数据的处理方法。
通过本发明,获取目标设备上传的日志数据,进而按照预设的多个时间尺度对日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据,根据对应于不同时间尺度的指标数据生成目标设备的使用报告。需要说明的是,大时间尺度的指标数据通过小时间尺度的指标数据计算得到。采用上述技术方案,解决了因燃气热水器在使用的过程中,产生的数据量过大,导致无法计算生成使用报告等问题。进而通过将燃气热水器的产生数据的按时间维度分别计算,有效的处理了数据量过大,难以计算的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示例性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的设备使用数据的处理方法的计算机终端的硬件结构框图;
图2是根据本发明实施例的设备使用数据的处理方法的流程图;
图3是根据本发明实施例的燃气热水器使用报告数据计算说明图;
图4是根据本发明实施例的设备使用数据的处理装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例中所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例,图1是本发明实施例的设备使用数据的处理方法的计算机终端的硬件结构框图。如图1所示,计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,在一个示例性实施例中,上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述计算机终端的结构造成限定。例如,计算机终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的设备使用数据的处理方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
相关技术中,大部分智能燃气热水器大都只包含网络控制的一些功能,很少有针对用户的数据服务功能,用户无法了解到燃气热水器的一些使用数据,并且燃气热水器在使用过程中的一些故障问题无法感知,长时间使用无法及时解决,导致燃气热水器使用的寿命降低产生安全隐患,同时燃气热水器在使用过程中也无法感知一些异常消耗情况,造成更多的不必要的能源浪费。
为了解决上述问题,在本实施例中提供了一种设备使用数据的处理方法,图2是根据本发明实施例的设备使用数据的处理方法的流程图,该流程包括如下步骤:
步骤S202,获取目标设备上传的日志数据;
步骤S204,按照预设的多个时间尺度对日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据;
需要说明的是,指标数据是针对不同的统计指标类型计算得到的数据,例如指标类型有:常用水时间段指标、用水/气量指标、最晚用水天数指标、调温次数指标、安全检测次数指标等等,按照不同指标的计算逻辑,进行相应指标计算。
步骤S206,根据对应于不同时间尺度的指标数据生成目标设备的使用报告。
通过本发明,获取目标设备上传的日志数据,进而按照预设的多个时间尺度对日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据,根据对应于不同时间尺度的指标数据生成目标设备的使用报告。采用上述技术方案,解决了因燃气热水器在使用的过程中,产生的数据量过大,导致无法计算生成使用报告等问题。进而通过将燃气热水器的产生数据的按时间维度分别计算,有效的处理了数据量过大,难以计算的问题。
需要说明的是,可选的,上述步骤S202平均每间隔1-2秒的时间获取目标设备上传的日志数据,每次上报的数据包含若干个状态,例如:上报日期、设备唯一id码、属性编码、属性值、时间戳,安装日期等信息。其中,属性编码对应的指标包括:常用水时间段,用水量、用水量占比、最晚用水天数、燃气用量、调温次数、安全检测次数等。
为了更好的理解,上述步骤S204中预设的多个时间尺度至少包括:日度、月度和年度。其中,按照预设的多个时间尺度对日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据,包括:对日志数据进行计算得到日度指标数据;根据日度指标数据得到月度指标数据;根据月度指标数据得到年度指标数据。
在本实施例中,首先获取从目标设备中上传的日志数据,通过日度不同指标的计算逻辑,从日志数据中获取相应的数据进行计算,得到日度指标数据,进而根据月度不同指标的计算逻辑,从日度指标数据中获取相应的数据进行计算,得到月度指标数据,随后根据年度不同指标的计算逻辑,从月度指标数据中获取相应的数据进行计算,得到年度指标数据。
需要说明的是,在一个可选的实施例中,上述步骤S204在得到分别对应于不同时间尺度的指标数据之前或之后,还包括:创建日度数据表,将日度指标数据保存至日度数据表;创建月度数据表,将月度指标数据保存至月度数据表;创建年度数据表,将年度指标数据保存至年度数据表。
在本实施中,为了更好的保存日度指标数据、月度指标数据和年度指标数据,在hive数据库中分别创建日度数据表、月度数据表和年度数据表,将日度指标数据保存到日度数据表中存储,将月度指标数据保存到月度数据表中存储,将年度指标数据保存到年度数据表中存储。
为了更好的说明不同维度的指标数据如何保存在对应维度的数据表中,可选的,可以通过以下技术方案实现:将日度指标数据中的多个第一指标数据用多个第一指标码标识,根据多个第一指标码将多个第一指标数据保存进日度数据表,其中多个第一指标数据与多个第一指标码标识一一对应;将月度指标数据中的多个第二指标数据用多个第三指标码标识,根据多个第二指标码将多个第二指标数据保存进月度数据表,其中多个第二指标数据与多个第二指标码标识一一对应;将年度指标数据中的多个第三指标数据用多个第三指标码标识,根据多个第三指标码将多个第三指标数据保存进年度数据表,其中多个第三指标数据与多个第三指标码标识一一对应。
需要说明的是,日度指标数据包括多个第一指标数据:日常用水时间段指标数据、日用水/气量指标数据、日最晚用水天数指标数据、日调温次数指标数据和日安全检测次数数据等,通过不同的第一指标码将不同的第一指标数据进行标识,进而将多个第一指标数据保存进日度数据表中。同理,月度指标数据包括多个第二指标数据:月常用水时间段指标数据、月用水/气量指标数据、月最大用气量及最大用气量日期指标、月最晚用水天数指标数据、月调温次数指标数据和月安全检测次数数据等,通过不同的第二指标码将不同的第二指标数据进行标识,进而将多个第二指标数据保存进月度数据表中。进一步地,年度指标数据包括多个第三指标数据:年常用水时间段指标数据、年用水/气量指标数据、年最大用气量及最大用气量日期指标、年最晚用水天数指标数据、年调温次数指标数据和年安全检测次数数据等,通过不同的第三指标码将不同的第三指标数据进行标识,进而将多个第三指标数据保存进年度数据表中。
可选的,获取目标设备上传的日志数据之后,还包括:在日志数据存在缺失的情况下,根据目标公式补全缺失数据。在本实施例中,如果在一个时间段内,无法获取目标设备上传的日志数据,即只或取到了整个周期中部分时间的数据,例如需要一整年或者一整个月的使用报告,但在研发这个报告的时候,在年中或者月中只能获取到某几个月和某几天月的数据,此时就需要采用目标公式来补全缺失数据。
其中,目标公式为:核算值=(指标汇总值/指标统计天数)×(设备实际值天数/指标统计天数)×设备历史使用天数,其中,指标汇总值:该指标实际数据统计的结果值,例如三个月的该指标数据统计的结果;指标统计天数:该指标实际统计数据的天数,例如统计了三个月,则指标统计天数为90天;设备实际值天数:在统计的天数中具有指标实际值的天数,例如安全检测指标在统计的90天内,50天有检测数据,即设备实际值天数为50;设备历史使用天数:该设备用户从安装或者开始使用到统计当日的天数,超过365天按365天计算,例:某用户安装目标设备是当年的7月1日,则在年底的时候设备历史使用时间是180天。根据目标公式计算得出核算值,进而通过核算值补全缺失数据。
需要说明的是,在一个可选的实施例中,根据核算值补全缺失数据之后,还包括:将核算值保存在hive数据库;根据datax数据同步工具从hive数据库中将核算值抽取到mysql数据库;通过调用mysql数据库开放接口获得mysql数据库中存储的数据。
在本实施例中,通过计算得到的日度数据表,月度数据表,年度数据表以及核算值都保存在在hive数据库,随后通过datax数据同步工具从hive数据库中将日度数据表,月度数据表和年度数据表中的数据以及核算值抽取到mysql数据库中保存,从而通过mysql数据库开放接口获得。
显然,上述所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。为了更好的理解上述设备使用数据的处理方法,以下结合实施例对上述过程进行说明,但不用于限定本发明实施例的技术方案,具体地:
在一个可选的实施例中,燃气热水器(相当于上述实施例中的目标设备)在使用过程中,通过记录状态变化及能源消耗等情况会产生日志数据,其内容包含并不限于上报日期、设备唯一id码、属性编码、属性值、时间戳,安装日期等信息,通过这些上报的数据,结合相应的计算方法及数据存储技术,得出相应的指标及统计结果,可以帮助用户了解燃气热水器的使用情况。
燃气热水器使用报告主要包含并不限于月度报告和年度报告,可以依据需要增加周度、半月等时间维度。因燃气热水器使用报告时间周期跨度较长,在实现的过程中主要涉及两个重要的问题:1、数据量过大难以计算;2、数据采集断档。
为了解决数据量过大难以计算,将计算逻辑拆分,按多个时间维度进行计算,即日度计算、月度计算、年度计算。在hive数据库中分别按日度,月度,年度创建三张不同的物理存储数据表,将不同时间维度的计算结果分别存储到相应的结果表中。其中,日度计算为指标的初步计算,主要承担日志明细数据的逻辑判断及按天的统计计算,并赋予唯一的指标码,存储到日度计算的结果表内。主要指标及计算逻辑如下:
常用水时间段指标:选取设备属性值为用水状态的数据,通过hql判断语句casewhen…then…end及时间戳为数据添加时间段标识,例如:00:00-02:00、02:00-04:00…22:00-00:00,基于此时间段,统计每个时间段内的数据记录数,即为当日每个时间段内用水记录数。
用水/气量指标:对设备用水/气属性值按时时间顺序排序,通过lag()over()函数获取每个设备每条记录的上一条数据(如果没有上一条数据则数值等于当前值),当前值减去上条记录值即为每条数据间隔时间的用水/气量,将每个设备的所有时间间隔用水/气量按天求和得出设备一天的用水/气量。
最晚用水天数指标:选取设备用水属性状态的数据,通过if语句判断上报时间是否属于夜间某一时间,如果是,则标记数据值1,否则标记数据值0。
调温次数指标:选取设备属性值为温度状态的数据,以分钟作为一个时间区间,每分钟内最大温度值与相邻分钟内最大温度值做比较,判断温度值是否发生改变,每改变一次记为1,最后按设备对变化次数求和,得出每个设备一天内调温次数。
安全检测次数指标:选取设备安全检测属性的数据,将时间戳按顺序排序,判断前后相邻两条数据状态是否变化,如果变化,记值为1,否则为0,对每个设备的标记值求和则为设备当天的安全检测次数。
月计算为基于日度计算值的基础上,通过对每天的结果数据按月进行汇总统计计算,并将结果按指标码存储到月度结果表,主要指标及计算逻辑如下:
常用水时间段:按自然月获取日表内常用水时间段指标码每天的记录值,按设备对记录数进行求和,得到每个月时间段的记录数。
用水/气量指标:按自然月获取日表内用水/气量指标码每天的记录数,按设备对记录数进行求和,得到每个月用水/气量。
最大用气量及最大用气量日期指标:获取自然月每天设备的用气量,每个设备按用气量从大到小排序,选取排第一的数据即为设备月度最大用气量和日期,并为数据赋予唯一指标码。
最晚用水天数指标:按自然月获取日表中最晚用水天数指标码每天的设备标记值,按设备对标记值进行求和,求和结果作为月度最晚用水天数。
调温次数指标:按自然月获取日表中调温次数指标码每天的设备次数值,按设备对标记值进行求和,求和结果作为月度调温次数。
安全检测次数指标:按自然月获取日表中安全检测次数指标码每天的设备次数值,按设备对标记值进行求和,求和结果作为安全检测次数。
年度计算为在月度计算指标的基础上,通过对设备按年进行汇总计算得到结果,并将结果按指标码存储到年度结果表,主要指标及计算逻辑如下:
常用水时间段指标:获取月表内常用水时间段指标码每月的记录值,按设备对记录数进行年度汇总求和,得到不同时间段的记录数,对每个设备按照记录数从大到小排序,选择记录数排名第一的时间段,即为年度常用水时间段指标(如存在相同记录则,同时选择两个时间段)。
调温次数指标、安全检测次数指标、最晚用水天数指标、用水/气量指标:获取月表对应指标码每月的指标次数,按设备对记录数进行年度汇总求和,得到相应的指标值。
用水量占比:获取月表内用水量指标码每月的用水量值,按设备对记录数进行年度汇总求和,对求和的结果值从大到小排序,然后用排名除以最大排名得到得结果,即用水量占比。
燃气使用报告开发的过程中,如果只能够取得报告整个周期中部分时间得数据,例如需要一整年或者一整个月得报告,但是在研发这个报告得时候在年中或者月中,只能获取到某几月和某几天的数据,就会导致计算结果不完整,面对这个问题,采用指标核算近似值得方式来补齐取不到的数据。其中,指标核算计算方法为:核算值=(指标汇总值/指标统计天数)×(设备实际值天数/指标统计天数)×设备历史使用天数,其中,指标汇总值:实际数据统计的结果值,例如三个月数据统计的结果;指标统计天数:实际数据的天数,例如三个月为90天;设备实际值天数:在统计的天数中具有指标实际值的天数,例如安全检测指标在统计的90天内,50天有检测数据,即设备实际值天数为50;设备历史使用天数:该设备用户从安装或者开始使用到统计当日的天数,超过365天按365天计算,例:某用户安装该设备是当年的7月1日,则设备年终的历史使用时间是180天。需要说明的是,经过指标核算后的指标,即得到最终结果数据,然后通过datax数据同步工具,将数据结果抽取到mysql数据库,开放给接口调用。
在一个可选的实施例中,为了更好的描述上述过程,在一个可选的实施例中,图3是根据本发明实施例的燃气热水器使用报告数据计算说明图,如图3所示,获取从燃气热水器上报的日志数据,保存进hive数据库中,通过日计算逻辑得到日计算结果数据,保存至日计算结构表,随后通过月计算逻辑从日计算结构表中获取相应数据计算,得到月计算结果数据,保存至月计算结构表,进一步地,通过年计算逻辑从月计算结构表中获取相应数据计算,得到年计算结果数据,保存至月计算结构表,进而根据datax数据同步工具从hive数据库中将日计算结果数据,月计算结果数据以及年计算结果数据抽取到mysql数据库;通过调用mysql数据库开放接口获得mysql数据库中存储的数据。
此外,本发明实施例的上述技术方案,将燃气热水器的使用报告按时间维度拆分计算,并且对缺失数据的通过指标核算计算方法获取,解决了燃气热水器在使用过程中的一些故障及异常消耗无法感知问题,解决了大量日志数据导致计算困难的问题,解决了时间跨度过长、数据断档,计算数据差异过大的问题。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种设备使用数据的处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的设备使用数据的处理装置的结构框图,该装置包括:
获取模块42,用于获取目标设备上传的日志数据;
计算模块44,用于按照预设的多个时间尺度对日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据;
生成模块46,用于根据对应于不同时间尺度的指标数据生成目标设备的使用报告。
通过本发明,获取目标设备上传的日志数据,进而按照预设的多个时间尺度对日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据,根据对应于不同时间尺度的指标数据生成目标设备的使用报告。采用上述技术方案,解决了因燃气热水器在使用的过程中,产生的数据量过大,导致无法计算生成使用报告等问题。进而通过将燃气热水器的产生数据的按时间维度分别计算,有效的处理了数据量过大,难以计算的问题。
可选的,获取模块42还用于在平均每间隔1-2秒的时间获取目标设备上传的日志数据,每次上报的数据包含若干个状态,例如:上报日期、设备唯一id码、属性编码、属性值、时间戳,安装日期等信息。其中,属性编码对应的指标包括:常用水时间段,用水量、用水量占比、最晚用水天数、燃气用量、调温次数、安全检测次数等。
计算模块44中预设的多个时间尺度至少包括:日度、月度和年度。计算模块44用于对日志数据进行计算得到日度指标数据;根据日度指标数据得到月度指标数据;根据月度指标数据得到年度指标数据。
在本实施例中,首先获取从目标设备中上传的日志数据,通过日度不同指标的计算逻辑,从日志数据中获取相应的数据进行计算,得到日度指标数据,进而根据月度不同指标的计算逻辑,从日度指标数据中获取相应的数据进行计算,得到月度指标数据,随后根据年度不同指标的计算逻辑,从月度指标数据中获取相应的数据进行计算,得到年度指标数据。
在一个可选的实施例中,计算模块44还用于创建日度数据表,将日度指标数据保存至日度数据表;创建月度数据表,将月度指标数据保存至月度数据表;创建年度数据表,将年度指标数据保存至年度数据表。
在本实施中,为了更好的保存日度指标数据、月度指标数据和年度指标数据,在hive数据库中分别创建日度数据表、月度数据表和年度数据表,将日度指标数据保存到日度数据表中存储,将月度指标数据保存到月度数据表中存储,将年度指标数据保存到年度数据表中存储。
可选的,计算模块44还用于将日度指标数据中的多个第一指标数据用多个第一指标码标识,根据多个第一指标码将多个第一指标数据保存进日度数据表,其中多个第一指标数据与多个第一指标码标识一一对应;将月度指标数据中的多个第二指标数据用多个第三指标码标识,根据多个第二指标码将多个第二指标数据保存进月度数据表,其中多个第二指标数据与多个第二指标码标识一一对应;将年度指标数据中的多个第三指标数据用多个第三指标码标识,根据多个第三指标码将多个第三指标数据保存进年度数据表,其中多个第三指标数据与多个第三指标码标识一一对应。
需要说明的是,日度指标数据包括多个第一指标数据:日常用水时间段指标数据、日用水/气量指标数据、日最晚用水天数指标数据、日调温次数指标数据和日安全检测次数数据等,通过不同的第一指标码将不同的第一指标数据进行标识,进而将多个第一指标数据保存进日度数据表中。同理,月度指标数据包括多个第二指标数据:月常用水时间段指标数据、月用水/气量指标数据、月最大用气量及最大用气量日期指标、月最晚用水天数指标数据、月调温次数指标数据和月安全检测次数数据等,通过不同的第二指标码将不同的第二指标数据进行标识,进而将多个第二指标数据保存进月度数据表中。进一步地,年度指标数据包括多个第三指标数据:年常用水时间段指标数据、年用水/气量指标数据、年最大用气量及最大用气量日期指标、年最晚用水天数指标数据、年调温次数指标数据和年安全检测次数数据等,通过不同的第三指标码将不同的第三指标数据进行标识,进而将多个第三指标数据保存进年度数据表中。
可选的,计算模块44还用于在日志数据存在缺失的情况下,根据目标公式补全缺失数据。在本实施例中,如果在一个时间段内,无法获取目标设备上传的日志数据,即只或取到了整个周期中部分时间的数据,例如需要一整年或者一整个月的使用报告,但在研发这个报告的时候,在年中或者月中只能获取到某几个月和某几天月的数据,此时就需要采用目标公式来补全缺失数据。
其中,目标公式为:核算值=(指标汇总值/指标统计天数)×(设备实际值天数/指标统计天数)×设备历史使用天数,其中,指标汇总值:该指标实际数据统计的结果值,例如三个月的该指标数据统计的结果;指标统计天数:该指标实际统计数据的天数,例如统计了三个月,则指标统计天数为90天;设备实际值天数:在统计的天数中具有指标实际值的天数,例如安全检测指标在统计的90天内,50天有检测数据,即设备实际值天数为50;设备历史使用天数:该设备用户从安装或者开始使用到统计当日的天数,超过365天按365天计算,例:某用户安装目标设备是当年的7月1日,则在年底的时候设备历史使用时间是180天。根据目标公式计算得出核算值,进而通过核算值补全缺失数据。
在一个可选的实施例中,生成模块46用于将核算值保存在hive数据库;根据datax数据同步工具从hive数据库中将核算值抽取到mysql数据库;通过调用mysql数据库开放接口获得mysql数据库中存储的数据。
在本实施例中,通过计算得到的日度数据表,月度数据表,年度数据表以及核算值都保存在在hive数据库,随后通过datax数据同步工具从hive数据库中将日度数据表,月度数据表和年度数据表中的数据以及核算值抽取到mysql数据库中保存,从而通过mysql数据库开放接口获得。
本发明的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取目标设备上传的日志数据;
S2,按照预设的多个时间尺度对日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据;
S3,根据对应于不同时间尺度的指标数据生成目标设备的使用报告。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取目标设备上传的日志数据;
S2,按照预设的多个时间尺度对日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据;
S3,根据对应于不同时间尺度的指标数据生成目标设备的使用报告。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种设备使用数据的处理方法,其特征在于,包括:
获取目标设备上传的日志数据;
按照预设的多个时间尺度对所述日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据;
根据对应于不同时间尺度的指标数据生成所述目标设备的使用报告。
2.根据权利要求1所述的设备使用数据的处理方法,其特征在于,预设的多个时间尺度至少包括日度、月度和年度;按照所述预设的多个时间尺度对所述日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据,具体包括:
对所述日志数据进行计算得到日度指标数据;
根据所述日度指标数据得到月度指标数据;
根据所述月度指标数据得到年度指标数据。
3.根据权利要求2所述的设备使用数据的处理方法,其特征在于,在得到分别对应于不同时间尺度的指标数据之前或之后,还包括:
创建日度数据表,将所述日度指标数据保存至所述日度数据表;
创建月度数据表,将所述月度指标数据保存至所述月度数据表;
创建年度数据表,将所述年度指标数据保存至所述年度数据表。
4.根据权利要求3所述的设备使用数据的处理方法,其特征在于,所述方法还包括:
将所述日度指标数据中的多个第一指标数据用多个第一指标码标识,根据所述多个第一指标码将所述多个第一指标数据保存进所述日度数据表,其中,所述多个第一指标数据与所述多个第一指标码标识一一对应;
将所述月度指标数据中的多个第二指标数据用多个第二指标码标识,根据所述多个第二指标码将所述多个第二指标数据保存进所述月度数据表,其中,所述多个第二指标数据与所述多个第二指标码标识一一对应;
将所述年度指标数据中的多个第三指标数据用多个第三指标码标识,根据所述多个第三指标码将所述多个第三指标数据保存进所述年度数据表,其中所述多个第三指标数据与所述多个第三指标码标识一一对应。
5.根据权利要求1所述的设备使用数据的处理方法,其特征在于,获取目标设备上传的日志数据之后,还包括:
在所述日志数据存在缺失的情况下,根据目标公式补全缺失数据。
6.根据权利要求5所述的设备使用数据的处理方法,其特征在于,根据所述目标公式补全所述缺失数据,包括:
根据所述目标公式得到核算值,其中,所述目标公式为:核算值=(指标汇总值/指标统计天数)×(设备实际值天数/指标统计天数)×设备历史使用天数;
根据所述核算值补全所述缺失数据。
7.根据权利要求6所述的设备使用数据的处理方法,其特征在于,根据所述核算值补全所述缺失数据之后,还包括:
将所述核算值保存在hive数据库;
根据datax数据同步工具从所述hive数据库中将所述核算值抽取到mysql数据库;
通过调用mysql数据库开放接口获得所述mysql数据库中存储的数据。
8.一种设备使用数据的处理装置,其特征在于,包括:
获取模块,用于获取目标设备上传的日志数据;
计算模块,用于按照预设的多个时间尺度对所述日志数据进行指标计算,得到分别对应于不同时间尺度的指标数据;
生成模块,用于根据对应于不同时间尺度的指标数据生成所述目标设备的使用报告。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110410587.3A CN113112158B (zh) | 2021-04-13 | 2021-04-13 | 设备使用数据的处理方法及装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110410587.3A CN113112158B (zh) | 2021-04-13 | 2021-04-13 | 设备使用数据的处理方法及装置、存储介质及电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113112158A true CN113112158A (zh) | 2021-07-13 |
CN113112158B CN113112158B (zh) | 2023-06-20 |
Family
ID=76717961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110410587.3A Active CN113112158B (zh) | 2021-04-13 | 2021-04-13 | 设备使用数据的处理方法及装置、存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113112158B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113596624A (zh) * | 2021-07-21 | 2021-11-02 | 青岛海尔科技有限公司 | 热水器数据的处理方法、装置、存储介质和电子装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101608996A (zh) * | 2009-07-22 | 2009-12-23 | 中国兵器工业第五九研究所 | 内陆非工业大气腐蚀性的测定方法 |
CN105574060A (zh) * | 2015-01-13 | 2016-05-11 | 北京中体骏彩信息技术有限公司 | 竞彩统计数据的提取方法 |
CN106599197A (zh) * | 2016-12-14 | 2017-04-26 | 深圳天源迪科信息技术股份有限公司 | 数据采集交换引擎 |
CN107766454A (zh) * | 2017-09-26 | 2018-03-06 | 深圳市金立通信设备有限公司 | 一种数据处理方法、服务器及计算机可读存储介质 |
CN109800225A (zh) * | 2018-12-24 | 2019-05-24 | 北京奇艺世纪科技有限公司 | 业务指标的获取方法、装置、服务器及计算机可读存储介质 |
CN111309729A (zh) * | 2020-02-13 | 2020-06-19 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种数据查询方法及装置 |
CN111353625A (zh) * | 2018-12-21 | 2020-06-30 | 顺丰科技有限公司 | 一种网点件量预测方法、装置、设备及存储介质 |
CN112100138A (zh) * | 2020-09-16 | 2020-12-18 | 北京天融信网络安全技术有限公司 | 一种日志查询方法、装置、存储介质和电子设备 |
CN112231271A (zh) * | 2020-10-16 | 2021-01-15 | 北京明略昭辉科技有限公司 | 数据迁移完整性校验方法、装置、设备及计算机可读介质 |
CN112598248A (zh) * | 2020-12-16 | 2021-04-02 | 广东电网有限责任公司广州供电局 | 负荷预测方法、装置、计算机设备和存储介质 |
-
2021
- 2021-04-13 CN CN202110410587.3A patent/CN113112158B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101608996A (zh) * | 2009-07-22 | 2009-12-23 | 中国兵器工业第五九研究所 | 内陆非工业大气腐蚀性的测定方法 |
CN105574060A (zh) * | 2015-01-13 | 2016-05-11 | 北京中体骏彩信息技术有限公司 | 竞彩统计数据的提取方法 |
CN106599197A (zh) * | 2016-12-14 | 2017-04-26 | 深圳天源迪科信息技术股份有限公司 | 数据采集交换引擎 |
CN107766454A (zh) * | 2017-09-26 | 2018-03-06 | 深圳市金立通信设备有限公司 | 一种数据处理方法、服务器及计算机可读存储介质 |
CN111353625A (zh) * | 2018-12-21 | 2020-06-30 | 顺丰科技有限公司 | 一种网点件量预测方法、装置、设备及存储介质 |
CN109800225A (zh) * | 2018-12-24 | 2019-05-24 | 北京奇艺世纪科技有限公司 | 业务指标的获取方法、装置、服务器及计算机可读存储介质 |
CN111309729A (zh) * | 2020-02-13 | 2020-06-19 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种数据查询方法及装置 |
CN112100138A (zh) * | 2020-09-16 | 2020-12-18 | 北京天融信网络安全技术有限公司 | 一种日志查询方法、装置、存储介质和电子设备 |
CN112231271A (zh) * | 2020-10-16 | 2021-01-15 | 北京明略昭辉科技有限公司 | 数据迁移完整性校验方法、装置、设备及计算机可读介质 |
CN112598248A (zh) * | 2020-12-16 | 2021-04-02 | 广东电网有限责任公司广州供电局 | 负荷预测方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
符裕红: "《SPSS生物统计实例详解》", 30 November 2018 * |
米歇尔.刘易斯-伯克: "《社会科学研究方法百科全书 第2卷》", 31 August 2017 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113596624A (zh) * | 2021-07-21 | 2021-11-02 | 青岛海尔科技有限公司 | 热水器数据的处理方法、装置、存储介质和电子装置 |
CN113596624B (zh) * | 2021-07-21 | 2024-06-25 | 青岛海尔科技有限公司 | 热水器数据的处理方法、装置、存储介质和电子装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113112158B (zh) | 2023-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106846176B (zh) | 一种电费核算系统 | |
CN107888397A (zh) | 确定故障类型的方法和装置 | |
CN106600114A (zh) | 一种采集运维系统多维度质量评价方法 | |
CN114839433B (zh) | 窃电行为确定方法、装置及电子设备 | |
CN107491252B (zh) | 阅读时长的统计方法及电子设备 | |
CN108665186A (zh) | 基于计量自动化系统的配变重过载停电监测方法及装置 | |
CN112614010A (zh) | 负荷预测方法及装置、存储介质及电子装置 | |
CN109740760A (zh) | 文本质检自动化训练方法、电子装置及计算机设备 | |
CN117273337A (zh) | 一种智能电能表评价方法 | |
CN113112158A (zh) | 设备使用数据的处理方法及装置、存储介质及电子装置 | |
CN114328647A (zh) | 生成物料需求数量的方法、系统、终端及存储介质 | |
CN114841443A (zh) | 一种电能分析方法、系统及存储介质 | |
CN104502692A (zh) | 电量异动的检测方法及中央处理设备 | |
CN103957230B (zh) | 一种客户端用户数确定方法、服务器、客户端及系统 | |
CN116076785B (zh) | 一种香烟滤棒成型方法自动排产方法及系统 | |
CN204287842U (zh) | 中央处理设备 | |
CN116359658A (zh) | 一种电力设备异常判断方法、装置、电子设备及存储介质 | |
CN110686699A (zh) | 计步方法及装置 | |
CN115578134A (zh) | 一种基于大数据的家用电器销售系统 | |
CN112732759B (zh) | 数据处理方法及装置,存储介质及电子装置 | |
CN114862149A (zh) | 一种新能源充电设备实际使用频率智能分析方法及装置 | |
CN114281250A (zh) | 存储文件的清理方法及装置、存储介质、电子装置 | |
CN113596624B (zh) | 热水器数据的处理方法、装置、存储介质和电子装置 | |
CN102711136A (zh) | 通讯基站的节能量计算方法及系统 | |
CN110633270A (zh) | 一种基于优先级的多策略电表日冻结值自动替代方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |