CN115794782A - 数据处理方法、装置、服务器及存储介质 - Google Patents
数据处理方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN115794782A CN115794782A CN202111056417.6A CN202111056417A CN115794782A CN 115794782 A CN115794782 A CN 115794782A CN 202111056417 A CN202111056417 A CN 202111056417A CN 115794782 A CN115794782 A CN 115794782A
- Authority
- CN
- China
- Prior art keywords
- data
- electronic equipment
- cache
- local database
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 238000005406 washing Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于家用电器技术领域,具体涉及一种数据处理方法、装置、服务器及存储介质。本发明旨在解决现有技术中的问题。本发明的方法中,通过获取电子设备的标识和该电子设备的运行数据,并根据电子设备的标识,在本地数据库中确定电子设备对应的最近一次的缓存数据对应的存储时间,之后当缓存数据的存储时间迟于或等于运行数据的获取时间,将运行数据清除。该技术方案中,通过对运行数据和获取时间和缓存数据的存储时间进行比对,避免了大量数据存储至数据库时存在冗余数据的问题,且减少了服务器资源的占用。
Description
技术领域
本发明实施例属于家用电器技术领域,具体涉及一种数据处理方法、装置、服务器及存储介质。
背景技术
随着智能设备在家庭生活中的不断普及,为了更好的对智能化设备进行完善、以及方便用户随时了解运行工况,需要不断获取智能化设备的运行信息,并存储至智能设备对应的服务器中。
在现有技术中,服务器通过心跳的方式获取智能化设备的运行数据,即按照一定的频次获取智能设备的运行信息,例如,每秒上传一次,并将获取到的运行信息直接存储至服务器的本地数据库中。
然而,在实际应用中,大量运行信息在存储时会出现冗余重复的数据,导致服务器的内存占用过高的情况发生。
发明内容
为了解决现有技术中的上述问题,即为了解决现有技术中洗涤衣物不及时的问题,本发明实施例提供了一种数据处理方法,应用于服务器,所述方法包括:
获取电子设备的标识和所述电子设备的运行数据;
根据所述电子设备的标识,在本地数据库中确定所述电子设备对应的最近一次的缓存数据对应的存储时间;
当所述缓存数据的存储时间迟于或等于所述运行数据的获取时间,将所述运行数据清除。
在上述数据处理方法的优选技术方案中,所述方法还包括:
当所述缓存数据的存储时间早于所述运行数据的获取时间,更新所述本地数据库中所述电子设备对应的缓存数据。
在上述数据处理方法的优选技术方案中,所述更新所述本地数据库中所述电子设备对应的缓存数据,包括:
根据所述缓存数据和所述运行数据,判断所述运行数据和所述缓存数据是否相同;
若所述运行数据和所述缓存数据不相同,则将所述运行数据以及所述运行数据的获取时间存储至所述本地数据库中,得到新的缓存数据和新的存储时间;
若所述运行数据和所述缓存数据相同,则将所述运行数据对应的获取时间更新为所述本地数据库中所述缓存数据的存储时间。
在上述数据处理方法的优选技术方案中,所述获取电子设备的标识和所述电子设备的运行数据,包括:
获取通过所述电子设备的底板上传的运行信息;
解析所述运行信息,得到所述电子设备的标识和所述电子设备的运行数据。
在上述数据处理方法的优选技术方案中,所述本地数据库为时序数据库。
本发明实施例还提供了一种数据处理装置,应用于服务器,包括:获取模块、确定模块和处理模块;
所述获取模块,用于获取电子设备的标识和所述电子设备的运行数据;
所述确定模块,用于根据所述电子设备的标识,在本地数据库中确定所述电子设备对应的最近一次的缓存数据对应的存储时间;
所述处理模块,用于当所述缓存数据的存储时间迟于或等于所述运行数据的获取时间,将所述运行数据清除。
在上述数据处理装置的优选技术方案中,所述处理模块还用于当所述缓存数据的存储时间早于所述运行数据的获取时间,更新所述本地数据库中所述电子设备对应的缓存数据。
在上述数据处理装置的优选技术方案中,所述处理模块,在更新所述本地数据库中所述电子设备对应的缓存数据,具体用于:
根据所述缓存数据和所述运行数据,判断所述运行数据和所述缓存数据是否相同;
若所述运行数据和所述缓存数据不相同,则将所述运行数据以及所述运行数据的获取时间存储至所述本地数据库中,得到新的缓存数据和新的存储时间;
若所述运行数据和所述缓存数据相同,则将所述运行数据对应的获取时间更新为所述本地数据库中所述缓存数据的存储时间。
在上述数据处理装置的优选技术方案中,所述获取模块,具体用于:
获取通过所述电子设备的底板上传的运行信息;
解析所述运行信息,得到所述电子设备的标识和所述电子设备的运行数据。
在上述数据处理装置的优选技术方案中,所述本地数据库为时序数据库。
本发明实施例还提供了一种服务器,包括:处理器、存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述计算机执行指令,使得所述服务器执行如上述应用于服务器的数据处理方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上述应用于服务器的数据处理方法。
本发明实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时用于实现如上述应用于服务器的数据处理方法。
本领域技术人员能够理解的是,本发明实施例提供的数据处理方法、装置、服务器及存储介质,该方法应用于服务器,通过获取电子设备的标识和该电子设备的运行数据,并根据电子设备的标识,在本地数据库中确定电子设备对应的最近一次的缓存数据对应的存储时间,之后当缓存数据的存储时间迟于或等于运行数据的获取时间,将运行数据清除。该技术方案中,通过对运行数据和获取时间和缓存数据的存储时间进行比对,避免了大量数据存储至数据库时存在冗余数据的问题,且减少了服务器资源的占用。
附图说明
下面参照附图来描述本发明的洗衣机的控制方法的优选实施方式。附图为:
图1为本发明实施例提供的数据处理方法的应用场景示意图;
图2为本发明实施例提供的数据处理方法实施例一的流程示意图;
图3为本发明实施例提供的数据处理方法实施例二的流程示意图;
图4为本发明实施例提供的数据处理方法实施例三的流程示意图
图5为本发明实施例提供的数据处理装置的结构示意图;
图6为本发明实施例提供的服务器的结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。本领域技术人员可以根据需要对其作出调整,以便适应具体的应用场合。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在介绍本发明的实施例之前,首先对本发明实施例的技术背景进行解释:
随着家用电器设备智能化的不能完善及普及,越来越多的家用电器设备与为该家用电器设备提供服务的服务器之间建立了连接,为了更好的完善家用电器设备,以提供给用户更好的使用体验,服务器需要实时接收来自家用电器设备的运行信息。
例如,洗衣机网器化是指洗衣机和互联网打通,洗衣机每时每刻的状态数据会通过底板上报到服务器,供用户可以及时的在终端设备的应用程序(Application,APP)端了解洗衣机状态,并利用终端设备控制洗衣机执行特定程序(该过程由服务器作为中间件,即终端设备下发的指令,由服务器接收之后,发送至洗衣机,以实现控制洗衣机运行)。
其中,洗衣机底板上报服务器的状态信息为一般心跳数据,即像心跳一样固定时间间隔上报洗衣机当时的状态数据,可以是几秒一次、几分钟一次,有以下特点:数据量大、频次高、存在大量冗余数据、以时间为维度不可修改,这样洗衣机底板上报的数据就存在心跳和时序两中属性。
具体为,洗衣机底板以心跳模式上报服务器的状态信息,由于总的数据量是巨大的,而将源数据不做任何处理,直接存储进数据库,然后在以此为基础做数据过滤、加工、分析。这种方式无疑会存储大量的冗余重复数据,占用大量的存储空间。且后期在加工数据时,由于数据基数过于庞大,又给服务器造成很大的压力。并且由于冗余数据的存在,易造成数据分析结果产生偏差。
为了解决上述技术问题,图1为本发明实施例提供的数据处理方法的应用场景示意图,如图1所示,该场景示意图包括:服务器11、电子设备12、用户13和终端设备14。
其中,服务器11为电子设备12提供服务的服务器;终端设备14上安装有控制电子设备12的应用程序,或于网页上显示的应用平台。
可选的,该电子设备12以洗衣机为例,仅示例。
在一种可能的实现中,用户13通过终端设备14上的应用程序(或直接操作洗衣机的洗涤按键等)控制洗衣机进行洗涤,该洗涤过程中,服务器不断接收洗衣机以心跳模式的方式发送的运行信息。服务器11接收到该运行信息后,判断该次运行信息的获取时间与缓存中的最近一次缓存信息的缓存时间相比较,以确定出该次运行信息的获取时间是否该洗衣机最近一次发送运行状况的时间,若不是,则将该次运行信息删除。
可选的,在该次运行信息的获取时间不是该洗衣机最近一次发送的运行状况的时间时,该次运行信息为过期数据,避免过期数据篡改缓存和本地数据库,并形成冗余数据。
可选的,终端设备14可以是手机、智能手环、平板等具有显示功能,和/或播放功能的设备;电子设备12可以是空调、洗衣机、冰箱、电饭锅等智能设备。
应理解,本发明实施例不对电子设备12的数量作限制。
针对上述问题,本发明的发明构思如下:现有技术中服务器获取到大量数据时,并没有做特殊处理,仅直接缓存至数据库中,容易造成两次上传的数据顺序出现混乱,会造成旧的数据存储的时间晚于新的数据存储的时间,以及在两个时刻的数据相同的情况,即数据冗余,占用了大量空间,如果能够在获取到数据时即进行判断获取时间,以及确定出已经存储的数据和获取到的数据是否相同,进行去重处理,便可以避免上述问题。
下面以具体地实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
图2为本发明实施例提供的数据处理方法实施例一的流程示意图。如图2所示,该数据处理方法可以包括如下步骤:
应理解,下述实施例以为电子设备(如,洗衣机)提供服务的服务器为执行主体进行说明。
步骤21、获取电子设备的标识和电子设备的运行数据。
在本方案中,电子设备(如,洗衣机)将自身的运行信息发送给服务器,以供服务器对相应的洗衣机的数据进行处理,为技术人员提供洗衣机的故障检测、完善功能等做出参考,进一步地,服务器将运行信息发送给用户的终端设备,以备用户能实时掌握洗衣机的运行情况。
进一步地,由于电子设备的数量可以是多个,此时,服务器获取到来着不同电子设备的大量运行信息,然后在本地数据库中存储,该本地数据库可以是时序数据库,例如,Clickhouse数据库,其性能优于大多列式存储数据库,在时序数据库获取到数据之后,会对数据进一步压缩,从而存储,便于服务器获取大量电子设备的运行信息。
在本步骤中,服务器获取到的关于电子设备的运行数据,例如,电子设备的电流、电压、温度、以及所处运行阶段等数据,以及该电子设备的标识。
具体的,该步骤的实现过程可以包括如下步骤:
第1步、获取通过电子设备的底板上传的运行信息。
在一种可能的实现中,用户通过终端设备中的应用程序控制电子设备进行相应的工作,之后电子设备的底板通过物联网模块,将电子设备的运行数据和该电子设备的标识进行封装,得到运行信息,然后上传至服务器端。
其中,底板上传的运行信息的频次根据上传的模式相关,例如,心跳模式,可以是1秒、2秒上传一次。
可选的,获取运行信息之前,还需要建立服务器与电子设备的通信链路,也即可以由电子设备的物联网模块与服务器的物联网模块连接实现。
可选的,在获取运行信息时可以是基于传输控制协议(Transmission ControlProtocol,TCP)、超文本传输协议(Hyper Text Transfer Protocol,HTTP)等方式实现。
第2步、解析运行信息,得到电子设备的标识和电子设备的运行数据。
在一种可能的实现中,该运行信息可以是JSON格式的字符串,可以根据上传规则协议解析该字符串,以得到电子设备的标识和电子设备的运行数据。
其中,运行数据可以是至少一种属性数据,例如,电流相关的数据、警示灯的开闭情况、以及所处的运行阶段等;电子设备的标识可以是电子设备的类型、出厂编号等。
步骤22、根据电子设备的标识,在本地数据库中确定电子设备对应的最近一次的缓存数据对应的存储时间。
在本步骤中,本地数据库中可以预先存储有不同电子设备的标识,也即,在存储运行数据时,根据不同电子设备的标识,将对应的运行数据存储至各自电子设备的标识所在的缓存路径。
此外,若本地数据库中没有该电子设备的标识,可以默认该电子设备的数据为第一次上传,可以将该电子设备的标识作为主键,缓存相应的运行数据。
可选的,根据电子设备的标识,遍历本地数据库,找到该电子设备的标识对应的缓存路径,并找到缓存至本地数据库中,最近一次该电子设备的缓存信息的存储时间。
例如,电子设备的标识可以是#@123,那么可以依据#@123,在本地数据库中找到对应的#@123的缓存路径,并在该路径下,找到离当前时间最近的缓存数据对应的存储时间,例如是12月12日12点12分12秒。
步骤23、当缓存数据的存储时间迟于或等于运行数据的获取时间,将运行数据清除。
在本步骤中,在一些特殊场景下,在心跳模式下上传某个电子设备的运行数据时,在具体的某一天,12点12分12秒和12点12分13秒,服务器分别获取到了两次上报的运行数据,但是12点12分13秒上传的运行数据已经缓存至该电子设备的标识对应的缓存中了,并形成缓存数据。
然而,12点12分12秒上传的运行数据才被服务器解析出来,对于12点12分13秒上传的运行数据而言,12点12分12秒上传的运行数据为过期数据,就需要被清除掉,以避免过期数据对该电子设备对应的运行数据进行更改。
进一步地,当由于故障等原因,两次上报的运行数据的时间相同,例如,可以是13点13分13秒,但其中一个运行数据1已经缓存至本地数据库了,另一个运行数据2的才被服务器解析出来,则此运行数据2直接被清除,不执行之后的缓存逻辑。
可选的,在上述缓存数据的存储时间迟于或等于运行数据的获取时间的条件下,如果不对运行数据进行清除,继续执行之后的逻辑,会造成运行数据记录的不准确、或资源的重复占用的情况,对后期用户,和/或技术人员关于电子设备的运行参考带来偏差。
步骤24、当缓存数据的存储时间早于运行数据的获取时间,更新本地数据库中电子设备对应的缓存数据。
在本步骤中,电子设备对应的最近一次的缓存数据对应的存储时间是早于运行数据的获取时间,说明运行数据的获取时间为该电子设备的最新运行状况下对应的时间,则,根据运行数据对该电子设备对应的缓存数据进行更新操作。
可选的,更新本地数据库中电子设备对应的缓存数据存在以下两种可能的情况:第一、最近一次的缓存数据与运行数据相同,第二、最近一次的缓存数据与运行数据不同。针对两种不同情况的数据处理方法,由下述实施例给出。
应理解,缓存数据和运行数据包含有:电子设备的不同属性数据,如上述给出的电流相关的数据、警示灯的开闭情况、以及电子设备当前所处的运行阶段等等。
在上述实施例的基础上,服务器的本地数据库中实时存储有电子设备的缓存数据,当用户需要实时掌握电子设备的运行工况时,在终端设备中应用程序的图形用户界面上,通过点击相关按键,便可以从服务器中获取相关数据,从而在图形用户界面上展示,和/或通过播放器播放。
本发明实施例提供的数据处理方法,应用于服务器,该方法通过获取电子设备的标识和该电子设备的运行数据,并根据电子设备的标识,在本地数据库中确定电子设备对应的最近一次的缓存数据对应的存储时间,之后当缓存数据的存储时间迟于或等于运行数据的获取时间,将运行数据清除。该技术方案中,通过对运行数据和获取时间和缓存数据的存储时间进行比对,避免了大量数据存储至数据库时存在冗余数据的问题,且减少了服务器资源的占用。
进一步地,图3为本发明实施例提供的数据处理方法实施例二的流程示意图。如图3所示,上述步骤24可以包含如下实现过程:
步骤31、根据缓存数据和运行数据,判断运行数据和缓存数据是否相同。
在本步骤中,比较缓存数据和运行数据是否相同,具体为:比较缓存数据中的各个属性数据和运行数据中的各个属性数据是否相同,在此状况下,该判断结果可以分为以下几种可能的实现。
在一种可能的实现中,以最近一次的缓存数据为例,包含电机电流的大小为2A、电机转速150r/min、洗衣机内桶承重50N;以运行数据为例,包含电机电流的大小为2.1A、电机转速160r/min、洗衣机内桶承重49N,则最近一次的缓存数据与运行数据完全不相同。
在另一种可能的实现中,以最近一次的缓存数据为例,包含电机电流的大小为2A、电机转速150r/min、洗衣机内桶承重50N;以运行数据为例,包含电机电流的大小为2.1A、电机转速160r/min、洗衣机内桶承重50N,则最近一次的缓存数据与运行数据部分相同。
在再一种可能的实现中,以最近一次的缓存数据为例,包含电机电流的大小为2A、电机转速150r/min、洗衣机内桶承重50N;以运行数据为例,包含电机电流的大小为2A、电机转速150r/min、洗衣机内桶承重50N,则最近一次的缓存数据与运行数据完全相同。
在还一种可能的实现中,以最近一次的缓存数据为例,包含电机电流的大小为2A、电机转速150r/min、洗衣机内桶承重50N;以运行数据为例,包含电机电流的大小为2A、电机转速150r/min、洗衣机内桶承重50N、电机温度42℃,则最近一次的缓存数据与运行数据的种类有不相同部分。
应理解,上述可能的实现仅作示例,实际运用时,还可以包括其他情况,均可参考下述步骤中的处理实现过程。
步骤32、若运行数据和缓存数据不相同,则将运行数据以及运行数据的获取时间存储至本地数据库中,得到新的缓存数据和新的存储时间;
在本步骤中,针对运行数据和缓存数据中不相同的部分,可以直接用运行数据中不相同的部分覆盖缓存数据中不相同的部分。
示例性的,以最近一次的缓存数据为例,包含电机电流的大小为2A、电机转速150r/min、洗衣机内桶承重50N;以运行数据为例,包含电机电流的大小为2.1A、电机转速160r/min、洗衣机内桶承重49N。则将缓存数据更改为:电机电流的大小为2.1A、电机转速160r/min、洗衣机内桶承重49N,即得到新的缓存数据。
此外,如果运行数据存在电机温度的数据,且原缓存数据中不存在,可以在该电子设备的标识为主键,创建关于电机温度的缓存路径,写入电机温度的数据,例如,电机温度42℃。
可选的,除了缓存数据的更改,还需要对缓存时间进行重新写入,即以运行数据的获取时间代替缓存数据的存储时间,形成新的缓存数据的存储时间。
例如,运行数据的获取时间为15点15分15秒,缓存数据的存储时间为15点15分14秒,则新的缓存数据的存储时间为15点15分15秒。
此外,在本地数据库中,根据电子设备的标识,没有找出该电子设备的标识对应的缓存数据,此时可以以该电子设备的标识为主键,寻找一个缓存路径,对该运行数据进行缓存,得到缓存数据,并记录该缓存数据的存储时间。
步骤33、若运行数据和缓存数据相同,则将运行数据对应的获取时间更新为本地数据库中缓存数据的存储时间。
在本步骤中,针对运行数据和缓存数据中相同的部分,不需要对缓存数据进行更新等操作,直接将运行数据清除即可,并将运行数据对应的获取时间更新为本地数据库中缓存数据的存储时间。
示例性的,以最近一次的缓存数据为例,包含电机电流的大小为2A、电机转速150r/min、洗衣机内桶承重50N;以运行数据为例,包含电机电流的大小为2A、电机转速150r/min、洗衣机内桶承重50N。则将缓存数据和运行数据相同,说明不用执行运行数据缓存作为新的缓存数据的流程。
进一步地,最近一次的缓存数据对应的存储时间为15点15分15秒,而运行数据的获取时间为15点15分16秒,则将缓存数据对应的存储时间更改为15点15分16秒。
本发明实施例提供的数据处理方法,应用于服务器,该方法根据缓存数据和运行数据,判断运行数据和缓存数据是否相同,之后在运行数据和缓存数据不相同时,则将运行数据以及运行数据的获取时间存储至本地数据库中,得到新的缓存数据和新的存储时间,或在运行数据和缓存数据相同时,则将运行数据对应的获取时间更新为本地数据库中缓存数据的存储时间。该技术方案从运行数据和缓存数据是否相同出发,实现了对本地数据库中的数据更新,去除了本地数据库中多次重复上报的数据,提高了本地数据库中空间资源利用率。
在上述实施例的基础上,图4为本发明实施例提供的数据处理方法实施例三的流程示意图。如图4所示,作为一种示例,上述数据处理方法可以有如下实现步骤(以下内容未被纰述的部分在上述实施例中提及,此处不再赘述):
第1步、获取电子设备上报的运行信息;
第2步、解析该运行信息,得到电子设备的标识和运行数据;
第3步、判断本地数据库中是否存在该电子设备的标识对应的电子设备的缓存数据,若是,则执行第4步;若否,则执行第6步;
第4步、判断缓存数据的存储时间是否迟于或等于运行数据的获取时间,若否,则执行第5步;若是,则执行第8步;
第5步、判断缓存数据和运行数据是否相同,若否,则执行第6步;若是,则执行第7步;
第6步、以电子设备的标识为主键存储运行数据,并执行第9步;
第7步、更新电子设备的标识对应的缓存时间,并执行第9步;
第8步、清除该运行数据,并执行第9步;
第9步、结束对该次上报的运行信息的处理。
本发明实施例提供的数据处理方法,通过获取电子设备上报的运行信息,并解析该运行信息,得到电子设备的标识和运行数据,在本地数据库中存在该电子设备的标识对应的电子设备的缓存数据,则确定出缓存数据的存储时间迟于或等于运行数据的获取时间,将运行数据清除,若确定出缓存数据的存储时间早于运行数据的获取时间,则判断缓存数据和运行数据是否相同,不相同时,以电子设备的标识为主键存储运行数据;相同时,更新电子设备的标识对应的缓存时间,之后清除该运行数据。该技术方案中,通过对运行数据的获取时间以及运行数据的内容的判断,更好的实现了对可能存在的冗余数据的清除,提高了本地数据库中可用空间的占比。
下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。
图5为本发明实施例提供的数据处理装置的结构示意图,该数据处理装置应用于服务器,包括:获取模块51、确定模块52和处理模块53;
获取模块51,用于获取电子设备的标识和电子设备的运行数据;
确定模块52,用于根据电子设备的标识,在本地数据库中确定电子设备对应的最近一次的缓存数据对应的存储时间;
处理模块53,用于当缓存数据的存储时间迟于或等于运行数据的获取时间,将运行数据清除。
在本发明实施例一种可能的设计中,处理模块53还用于当缓存数据的存储时间早于运行数据的获取时间,更新本地数据库中电子设备对应的缓存数据。
在该种可能的设计中,处理模块53,在更新本地数据库中电子设备对应的缓存数据,具体用于:
根据缓存数据和运行数据,判断运行数据和缓存数据是否相同;
若运行数据和缓存数据不相同,则将运行数据以及运行数据的获取时间存储至本地数据库中,得到新的缓存数据和新的存储时间;
若运行数据和缓存数据相同,则将运行数据对应的获取时间更新为本地数据库中缓存数据的存储时间。
在本发明实施例另一种可能的设计中,获取模块51,具体用于:
获取通过电子设备的底板上传的运行信息;
解析运行信息,得到电子设备的标识和电子设备的运行数据。
可选的,本地数据库为时序数据库。
本发明实施例提供的数据处理装置,可用于执行上述实施例中应用于服务器中的数据处理方法的技术方案,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,处理模块53可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
在上述实施例的基础上,图6为本发明实施例提供的服务器的结构示意图。如图6所示,该服务器用于执行上述实施例中应用于服务器的数据处理方法,可以包括:处理器61、存储器62。
处理器61执行存储器存储的计算机执行指令,使得处理器61执行上述实施例中的数据处理方法的技术方案。处理器61可以是通用处理器,包括中央处理器CPU、网络处理器(network processor,NP)等;还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器62通过系统总线与处理器61连接并完成相互间的通信,存储器62用于存储计算机程序指令。
可选的,该服务器还可以包括收发器63,该收发器63用于和电子设备进行通信。可选的,在硬件实现上,上述图5所示实施例中的获取模块51对应于本实施例中的收发器63,该收发器63构成通信接口。
系统总线可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。收发器用于实现数据库访问装置与其他计算机(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(randomaccess memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
本发明实施例提供的服务器,可用于执行上述实施例中应用于服务器的数据处理方法的技术方案,其实现原理和技术效果类似,在此不再赘述。
本发明实施例还提供一种运行指令的芯片,该芯片用于执行上述实施例中应用于服务器的数据处理方法的技术方案。
本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行上述实施例中应用于服务器的数据处理方法的技术方案。
本发明实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,其存储在计算机可读存储介质中,处理器可以从计算机可读存储介质读取计算机程序,处理器执行计算机程序时可实现上述实施例中应用于服务器的数据处理方法的技术方案。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种数据处理方法,其特征在于,应用于服务器,所述方法包括:
获取电子设备的标识和所述电子设备的运行数据;
根据所述电子设备的标识,在本地数据库中确定所述电子设备对应的最近一次的缓存数据对应的存储时间;
当所述缓存数据的存储时间迟于或等于所述运行数据的获取时间,将所述运行数据清除。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述缓存数据的存储时间早于所述运行数据的获取时间,更新所述本地数据库中所述电子设备对应的缓存数据。
3.根据权利要求2所述的方法,其特征在于,所述更新所述本地数据库中所述电子设备对应的缓存数据,包括:
根据所述缓存数据和所述运行数据,判断所述运行数据和所述缓存数据是否相同;
若所述运行数据和所述缓存数据不相同,则将所述运行数据以及所述运行数据的获取时间存储至所述本地数据库中,得到新的缓存数据和新的存储时间;
若所述运行数据和所述缓存数据相同,则将所述运行数据对应的获取时间更新为所述本地数据库中所述缓存数据的存储时间。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述获取电子设备的标识和所述电子设备的运行数据,包括:
获取通过所述电子设备的底板上传的运行信息;
解析所述运行信息,得到所述电子设备的标识和所述电子设备的运行数据。
5.根据权利要求2或3所述的方法,其特征在于,所述本地数据库为时序数据库。
6.一种数据处理装置,其特征在于,应用于服务器,所述装置包括:获取模块、确定模块和处理模块;
所述获取模块,用于获取电子设备的标识和所述电子设备的运行数据;
所述确定模块,用于根据所述电子设备的标识,在本地数据库中确定所述电子设备对应的最近一次的缓存数据对应的存储时间;
所述处理模块,用于当所述缓存数据的存储时间迟于或等于所述运行数据的获取时间,将所述运行数据清除。
7.根据权利要求6所述的装置,其特征在于,所述处理模块还用于当所述缓存数据的存储时间早于所述运行数据的获取时间,更新所述本地数据库中所述电子设备对应的缓存数据。
8.一种服务器,包括:处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序指令,其特征在于,所述处理器执行所述计算机程序指令时实现如上述权利要求1至5任一项所述的数据处理方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上述权利要求1至5任一项所述的数据处理方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时用于实现如上述权利要求1至5任一项所述的数据处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111056417.6A CN115794782A (zh) | 2021-09-09 | 2021-09-09 | 数据处理方法、装置、服务器及存储介质 |
PCT/CN2022/113243 WO2023035892A1 (zh) | 2021-09-09 | 2022-08-18 | 数据处理方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111056417.6A CN115794782A (zh) | 2021-09-09 | 2021-09-09 | 数据处理方法、装置、服务器及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115794782A true CN115794782A (zh) | 2023-03-14 |
Family
ID=85416979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111056417.6A Pending CN115794782A (zh) | 2021-09-09 | 2021-09-09 | 数据处理方法、装置、服务器及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115794782A (zh) |
WO (1) | WO2023035892A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106341368A (zh) * | 2015-07-06 | 2017-01-18 | 中兴通讯股份有限公司 | 一种实现数据处理的方法及装置 |
CN106230978A (zh) * | 2016-08-31 | 2016-12-14 | 广州市乐商软件科技有限公司 | 分布式缓存同步方法、装置及系统 |
CN107733982A (zh) * | 2017-09-12 | 2018-02-23 | 维沃移动通信有限公司 | 一种数据同步方法、终端设备、云端服务器及系统 |
CN109962980A (zh) * | 2019-03-20 | 2019-07-02 | 北京易沃特科技有限公司 | 一种基于物联网的数据上传方法、装置、设备及介质 |
-
2021
- 2021-09-09 CN CN202111056417.6A patent/CN115794782A/zh active Pending
-
2022
- 2022-08-18 WO PCT/CN2022/113243 patent/WO2023035892A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023035892A1 (zh) | 2023-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10712915B2 (en) | Information presentation using a client on a terminal | |
CN102831043B (zh) | 应用程序监控方法和装置 | |
CN107979493A (zh) | 平台即服务paas容器平台的构建方法、服务器及存储介质 | |
CN111064626B (zh) | 配置更新方法、装置、服务器及可读存储介质 | |
CN106484544B (zh) | 一种对物联网设备进行虚拟化的方法和装置 | |
CN111586090A (zh) | 工业数据采集的方法、系统、计算机设备和可读存储介质 | |
CN110765165A (zh) | 一种跨系统数据同步处理的方法、装置及系统 | |
US10938773B2 (en) | Method and apparatus for synchronizing contact information and medium | |
CN112565406A (zh) | 一种灰度发布方法、灰度发布系统及电子设备 | |
CN101087262A (zh) | 一种即时通讯处理方法及系统 | |
CN109992279A (zh) | 配置数据更新方法、装置、计算设备及存储介质 | |
CN110109684A (zh) | 区块链节点管理代理服务安装方法、电子装置及存储介质 | |
CN114039930A (zh) | 数据包处理方法及系统 | |
CN116800616B (zh) | 虚拟化网络设备的管理方法及相关装置 | |
CN111125226B (zh) | 一种配置数据采集方法及装置 | |
CN115794782A (zh) | 数据处理方法、装置、服务器及存储介质 | |
CN115269050A (zh) | 多地图调用方法及装置、存储介质、计算机设备 | |
CN115470426A (zh) | 浏览器内核确定方法、装置、计算机设备和存储介质 | |
CN111221651B (zh) | 负载均衡配置方法、装置、服务器及可读存储介质 | |
CN115033551A (zh) | 一种数据库迁移方法、装置、电子设备及存储介质 | |
CN113326397A (zh) | 业务数据的处理方法、装置 | |
CN112433891A (zh) | 数据处理方法、装置和服务器 | |
CN115004667A (zh) | 信息推送方法、装置、电子设备及计算机可读介质 | |
CN112596780A (zh) | 一种业务执行的方法以及装置 | |
CN110858201A (zh) | 数据处理方法及系统、处理器、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |