CN111371832A - 一种数据存储、检测方法及设备 - Google Patents
一种数据存储、检测方法及设备 Download PDFInfo
- Publication number
- CN111371832A CN111371832A CN201911268198.0A CN201911268198A CN111371832A CN 111371832 A CN111371832 A CN 111371832A CN 201911268198 A CN201911268198 A CN 201911268198A CN 111371832 A CN111371832 A CN 111371832A
- Authority
- CN
- China
- Prior art keywords
- data
- internet
- things
- batch
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 84
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 72
- 230000008569 process Effects 0.000 claims abstract description 30
- 239000000428 dust Substances 0.000 claims description 83
- 230000015654 memory Effects 0.000 claims description 54
- 238000004590 computer program Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 14
- 238000004088 simulation Methods 0.000 claims description 12
- 230000001186 cumulative effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 238000004140 cleaning Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007599 discharging Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种数据存储、检测方法及设备,其特征在于,所述数据存储方法包括:记录物联网设备在本次运行过程中的运行数据,并识别所述运行数据所属的数据类型;为所述运行数据添加与所述数据类型相匹配的类型标识,并将携带所述类型标识的所述运行数据上传至物联网服务器,以使得所述物联网服务器按照所述类型标识,将所述运行数据写入消息队列中;其中,所述消息队列按照所述类型标识,将所述运行数据推送至数据存储服务器中对应的目标服务,以通过所述目标服务将所述运行数据写入数据库中。本申请提供的技术方案,能够减少数据丢失的情况。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及一种数据存储、检测方法及设备。
背景技术
随着物联网技术的不断发展,物联网设备可以与数据存储设备连接。物联网设备可以采集自身的运行数据,并可以将采集到的运行数据反馈给数据存储设备。这样,通过分析数据存储设备中的数据,便可以了解到物联网设备的运行状态。
如果数据存储设备与多个物联网设备相连,那么这些物联网设备的运行数据都会反馈给数据存储设备,这样会使得数据存储设备的并发连接数较多,并且同一时间接收到的数据量可能较大,进而可能导致数据存储设备的负载较高,发生数据丢失的情况。
发明内容
本申请的目的在于提供一种数据存储、检测方法及设备,能够减少数据丢失的情况。
为实现上述目的,本申请一方面提供一种数据存储方法,所述方法包括:记录物联网设备在本次运行过程中的运行数据,并识别所述运行数据所属的数据类型;为所述运行数据添加与所述数据类型相匹配的类型标识,并将携带所述类型标识的所述运行数据上传至物联网服务器,以使得所述物联网服务器按照所述类型标识,将所述运行数据写入消息队列中;其中,所述消息队列按照所述类型标识,将所述运行数据推送至数据存储服务器中对应的目标服务,以通过所述目标服务将所述运行数据写入数据库中。
为实现上述目的,本申请另一方面还提供一种物联网设备,所述物联网设备包括:数据记录单元,用于记录所述物联网设备在本次运行过程中的运行数据,并识别所述运行数据所属的数据类型;类型标识添加单元,用于为所述运行数据添加与所述数据类型相匹配的类型标识;数据上传单元,用于将携带所述类型标识的所述运行数据上传至物联网服务器,以使得所述物联网服务器按照所述类型标识,将所述运行数据写入消息队列中;其中,所述消息队列按照所述类型标识,将所述运行数据推送至数据存储服务器中对应的目标服务,以通过所述目标服务将所述运行数据写入数据库中。
为实现上述目的,本申请另一方面还提供一种物联网设备,所述物联网设备包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,用于实现以下功能:记录物联网设备在本次运行过程中的运行数据,并识别所述运行数据所属的数据类型;为所述运行数据添加与所述数据类型相匹配的类型标识,并将携带所述类型标识的所述运行数据上传至物联网服务器,以使得所述物联网服务器按照所述类型标识,将所述运行数据写入消息队列中;其中,所述消息队列按照所述类型标识,将所述运行数据推送至数据存储服务器中对应的目标服务,以通过所述目标服务将所述运行数据写入数据库中。
为实现上述目的,本申请另一方面还提供一种数据存储方法,所述方法包括:接收物联网服务器发来的携带类型标识的运行数据,并按照所述类型标识将所述运行数据写入消息队列中;其中,所述运行数据由物联网设备记录,并由所述物联网设备上传至所述物联网服务器;识别数据存储服务器中目标服务对应的目标类型标识,并在所述消息队列中查询是否存在携带所述目标类型标识的目标运行数据;若存在,将所述目标运行数据提供给所述数据存储服务器中的所述目标服务,以通过所述目标服务将所述目标运行数据写入数据库中。
为实现上述目的,本申请另一方面还提供一种消息队列服务器,所述消息队列服务器包括:数据写入单元,用于接收物联网服务器发来的携带类型标识的运行数据,并按照所述类型标识将所述运行数据写入消息队列中;其中,所述运行数据由物联网设备记录,并由所述物联网设备上传至所述物联网服务器;数据查询单元,用于识别数据存储服务器中目标服务对应的目标类型标识,并在所述消息队列中查询是否存在携带所述目标类型标识的目标运行数据;数据提供单元,用于若存在,将所述目标运行数据提供给所述数据存储服务器中的所述目标服务,以通过所述目标服务将所述目标运行数据写入数据库中。
为实现上述目的,本申请另一方面还提供一种消息队列服务器,所述消息队列服务器包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,用于实现以下功能:接收物联网服务器发来的携带类型标识的运行数据,并按照所述类型标识将所述运行数据写入消息队列中;其中,所述运行数据由物联网设备记录,并由所述物联网设备上传至所述物联网服务器;识别数据存储服务器中目标服务对应的目标类型标识,并在所述消息队列中查询是否存在携带所述目标类型标识的目标运行数据;若存在,将所述目标运行数据提供给所述数据存储服务器中的所述目标服务,以通过所述目标服务将所述目标运行数据写入数据库中。
为实现上述目的,本申请另一方面还提供一种数据检测方法,所述方法包括:模拟物联网设备向物联网服务器发送第一批量数据,并模拟终端设备向所述物联网服务器发送第二批量数据;读取所述物联网服务器从模拟的物联网设备处接收到的第三批量数据,并读取所述物联网服务器从模拟的终端设备处接收到的第四批量数据;对比所述第一批量数据和所述第三批量数据,并记录相比于所述第一批量数据,所述第三批量数据中丢失的数据;以及对比所述第二批量数据和所述第四批量数据,并记录相比于所述第二批量数据,所述第四批量数据中丢失的数据;其中,针对记录的所述丢失的数据,发出对应的报警信息。
为实现上述目的,本申请另一方面还提供一种数据检测装置,所述装置包括:批量数据发送单元,用于模拟物联网设备向物联网服务器发送第一批量数据,并模拟终端设备向所述物联网服务器发送第二批量数据;数据读取单元,用于读取所述物联网服务器从模拟的物联网设备处接收到的第三批量数据,并读取所述物联网服务器从模拟的终端设备处接收到的第四批量数据;数据对比单元,用于对比所述第一批量数据和所述第三批量数据,并记录相比于所述第一批量数据,所述第三批量数据中丢失的数据;以及对比所述第二批量数据和所述第四批量数据,并记录相比于所述第二批量数据,所述第四批量数据中丢失的数据;其中,针对记录的所述丢失的数据,发出对应的报警信息。
为实现上述目的,本申请另一方面还提供一种数据检测装置,所述数据检测装置包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,用于实现以下功能:模拟物联网设备向物联网服务器发送第一批量数据,并模拟终端设备向所述物联网服务器发送第二批量数据;读取所述物联网服务器从模拟的物联网设备处接收到的第三批量数据,并读取所述物联网服务器从模拟的终端设备处接收到的第四批量数据;对比所述第一批量数据和所述第三批量数据,并记录相比于所述第一批量数据,所述第三批量数据中丢失的数据;以及对比所述第二批量数据和所述第四批量数据,并记录相比于所述第二批量数据,所述第四批量数据中丢失的数据;其中,针对记录的所述丢失的数据,发出对应的报警信息。
由上可见,本申请一个或者多个实施方式提供的技术方案,在物联网设备与数据存储服务器之间,可以设置物联网服务器和消息队列服务器。其中,物联网设备采集到运行数据后,可以根据运行数据的数据类型,为运行数据添加对应的类型标识。物联网设备可以将携带类型标识的运行数据上传至物联网服务器,然后物联网服务器可以按照类型标识将接收到的运行数据写入消息队列服务器的消息队列中。后续,消息队列可以按照类型标识,将运行数据推送给数据存储服务器中对应的目标服务,从而使得数据存储服务器中的不同服务,可以接收不同的运行数据。这样,消息队列可以为数据传输提供缓冲,并且可以有选择地向数据存储服务器提供运行数据,从而减小了数据存储服务器的负载,进而能够减少数据丢失的情况。
附图说明
为了更清楚地说明本发明实施方式中的技术方案,下面将对实施方式描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施方式中的系统架构示意图;
图2是本发明实施方式中数据存储方法的步骤图;
图3是本发明实施方式中消息队列的数据存储示意图;
图4是本发明实施方式中物联网设备的功能模块示意图;
图5是本发明实施方式中物联网设备的结构示意图;
图6是本发明实施方式中清洁设备的内部结构示意图;
图7是本发明实施方式中消息队列服务器的数据存储方法步骤图;
图8是本发明实施方式中数据检测方法的步骤图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施方式及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施方式仅是本申请一部分实施方式,而不是全部的实施方式。基于本申请中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本申请保护的范围。
本申请提供一种数据存储方法,该方法可以应用于如图1所示的系统架构中。在图1中,可以包括物联网设备、物联网服务器、消息队列服务器以及数据存储服务器。其中,物联网设备可以是具备网络访问功能的电子设备。例如,物联网设备可以是安装了无线通信模块的吸尘器、清洗机、扫地机器人等清洁设备。物联网设备在运行过程中可以采集各项运行数据,并可以将采集到的运行数据上传至物联网服务器。物联网服务器接收到物联网设备发来的运行数据后,可以将该运行数据传递给消息队列服务器,从而将该运行数据写入消息队列服务器的消息队列中。后续,消息队列中的运行数据可以提供给数据存储服务器,从而由数据存储服务器将运行数据写入数据库中进行存储。
在本申请一个实施方式中,提供一种数据存储方法,请参阅图2,该方法可以包括以下多个步骤。
S11:记录物联网设备在本次运行过程中的运行数据,并识别所述运行数据所属的数据类型。
在本实施方式中,物联网设备在运行过程中,嵌入式操作系统可以按照指定的时间周期,查询物联网设备中各个组件的运行数据。以吸尘器为例,安装于吸尘器中的嵌入式操作系统,在吸尘器开机后,可以每分钟向吸尘器的电池组件查询当前的电量数据。此外,嵌入式操作系统还可以每分钟向吸尘器中的灰尘传感器查询当前累计的灰尘量。在实际应用中,嵌入式操作系统查询的运行数据可以包括但不限于:电池电量、电机功率、单次运行过程中的除尘量、累计的历史除尘总量、单次运行时长、累计的历史运行总时长、故障次数、故障类型、设备重置次数、设备开关机次数中的至少一种。当然,随着技术的不断进步和需求的不断提升,嵌入式操作系统还可以获取物联网设备的更多运行数据,以上例举的运行数据只是为了更好地阐述本申请的技术方案,并不表示本申请的技术方案只能适用于上述的运行数据中。
在本实施方式中,由于物联网设备中组件比较繁杂,因此记录的运行数据的数据类型也会各式各样。例如,吸尘器的各项运行数据,可以划分为电池类型、除尘类型、故障类型、设备重置类型、电机功率类型等。在物联网设备中,从不同的组件处获取的运行数据,可以具备不同的数据类型。例如,从电池组件处获取的运行数据,可以对应电池类型;从灰尘传感器处获取的运行数据,可以对应除尘类型。这样,通过识别各项运行数据的来源,便可以确定各项运行数据所属的数据类型。
S13:为所述运行数据添加与所述数据类型相匹配的类型标识,并将携带所述类型标识的所述运行数据上传至物联网服务器,以使得所述物联网服务器按照所述类型标识,将所述运行数据写入消息队列中;其中,所述消息队列按照所述类型标识,将所述运行数据推送至数据存储服务器中对应的目标服务,以通过所述目标服务将所述运行数据写入数据库中。
在本实施方式中,不同的数据类型,可以预先设置不同的类型标识。在识别出运行数据所属的数据类型后,便可以为运行数据添加相匹配的类型标识。例如,对于电池类型的运行数据而言,可以添加数据标识<dc1m>,而对于除尘类型的运行数据而言,可以添加数据标识<dtc>。
在本实施方式中,携带有类型标识的运行数据可以被物联网设备上传至物联网服务器。其中,在物联网设备中,可以根据物联网设备的使用环境,安装不同的网络访问模组。例如,在需要经常移动的吸尘器、扫地机器人、清洗机中,可以安装Wi F i、蓝牙、Z i gBee、超宽带等无线通信模块。而在位置保持固定的智能电饭煲、智能冰箱中,除了可以安装上述的无线通信模块,还可以安装有线网卡。这样,物联网设备在获取到运行数据,并为运行数据添加对应的类型标识后,便可以通过网络访问模组,将携带类型标识的运行数据上传至物联网服务器。
在本实施方式中,物联网服务器在接收到携带类型标识的运行数据后,可以将该运行数据传递至消息队列服务器。在该消息队列服务器中,可以运行消息队列。该消息队列可以通过多种方式实现,例如,该消息队列可以是RocketMQ、MQTT、Kafka、AMQP、MNS等。在实际应用中,可以根据消息队列的应用场景灵活选用对应的实现方式。
在本实施方式中,消息队列服务器接收到携带类型标识的运行数据后,可以将运行数据按照各自的类型标识写入消息队列中。请参阅图3,在消息队列中,运行数据可以按照类型标识进行归类。每一类的运行数据,可以按照数据的上传时间进行排序。其中,该上传时间可以记录于运行数据的时间戳中,该时间戳可以是物联网设备向物联网服务器上传运行数据时注明的。当然,在其它的一些实施方式中,消息队列中每一类的运行数据,还可以按照写入消息队列的时间进行排序,本申请对此并不做限定。在消息队列每一类的运行数据中,越早被写入的数据可以排在队列的越前端,这样,消息队列可以遵循先进先出的原则,按照排序结果依次将运行数据提供给数据存储服务器。
在本实施方式中,数据存储服务器中可以运行多个不同的服务,每个服务可以具备各自的类型标识。这样,各个服务可以从消息队列中获取到与自身的类型标识相匹配的运行数据,而不是获取消息队列中的全部运行数据。举例来说,数据存储服务器中运行有用于分析除尘信息的服务,该服务具备的类型标识是<dtc>,那么该服务可以从消息队列中获取除尘类型的运行数据。又例如,数据存储服务器中运行有用于分析电池信息的服务,该服务具备的类型标识是<dc1m>,那么该服务可以从消息队列中获取电池类型的运行数据。
在本实施方式中,数据存储服务器中的各项服务,可以预先在消息队列服务器中注册各自的key和secret,其中,key可以作为服务的账户名,secret可以作为服务的密码。数据存储服务器中的服务,可以利用注册的账户名和密码,通过消息队列服务器的认证后,与消息队列建立长连接。后续,消息队列中的运行数据,可以通过建立的长连接推送给数据存储服务器中对应的服务。
具体地,针对数据存储服务器中的目标服务而言,当消息队列与该目标服务建立长连接后,可以通过建立长连接过程中获取到的协商数据,识别出该目标服务对应的目标类型标识。然后,消息队列可以按照一定的时间周期,查询消息队列中当前是否存在携带该目标类型标识的目标运行数据。如果存在,则可以将该目标运行数据通过建立的长连接提供给目标服务。后续,目标服务可以将该目标运行数据写入数据库中,从而完成目标运行数据的存储过程。
在一个实施方式中,消息队列在向数据存储服务器中的服务提供运行数据时,若数据存储服务器中的服务能够正常接收运行数据,那么在接收完运行数据后,数据存储服务器中的服务可以向消息队列反馈一个确认语句。当消息队列接收到该确认语句后,便判定当前的运行数据已经完成传输,从而可以将该运行数据从消息队列中删除,以避免重复传输。而如果在指定的时长内,消息队列无法从数据存储服务器的服务处接收到确认语句,则可以认为传输超时,数据存储服务器中的服务无法接收当前传输的运行数据。此时,消息队列可以取消本次的数据传输过程,并将当前传输的运行数据依然保留于消息队列中。后续,当下一个数据推送周期到来时,可以在该数据推送周期内继续尝试向数据存储服务器中的服务提供给运行数据,直至收到反馈的确认语句为止。
在实际应用中,物联网设备可能会被用户无意启停多次,从而导致每次启动的时长都比较短。在这些过程中,产生的数据并非是有效数据,如果将这部分数据上传至物联网服务器,会导致无效数据的产生。鉴于此,在一个实施方式中,物联网设备在被启动后,可以通过内置的计时器统计本次启动的时长,从而可以判断物联网设备本次运行的持续时长是否达到指定时长阈值,若达到该指定时长阈值,则表示本次运行是正常运行,产生的是有效数据,从而可以记录该物联网设备在本次运行过程中的运行数据。而如果物联网设备本次运行的持续时长还未达到该指定时长阈值就被关闭,则表示本次运行可能是误操作,从而可以不记录本次运行过程中产生的运行数据。
在一个具体的应用场景中,上述的物联网服务器、消息队列服务器、数据存储服务器以及数据库,都可以部署于云端。物联网设备通过网络访问组件,可以与云端的服务器进行数据通信,从而实现运行数据的上传。此外,上述的物联网服务器、消息队列服务器和数据存储服务器,可以是各自独立的服务器,也可以是部署于同一个或者多个服务器上的不同服务。例如,物联网服务器和消息队列服务器可以是部署于同一个云端服务器中的不同服务,也可以是保持独立的两个服务器。
在一个具体的场景示例中,以吸尘器为例,该吸尘器中可以安装Wi F i模块、存储器以及嵌入式操作系统。嵌入式操作系统通过访问吸尘器中的各个组件,可以获取到电池放电数据、除尘数据、故障数据、设备重置数据等各项运行数据。获取到的运行数据,可以存放于吸尘器本地的存储器中,还可以上传给云端的物联网服务器。以电池放电数据为例,当吸尘器开机时,嵌入式操作系统可以每分钟向电池组件查询电量数据,从而获取到电池当前的电量百分比。此外,嵌入式操作系统通过查询电量数据,还可以查询到电池的放电次数,该电池的放电次数就可以是吸尘器的开机次数。由于嵌入式操作系统在不同的时间节点可以获取不同的电池放电数据,因此查询电池放电数据时,还可以生成对应的时间戳,该时间戳可以表征采集电池放电数据时的时间节点。该时间节点可以通过嵌入式操作系统的系统时间来表示,还可以通过吸尘机开机的运行时间来表示。举例来说,当嵌入式操作系统在系统时间为15点03分时采集了电池放电数据,那么生成的时间戳便可以是15点03分(当然还可以附带上具体地日期)。又例如,嵌入式操作系统在吸尘器刚开机时便采集了电池放电数据,那么生成的时间戳可以是0,而如果是在开机后1分钟采集的电池放电数据,那么生成的时间戳便可以是1。这样,嵌入式操作系统在查询了电池组件后,可以生成对应的电池放电数据,在该电池放电数据中,可以包括设备使用次数字段、采集时间字段以及电池电量字段,其中,设备使用次数字段可以用于表征吸尘器的历史开机总次数,采集时间字段可以用于表征采集电池放电数据时的时间节点,电池电量字段可以用于表征电池放电数据被记录时电池的电量百分比。
在一个实际的示例中,嵌入式操作系统生成的电池放电数据可以表示为{"dctx":"12","dmx":"0","bp":"4"},其中,"dctx":"12"表示电池放电次数为12次,"dmx":"0"表示是在吸尘器刚开机时就采集了电池放电数据,"bp":"4"表示采集电池放电数据时的电量百分比为4%。在生成了该电池放电数据后,便可以为该电池放电数据添加类型标识<dc1m>,后续,吸尘器可以将携带该类型标识的电池放电数据通过WiFi模块上传给物联网服务器。
在另一个具体应用场景中,吸尘器还可以记录本次运行过程中产生的单次除尘量以及吸尘器的历史除尘量。具体地,当吸尘器在运行时,嵌入式操作系统可以通过访问灰尘传感器,从而获取到当前的除尘量。当吸尘器停止运行时,嵌入式操作系统便可以统计出本次运行过程中产生的单次除尘量。在历史除尘量的基础上,加上该单次除尘量,便可以得到本次运行之后吸尘器实际的历史除尘量。在吸尘器中可以设置存储器,该存储器可以是具备数据存储功能的组件。例如,该存储器可以是随机存取存储器(Random Access Memory,RAM),也可以是连接于吸尘器上的U盘、硬盘等。由于存储器的存储空间有限,在实际应用中,可以仅将每次运行后计算得到的历史除尘量存放于存储器中,而对于单次除尘量可以不进行存储。但是,每次运行之后,吸尘器的单次除尘量和历史除尘量,都需要上传至物联网服务器,从而最终通过数据库将单次除尘量和历史除尘量进行备份。这样,吸尘器在获取到单次除尘量和历史除尘量之后,可以为单次除尘量和历史除尘量添加类型标识<dtc>,并将添加了<dtc>的单次除尘量和历史除尘量上传至物联网服务器。
对于其它的物联网设备而言,上述的单次除尘量可以对应单次数据量,上述的历史除尘量则可以对应历史数据总量。这样,物联网设备上传的运行数据中可以包括物联网设备在本次运行过程中产生的单次数据量和物联网设备的历史数据总量,其中,物联网设备的历史数据总量可以被存储于物联网设备的存储器中。
在一个实施方式中,物联网设备上传的运行数据,可以通过指定位数的数值表示。例如,吸尘器上传的历史除尘量,可以通过32位的二进制数据来表示。但是,随着时间的不断积累,运行数据的数值可能比较大,指定位数的数值可能无法表示该较大的数值。此时,物联网设备可以将记录的运行数据拆分为多个子数值。例如,运行数据在转换为二进制后,需要40位才能表示。此时,可以将二进制数值拆分为8位和32位的两个子数值。为了后续能够正确拼接出完整的运行数据,物联网设备可以为各个子数值添加对应的数值编号,其中,数值编号可以按照子数值在完整的运行数据中所处的位置来设置。例如,可以从0开始依次为各个子数值设置数值编号,越靠前的子数值,对应的数值编号可以越小。后续,物联网设备可以将添加了数值编号的子数值作为运行数据上传至物联网服务器。该运行数据最终可以被数据存储服务器中的目标服务接收,当该目标服务向数据库中写入运行数据时,可以根据数值编号将各个子数值拼接为完整数值,从而可以将拼接得到的完整数值写入数据库中。
在一个实施方式中,本申请还提供一种物联网设备,请参阅图4,所述物联网设备可以包括以下组件。
数据记录单元,用于记录所述物联网设备在本次运行过程中的运行数据,并识别所述运行数据所属的数据类型;
类型标识添加单元,用于为所述运行数据添加与所述数据类型相匹配的类型标识;
数据上传单元,用于将携带所述类型标识的所述运行数据上传至物联网服务器,以使得所述物联网服务器按照所述类型标识,将所述运行数据写入消息队列中;其中,所述消息队列按照所述类型标识,将所述运行数据推送至数据存储服务器中对应的目标服务,以通过所述目标服务将所述运行数据写入数据库中。
请参阅图5,本申请还提供一种物联网设备,所述物联网设备包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,用于实现以下功能:
记录物联网设备在本次运行过程中的运行数据,并识别所述运行数据所属的数据类型;
为所述运行数据添加与所述数据类型相匹配的类型标识,并将携带所述类型标识的所述运行数据上传至物联网服务器,以使得所述物联网服务器按照所述类型标识,将所述运行数据写入消息队列中;
其中,所述消息队列按照所述类型标识,将所述运行数据推送至数据存储服务器中对应的目标服务,以通过所述目标服务将所述运行数据写入数据库中。
具体地,请参阅图6,上述的物联网设备可以是吸尘器、清洗机、扫地机器人之类的清洁设备。该清洁设备可以包括一个或多个处理器100和一个或多个存储计算机程序的存储器101和一个或多个传感器102。一个或多个传感器102用于采集清洁设备在行进过程中与自身有关的数据和与其周围环境有关的数据。此外,该清洁设备还可以包括音视频组件103、电源组件104等必要组件。一个或多个处理器100,用于执行存储器101中存储的计算机程序,该计算机程序被执行时,可以实现上述的数据存储方法。
在本实施方式中,物联网设备中的存储器可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方法的媒体加以存储。该存储器可以包括:利用电能方式存储信息的装置,如RAM、ROM等;利用磁能方式存储信息的装置,如硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置,如CD或DVD。当然,还有其他方式的存储器,例如量子存储器、石墨烯存储器等等。
在本实施方式中,所述处理器可以按任何适当的方式实现。例如,所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(App l i cat i on Spec if i c I ntegrated C i rcu it,AS I C)、可编程逻辑控制器和嵌入微控制器的形式等等。
请参阅图7,本申请还提供一种数据存储方法,所述方法可以包括以下多个步骤。
S21:接收物联网服务器发来的携带类型标识的运行数据,并按照所述类型标识将所述运行数据写入消息队列中;其中,所述运行数据由物联网设备记录,并由所述物联网设备上传至所述物联网服务器;
S23:识别数据存储服务器中目标服务对应的目标类型标识,并在所述消息队列中查询是否存在携带所述目标类型标识的目标运行数据;
S25:若存在,将所述目标运行数据提供给所述数据存储服务器中的所述目标服务,以通过所述目标服务将所述目标运行数据写入数据库中。
在一个具体应用场景中,消息队列服务器接收到物联网服务器发来的携带类型标识的运行数据后,可以将运行数据在消息队列中归类存放。数据存储服务器中的目标服务通过预设的认证方式通过该消息队列的认证后,可以与消息队列建立长连接,后续,消息队列可以按照目标服务具备的类型标识,通过建立的长连接向目标服务提供对应的目标运行数据。其中,预设的认证方式可以是上述的在消息队列服务器中注册账户名和密码的方式,当然,在实际应用中还可以包含更多的认证方式,本申请对此并不做限定。
在一个具体应用场景中,以吸尘器为例,吸尘器中可以安装两个存储器,这两个存储器中可以写入吸尘器的历史除尘量。在同一时刻,可以只有一个存储器中的历史除尘量可以被上传至物联网服务器,另一个存储器可以作为备份的服务器。然而,在实际应用中,某个存储器在工作时可能会出现故障,导致最新存储的历史除尘量无法被正常上传给物联网服务器,而是将上一次存储的历史除尘量上传给物联网服务器。这样,物联网服务器当前接收到的历史除尘量可能会小于或者等于上一次接收到的历史除尘量。在这种情况下,可以判定吸尘器中的一个存储器发生了故障,当前接收到的历史除尘量是不准确的,需要对其进行修正。具体地,物联网服务器除了接收到历史除尘量,还可以接收到吸尘器本次运行过程中的单次除尘量,由于单次除尘量不会存储于吸尘器的存储器中,而是直接上传给物联网服务器,因此单次除尘量的数值通常是准确的。鉴于此,可以根据当前接收到的单次除尘量和上一次接收到的历史除尘量,计算当前实际的历史除尘量。具体地,该当前实际的历史除尘量可以是当前接收到的单次除尘量和上一次接收到的历史除尘量之和。这样,在计算得到实际的历史除尘量后,可以利用该实际的历史除尘量替换当前接收到的历史除尘量,从而完成数据的校正,使得最终存入数据库的运行数据是准确的运行数据。
上述吸尘器的单次除尘量可以对应于其它物联网设备的单次数据量,而历史除尘量可以对应于其它物联网设备的历史数据总量。这样,若当前接收到的历史数据总量小于或者等于上一次接收到的历史数据总量,可以根据当前接收到的单次数据量和所述上一次接收到的历史数据总量,计算当前实际的历史数据总量,并利用所述实际的历史数据总量替换当前接收到的历史数据总量。
本申请还提供一种消息队列服务器,所述消息队列服务器包括:
数据写入单元,用于接收物联网服务器发来的携带类型标识的运行数据,并按照所述类型标识将所述运行数据写入消息队列中;其中,所述运行数据由物联网设备记录,并由所述物联网设备上传至所述物联网服务器;
数据查询单元,用于识别数据存储服务器中目标服务对应的目标类型标识,并在所述消息队列中查询是否存在携带所述目标类型标识的目标运行数据;
数据提供单元,用于若存在,将所述目标运行数据提供给所述数据存储服务器中的所述目标服务,以通过所述目标服务将所述目标运行数据写入数据库中。
本申请还提供一种消息队列服务器,所述消息队列服务器包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,用于实现以下功能:
接收物联网服务器发来的携带类型标识的运行数据,并按照所述类型标识将所述运行数据写入消息队列中;其中,所述运行数据由物联网设备记录,并由所述物联网设备上传至所述物联网服务器;
识别数据存储服务器中目标服务对应的目标类型标识,并在所述消息队列中查询是否存在携带所述目标类型标识的目标运行数据;
若存在,将所述目标运行数据提供给所述数据存储服务器中的所述目标服务,以通过所述目标服务将所述目标运行数据写入数据库中。
在一个实施方式中,物联网设备和用户的终端设备可以通过物联网服务器进行数据的传输和指令的传达。但由于当前的物联网设备与用户的终端设备之间通常是通过MQTT服务进行数据传递,而MQTT服务在传输数据时只会传输一次,因此如果收到网络波动的影响,很可能导致数据丢失。鉴于此,在本实施方式中,可以提供一种数据检测方法,用于检测数据传输过程中可能存在的数据丢失情况。具体地,请参阅图8,该数据检测方法可以包括以下多个步骤。
S31:模拟物联网设备向物联网服务器发送第一批量数据,并模拟终端设备向所述物联网服务器发送第二批量数据。
S33:读取所述物联网服务器从模拟的物联网设备处接收到的第三批量数据,并读取所述物联网服务器从模拟的终端设备处接收到的第四批量数据。
S35:对比所述第一批量数据和所述第三批量数据,并记录相比于所述第一批量数据,所述第三批量数据中丢失的数据;以及对比所述第二批量数据和所述第四批量数据,并记录相比于所述第二批量数据,所述第四批量数据中丢失的数据;其中,针对记录的所述丢失的数据,发出对应的报警信息。
在本实施方式中,为了测试当前系统架构的数据传输性能,可以通过jmeter等测试工具,模拟物联网设备和终端设备进行批量数据的发送。具体地,在模拟物联网设备时,可以向物联网服务器发送第一批量数据,该第一批量数据可能全部或者部分地被物联网服务器接收。此时,可以通过测试工具读取物联网服务器从模拟的物联网设备处接收到的第三批量数据,并可以对比第一批量数据和第三批量数据,从而可以发现第三批量数据中缺失的数据。这部分缺失的数据可以被记录,并可以生成对应的报警信息。通过查阅报警信息和记录的缺失数据,便可以分析出数据丢失的原因,从而可以改进现有的系统架构。
同理,在模拟终端设备时,可以向物联网服务器发送第二批量数据,该第二批量数据可能全部或者部分地被物联网服务器接收。此时,可以通过测试工具读取物联网服务器从模拟的终端设备处接收到的第四批量数据,并可以对比第二批量数据和第四批量数据,从而可以发现第四批量数据中缺失的数据。这部分缺失的数据可以被记录,并可以生成对应的报警信息。
在一个实施方式中,还可以检测物联网服务器与终端设备之间的数据指令的传输状态。当所述物联网服务器向所述终端设备发送数据指令时,可以记录从所述物联网服务器处发出的第一数据指令,并读取所述终端设备从所述物联网服务器处接收到的第二数据指令。然后,可以对比所述第一数据指令和所述第二数据指令,并记录相比于所述第一数据指令,所述第二数据指令中丢失的数据指令。针对记录的所述丢失的数据指令,同样可以发出对应的报警信息。这样,对于物联网设备、物联网服务器以及终端设备而言,无论哪一方出现数据丢失,均可以记录丢失的数据,并生成对应的报警信息,从而有助于改善现有的系统架构,以缓解数据丢失的情况。
在一个实施方式中,还可以对物联网服务器进行压力测试,以确定物联网服务器在应对批量数据的接收时能够承受的最大数据量。具体地,测试工具可以生成多个批次的数据量不同的批量检测数据,这些批量检测数据的数据量可以逐步提升。然后,可以按照数据量从小到大的顺序,依次向所述物联网服务器发送这些数据量不同的批量检测数据,并记录所述物联网服务器在接收这些批量检测数据时的数据丢失率。后续,可以将记录的所述数据丢失率与预设丢失率阈值进行对比,从而确定所述物联网服务器的最大承受数据量。具体地,可以在记录的所述数据丢失率阈值中,统计大于或者等于所述预设丢失率阈值的数据丢失率。其中,该预设丢失率阈值可以作为数据传输过程中能够容忍的最大丢失率,达到或者超过该预设丢失率阈值,则表示数据传输状态不太理想。该预设丢失率阈值,可以按照实际需求灵活设置。在统计得到大于或者等于所述预设丢失率阈值的数据丢失率后,可以识别统计的所述数据丢失率中最小的目标数据丢失率。然后,可以确定所述目标数据丢失率对应的批量检测数据,并将确定的所述批量检测数据的数据量作为所述物联网服务器的最大承受数据量。这样,确定出物联网服务器的最大承受数据量时,可以避免在同一批次向物联网服务器发送超过该最大承受数据量的数据,从而可以减少数据丢失的情况。
本申请还提供一种一种数据检测装置,所述装置包括:
批量数据发送单元,用于模拟物联网设备向物联网服务器发送第一批量数据,并模拟终端设备向所述物联网服务器发送第二批量数据;
数据读取单元,用于读取所述物联网服务器从模拟的物联网设备处接收到的第三批量数据,并读取所述物联网服务器从模拟的终端设备处接收到的第四批量数据;
数据对比单元,用于对比所述第一批量数据和所述第三批量数据,并记录相比于所述第一批量数据,所述第三批量数据中丢失的数据;以及对比所述第二批量数据和所述第四批量数据,并记录相比于所述第二批量数据,所述第四批量数据中丢失的数据;其中,针对记录的所述丢失的数据,发出对应的报警信息。
本申请还提供一种一种数据检测装置,所述数据检测装置包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,用于实现以下功能:
模拟物联网设备向物联网服务器发送第一批量数据,并模拟终端设备向所述物联网服务器发送第二批量数据;
读取所述物联网服务器从模拟的物联网设备处接收到的第三批量数据,并读取所述物联网服务器从模拟的终端设备处接收到的第四批量数据;
对比所述第一批量数据和所述第三批量数据,并记录相比于所述第一批量数据,所述第三批量数据中丢失的数据;以及对比所述第二批量数据和所述第四批量数据,并记录相比于所述第二批量数据,所述第四批量数据中丢失的数据;其中,针对记录的所述丢失的数据,发出对应的报警信息。
本说明书中的各个实施方式均采用递进的方式描述,各个实施方式之间相同相似的部分互相参见即可,每个实施方式重点说明的都是与其他实施方式的不同之处。
由上可见,本申请一个或者多个实施方式提供的技术方案,在物联网设备与数据存储服务器之间,可以设置物联网服务器和消息队列服务器。其中,物联网设备采集到运行数据后,可以根据运行数据的数据类型,为运行数据添加对应的类型标识。物联网设备可以将携带类型标识的运行数据上传至物联网服务器,然后物联网服务器可以按照类型标识将接收到的运行数据写入消息队列服务器的消息队列中。后续,消息队列可以按照类型标识,将运行数据推送给数据存储服务器中对应的目标服务,从而使得数据存储服务器中的不同服务,可以接收不同的运行数据。这样,消息队列可以为数据传输提供缓冲,并且可以有选择地向数据存储服务器提供运行数据,从而减小了数据存储服务器的负载,进而能够减少数据丢失的情况。
本领域内的技术人员应明白,本发明的实施方式可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(f l ash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(trans i tory med i a),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施方式而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (21)
1.一种数据存储方法,其特征在于,所述方法包括:
记录物联网设备在本次运行过程中的运行数据,并识别所述运行数据所属的数据类型;
为所述运行数据添加与所述数据类型相匹配的类型标识,并将携带所述类型标识的所述运行数据上传至物联网服务器,以使得所述物联网服务器按照所述类型标识,将所述运行数据写入消息队列中;
其中,所述消息队列按照所述类型标识,将所述运行数据推送至数据存储服务器中对应的目标服务,以通过所述目标服务将所述运行数据写入数据库中。
2.根据权利要求1所述的方法,其特征在于,记录物联网设备在本次运行过程中的运行数据包括:
判断物联网设备本次运行的持续时长是否达到指定时长阈值,若达到所述指定时长阈值,记录所述物联网设备在本次运行过程中的运行数据。
3.根据权利要求1所述的方法,其特征在于,所述运行数据中包括电池放电数据,所述电池放电数据中包括设备使用次数字段、采集时间字段以及电池电量字段,其中,所述设备使用次数字段用于表征所述物联网设备的历史开机总次数,所述采集时间字段用于表征采集所述电池放电数据时的时间节点,所述电池电量字段用于表征所述电池放电数据被记录时电池的电量百分比。
4.根据权利要求1所述的方法,其特征在于,所述运行数据中包括所述物联网设备在本次运行过程中产生的单次数据量和所述物联网设备的历史数据总量,其中,所述物联网设备的历史数据总量被存储于所述物联网设备的存储器中。
5.根据权利要求1所述的方法,其特征在于,若所述运行数据无法利用指定位数的数值表示,所述方法还包括:
将记录的所述运行数据拆分为多个子数值,并为各个所述子数值添加对应的数值编号,并将添加了数值编号的子数值作为运行数据上传至所述物联网服务器;
其中,当所述目标服务将所述运行数据写入数据库中时,根据所述数值编号将各个所述子数值拼接为完整数值,并将所述完整数值写入所述数据库中。
6.根据权利要求1所述的方法,其特征在于,所述运行数据包括电池电量、电机功率、单次运行过程中的除尘量、累计的历史除尘总量、单次运行时长、累计的历史运行总时长、故障次数、故障类型、设备重置次数、设备开关机次数中的至少一种。
7.一种物联网设备,其特征在于,所述物联网设备包括:
数据记录单元,用于记录所述物联网设备在本次运行过程中的运行数据,并识别所述运行数据所属的数据类型;
类型标识添加单元,用于为所述运行数据添加与所述数据类型相匹配的类型标识;
数据上传单元,用于将携带所述类型标识的所述运行数据上传至物联网服务器,以使得所述物联网服务器按照所述类型标识,将所述运行数据写入消息队列中;其中,所述消息队列按照所述类型标识,将所述运行数据推送至数据存储服务器中对应的目标服务,以通过所述目标服务将所述运行数据写入数据库中。
8.一种物联网设备,其特征在于,所述物联网设备包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,用于实现以下功能:
记录物联网设备在本次运行过程中的运行数据,并识别所述运行数据所属的数据类型;
为所述运行数据添加与所述数据类型相匹配的类型标识,并将携带所述类型标识的所述运行数据上传至物联网服务器,以使得所述物联网服务器按照所述类型标识,将所述运行数据写入消息队列中;
其中,所述消息队列按照所述类型标识,将所述运行数据推送至数据存储服务器中对应的目标服务,以通过所述目标服务将所述运行数据写入数据库中。
9.一种数据存储方法,其特征在于,所述方法包括:
接收物联网服务器发来的携带类型标识的运行数据,并按照所述类型标识将所述运行数据写入消息队列中;其中,所述运行数据由物联网设备记录,并由所述物联网设备上传至所述物联网服务器;
识别数据存储服务器中目标服务对应的目标类型标识,并在所述消息队列中查询是否存在携带所述目标类型标识的目标运行数据;
若存在,将所述目标运行数据提供给所述数据存储服务器中的所述目标服务,以通过所述目标服务将所述目标运行数据写入数据库中。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
若所述目标服务无法接收所述目标运行数据,将所述目标运行数据保留在所述消息队列中,并在下一个数据推送周期内再次将所述目标运行数据提供给所述目标服务;
若所述目标运行数据被所述目标服务接收,将所述目标运行数据从所述消息队列中删除。
11.根据权利要求9所述的方法,其特征在于,所述消息队列中存放的运行数据按照类型标识进行归类;其中,每一类的运行数据按照上传时间进行排序,并且同一类的运行数据中,按照排序结果依次被提供给所述数据存储服务器。
12.根据权利要求9所述的方法,其特征在于,所述目标服务通过预设的认证方式通过所述消息队列的认证后,与所述消息队列建立长连接,以通过所述长连接接收所述消息队列提供的所述目标运行数据。
13.根据权利要求9所述的方法,其特征在于,所述运行数据中包括所述物联网设备在本次运行过程中产生的单次数据量和所述物联网设备的历史数据总量;所述方法还包括:
若当前接收到的历史数据总量小于或者等于上一次接收到的历史数据总量,根据当前接收到的单次数据量和所述上一次接收到的历史数据总量,计算当前实际的历史数据总量,并利用所述实际的历史数据总量替换当前接收到的历史数据总量。
14.一种消息队列服务器,其特征在于,所述消息队列服务器包括:
数据写入单元,用于接收物联网服务器发来的携带类型标识的运行数据,并按照所述类型标识将所述运行数据写入消息队列中;其中,所述运行数据由物联网设备记录,并由所述物联网设备上传至所述物联网服务器;
数据查询单元,用于识别数据存储服务器中目标服务对应的目标类型标识,并在所述消息队列中查询是否存在携带所述目标类型标识的目标运行数据;
数据提供单元,用于若存在,将所述目标运行数据提供给所述数据存储服务器中的所述目标服务,以通过所述目标服务将所述目标运行数据写入数据库中。
15.一种消息队列服务器,其特征在于,所述消息队列服务器包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,用于实现以下功能:
接收物联网服务器发来的携带类型标识的运行数据,并按照所述类型标识将所述运行数据写入消息队列中;其中,所述运行数据由物联网设备记录,并由所述物联网设备上传至所述物联网服务器;
识别数据存储服务器中目标服务对应的目标类型标识,并在所述消息队列中查询是否存在携带所述目标类型标识的目标运行数据;
若存在,将所述目标运行数据提供给所述数据存储服务器中的所述目标服务,以通过所述目标服务将所述目标运行数据写入数据库中。
16.一种数据检测方法,其特征在于,所述方法包括:
模拟物联网设备向物联网服务器发送第一批量数据,并模拟终端设备向所述物联网服务器发送第二批量数据;
读取所述物联网服务器从模拟的物联网设备处接收到的第三批量数据,并读取所述物联网服务器从模拟的终端设备处接收到的第四批量数据;
对比所述第一批量数据和所述第三批量数据,并记录相比于所述第一批量数据,所述第三批量数据中丢失的数据;以及对比所述第二批量数据和所述第四批量数据,并记录相比于所述第二批量数据,所述第四批量数据中丢失的数据;其中,针对记录的所述丢失的数据,发出对应的报警信息。
17.根据权利要求16所述的方法,其特征在于,所述方法还包括:
当所述物联网服务器向所述终端设备发送数据指令时,记录从所述物联网服务器处发出的第一数据指令,并读取所述终端设备从所述物联网服务器处接收到的第二数据指令;
对比所述第一数据指令和所述第二数据指令,并记录相比于所述第一数据指令,所述第二数据指令中丢失的数据指令,并针对记录的所述丢失的数据指令,发出对应的报警信息。
18.根据权利要求16所述的方法,其特征在于,所述方法还包括:
依次向所述物联网服务器发送数据量不同的批量检测数据,并记录所述物联网服务器在接收所述批量检测数据时的数据丢失率;
将记录的所述数据丢失率与预设丢失率阈值进行对比,以确定所述物联网服务器的最大承受数据量。
19.根据权利要求18所述的方法,其特征在于,确定所述物联网服务器的最大承受数据量包括:
在记录的所述数据丢失率阈值中,统计大于或者等于所述预设丢失率阈值的数据丢失率,并识别统计的所述数据丢失率中最小的目标数据丢失率;
确定所述目标数据丢失率对应的批量检测数据,并将确定的所述批量检测数据的数据量作为所述物联网服务器的最大承受数据量。
20.一种数据检测装置,其特征在于,所述装置包括:
批量数据发送单元,用于模拟物联网设备向物联网服务器发送第一批量数据,并模拟终端设备向所述物联网服务器发送第二批量数据;
数据读取单元,用于读取所述物联网服务器从模拟的物联网设备处接收到的第三批量数据,并读取所述物联网服务器从模拟的终端设备处接收到的第四批量数据;
数据对比单元,用于对比所述第一批量数据和所述第三批量数据,并记录相比于所述第一批量数据,所述第三批量数据中丢失的数据;以及对比所述第二批量数据和所述第四批量数据,并记录相比于所述第二批量数据,所述第四批量数据中丢失的数据;其中,针对记录的所述丢失的数据,发出对应的报警信息。
21.一种数据检测装置,其特征在于,所述数据检测装置包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,用于实现以下功能:
模拟物联网设备向物联网服务器发送第一批量数据,并模拟终端设备向所述物联网服务器发送第二批量数据;
读取所述物联网服务器从模拟的物联网设备处接收到的第三批量数据,并读取所述物联网服务器从模拟的终端设备处接收到的第四批量数据;
对比所述第一批量数据和所述第三批量数据,并记录相比于所述第一批量数据,所述第三批量数据中丢失的数据;以及对比所述第二批量数据和所述第四批量数据,并记录相比于所述第二批量数据,所述第四批量数据中丢失的数据;其中,针对记录的所述丢失的数据,发出对应的报警信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911268198.0A CN111371832A (zh) | 2019-12-11 | 2019-12-11 | 一种数据存储、检测方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911268198.0A CN111371832A (zh) | 2019-12-11 | 2019-12-11 | 一种数据存储、检测方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111371832A true CN111371832A (zh) | 2020-07-03 |
Family
ID=71209972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911268198.0A Pending CN111371832A (zh) | 2019-12-11 | 2019-12-11 | 一种数据存储、检测方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111371832A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111880955A (zh) * | 2020-08-04 | 2020-11-03 | 北京立通智联科技有限公司 | 对物联网设备的消息处理方法、装置、终端及介质 |
CN112000019A (zh) * | 2020-07-24 | 2020-11-27 | 青岛海尔空调器有限总公司 | 用于共享设备指令控制的方法、装置及设备 |
CN112129337A (zh) * | 2020-09-15 | 2020-12-25 | 山东华科信息技术有限公司 | 基于物联网的批量检测传感器的检测系统 |
CN112804714A (zh) * | 2021-01-11 | 2021-05-14 | 浙江航芯科技有限公司 | 双模系统之间的数据通信方法 |
CN112801136A (zh) * | 2020-12-31 | 2021-05-14 | 广州技象科技有限公司 | 带有特征标识的物联网网关数据处理方法及装置 |
CN113297339A (zh) * | 2021-07-27 | 2021-08-24 | 阿里云计算有限公司 | 数据存储的方法、设备、存储介质及产品 |
CN114168210A (zh) * | 2021-12-13 | 2022-03-11 | 中信科移动通信技术股份有限公司 | 一种嵌入式设备部署方法及系统 |
CN114265328A (zh) * | 2021-12-24 | 2022-04-01 | 珠海格力电器股份有限公司 | 智能家居设备的控制方法及装置 |
CN114531483A (zh) * | 2020-11-09 | 2022-05-24 | 阿波罗智联(北京)科技有限公司 | 数据处理方法、装置及服务器 |
CN115481166A (zh) * | 2022-08-08 | 2022-12-16 | 北京永信至诚科技股份有限公司 | 一种数据存储方法、装置、电子设备及计算机存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103024014A (zh) * | 2012-12-03 | 2013-04-03 | 北京京东世纪贸易有限公司 | 通过消息队列的海量数据分发处理的方法和系统 |
CN108965484A (zh) * | 2018-09-30 | 2018-12-07 | 深圳市酷达通讯有限公司 | 一种物联网数据的传输方法、系统及终端 |
CN109995803A (zh) * | 2017-12-29 | 2019-07-09 | 中移物联网有限公司 | 一种搭载智能终端的汽车、服务器、Web系统及控制方法 |
CN110138843A (zh) * | 2019-04-23 | 2019-08-16 | 迈赫机器人自动化股份有限公司 | 一种农机制造物联网监控方法及系统 |
CN110300050A (zh) * | 2019-05-23 | 2019-10-01 | 中国平安人寿保险股份有限公司 | 消息推送方法、装置、计算机设备及存储介质 |
CN110445856A (zh) * | 2019-07-31 | 2019-11-12 | 南京联迪信息系统股份有限公司 | 一种支持多协议接入的物联网通讯组件管控系统及方法 |
-
2019
- 2019-12-11 CN CN201911268198.0A patent/CN111371832A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103024014A (zh) * | 2012-12-03 | 2013-04-03 | 北京京东世纪贸易有限公司 | 通过消息队列的海量数据分发处理的方法和系统 |
CN109995803A (zh) * | 2017-12-29 | 2019-07-09 | 中移物联网有限公司 | 一种搭载智能终端的汽车、服务器、Web系统及控制方法 |
CN108965484A (zh) * | 2018-09-30 | 2018-12-07 | 深圳市酷达通讯有限公司 | 一种物联网数据的传输方法、系统及终端 |
CN110138843A (zh) * | 2019-04-23 | 2019-08-16 | 迈赫机器人自动化股份有限公司 | 一种农机制造物联网监控方法及系统 |
CN110300050A (zh) * | 2019-05-23 | 2019-10-01 | 中国平安人寿保险股份有限公司 | 消息推送方法、装置、计算机设备及存储介质 |
CN110445856A (zh) * | 2019-07-31 | 2019-11-12 | 南京联迪信息系统股份有限公司 | 一种支持多协议接入的物联网通讯组件管控系统及方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112000019A (zh) * | 2020-07-24 | 2020-11-27 | 青岛海尔空调器有限总公司 | 用于共享设备指令控制的方法、装置及设备 |
CN112000019B (zh) * | 2020-07-24 | 2024-04-26 | 青岛海尔空调器有限总公司 | 用于共享设备指令控制的方法、装置及设备 |
WO2022017052A1 (zh) * | 2020-07-24 | 2022-01-27 | 青岛海尔空调器有限总公司 | 用于共享设备指令控制的方法、装置及设备 |
CN111880955A (zh) * | 2020-08-04 | 2020-11-03 | 北京立通智联科技有限公司 | 对物联网设备的消息处理方法、装置、终端及介质 |
CN112129337A (zh) * | 2020-09-15 | 2020-12-25 | 山东华科信息技术有限公司 | 基于物联网的批量检测传感器的检测系统 |
CN114531483A (zh) * | 2020-11-09 | 2022-05-24 | 阿波罗智联(北京)科技有限公司 | 数据处理方法、装置及服务器 |
CN112801136A (zh) * | 2020-12-31 | 2021-05-14 | 广州技象科技有限公司 | 带有特征标识的物联网网关数据处理方法及装置 |
CN112801136B (zh) * | 2020-12-31 | 2024-04-26 | 广州技象科技有限公司 | 带有特征标识的物联网网关数据处理方法及装置 |
CN112804714A (zh) * | 2021-01-11 | 2021-05-14 | 浙江航芯科技有限公司 | 双模系统之间的数据通信方法 |
CN113297339B (zh) * | 2021-07-27 | 2022-02-11 | 阿里云计算有限公司 | 数据存储的方法、设备、存储介质及产品 |
CN113297339A (zh) * | 2021-07-27 | 2021-08-24 | 阿里云计算有限公司 | 数据存储的方法、设备、存储介质及产品 |
CN114168210A (zh) * | 2021-12-13 | 2022-03-11 | 中信科移动通信技术股份有限公司 | 一种嵌入式设备部署方法及系统 |
CN114265328A (zh) * | 2021-12-24 | 2022-04-01 | 珠海格力电器股份有限公司 | 智能家居设备的控制方法及装置 |
CN115481166A (zh) * | 2022-08-08 | 2022-12-16 | 北京永信至诚科技股份有限公司 | 一种数据存储方法、装置、电子设备及计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111371832A (zh) | 一种数据存储、检测方法及设备 | |
US10147048B2 (en) | Storage device lifetime monitoring system and storage device lifetime monitoring method thereof | |
JP2019511054A (ja) | 分散クラスタ型訓練方法及び装置 | |
CN102947829B (zh) | 数据处理装置以及数据处理方法 | |
CN105589795A (zh) | 基于预测模型的磁盘故障预测方法及装置 | |
JP4573179B2 (ja) | 性能負荷異常検出システム、性能負荷異常検出方法、及びプログラム | |
US20180113500A1 (en) | Systems and methods for monitoring battery life | |
CN112395156A (zh) | 故障的告警方法和装置、存储介质和电子设备 | |
WO2017219834A1 (zh) | 监控方法、装置及看门狗系统 | |
CN107491458B (zh) | 一种存储时间序列数据的方法和装置以及系统 | |
US11930292B2 (en) | Device state monitoring method and apparatus | |
US9497339B2 (en) | Information processing system, information processing method and recording medium storing an information processing program | |
US9916220B2 (en) | Smart logging of trace data for storage systems | |
CN109861843B (zh) | 日志文件的完整采集确认方法、装置及设备 | |
CN110704257A (zh) | 固态硬盘及其质量监测方法、装置和计算机可读存储介质 | |
CN112331249B (zh) | 预测存储器件寿命的方法、装置、终端设备和存储介质 | |
EP4354297A1 (en) | Data integrity processing method and apparatus, and electronic device | |
CN107239378B (zh) | 一种超时监测方法及系统 | |
CN112073518B (zh) | 云存储系统、云存储系统管理方法及中心管理节点 | |
CN114118440A (zh) | 模型迭代方法、装置、电子设备和计算机可读存储介质 | |
CN110896545B (zh) | 在线计费漫游故障定位方法及相关装置、存储介质 | |
CN109388217B (zh) | 确定硬盘未上电时长的方法、装置及系统 | |
CN114691443A (zh) | 一种截面数据发送方法、装置、电子设备及存储介质 | |
CN109426589B (zh) | 一种文件修复方法及装置 | |
CN110019233B (zh) | 数据存储方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |