CN110688391A - 海量物联网终端查询系统、云端数据库和边侧控制机 - Google Patents

海量物联网终端查询系统、云端数据库和边侧控制机 Download PDF

Info

Publication number
CN110688391A
CN110688391A CN201910875969.6A CN201910875969A CN110688391A CN 110688391 A CN110688391 A CN 110688391A CN 201910875969 A CN201910875969 A CN 201910875969A CN 110688391 A CN110688391 A CN 110688391A
Authority
CN
China
Prior art keywords
terminal
attribute information
database
side controller
hard disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910875969.6A
Other languages
English (en)
Inventor
张彦君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unihub China Information Technology Co Ltd
Zhongying Youchuang Information Technology Co Ltd
Original Assignee
Unihub China Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unihub China Information Technology Co Ltd filed Critical Unihub China Information Technology Co Ltd
Priority to CN201910875969.6A priority Critical patent/CN110688391A/zh
Publication of CN110688391A publication Critical patent/CN110688391A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种海量物联网终端查询系统、云端数据库和边侧控制机,其中该系统包括:多个终端,其分为多组;多个边侧控制机,每一边侧控制机接入一组终端;云端数据库,接入多个边侧控制机;包括内存数据库和硬盘数据库;终端用于:上报属性信息;边侧控制机用于:将终端的属性信息上报至云端数据库;云端数据库用于:将终端的常用属性信息存入内存数据库;将终端的全量属性信息存入硬盘数据库;在接收到对终端属性信息的查询请求后,先反馈内存数据库中终端的属性信息。将常用的属性信息保存在内存数据库,将全量属性信息保存在硬盘数据库,减少了硬盘数据库的读写压力;使用两层数据库架构,使得数据分布更加合理,使得查询效率大幅提高。

Description

海量物联网终端查询系统、云端数据库和边侧控制机
技术领域
本发明涉及物联网技术领域,尤其涉及一种海量物联网终端查询系统、云端数据库和边侧控制机。
背景技术
物联网终端管理不同于其他的终端管理,一般系统管理的终端数量大约在100-10000台(个)以内,但是对于智慧小区/智慧楼宇等物联网典型应用场景来说,通常一栋建筑物内就有上千个终端,例如:烟感器,水表,电表,水浸检测仪,摄像头等等。利用原有的管理方式,无法快速检索和管理,使得利用原有的基于oracle数据库或者mysql数据库等单一数据库架构的终端管理系统在查询上耗费大量的时间,系统效率低下。
发明内容
本发明实施例提供一种海量物联网终端查询系统,用以高效、准确存储千万级终端状态等属性信息,以便于对物联网终端属性信息进行快速的检索,该系统包括:
多个终端,所述多个终端分为多组;
多个边侧控制机,每一边侧控制机接入一组终端;
云端数据库,接入所述多个边侧控制机;所述云端数据库包括内存数据库和硬盘数据库;
终端用于:上报属性信息;
边侧控制机用于:将终端的属性信息上报至云端数据库;
云端数据库用于:将终端的常用属性信息存入内存数据库;将终端的全量属性信息存入硬盘数据库;在接收到对终端属性信息的查询请求后,先反馈内存数据库中终端的属性信息。
本发明实施例还提供一种云端数据库,用以高效、准确存储千万级终端状态等属性信息,以便于对物联网终端属性信息进行快速的检索,所述云端数据库接入多个边侧控制机;所述云端数据库包括内存数据库和硬盘数据库;所述多个边侧控制机中每一边侧控制机接入一组终端;每组终端包括多个终端;
云端数据库包括:
接收模块,用于接收边侧控制机上报的终端的属性信息;
存储模块,用于将终端的常用属性信息存入内存数据库;将终端的全量属性信息存入硬盘数据库;
查询模块,用于在接收到对终端属性信息的查询请求后,先反馈内存数据库中终端的属性信息。
本发明实施例还提供一种边侧控制机,用以高效、准确地接收并上传千万级终端状态等属性信息,以便于对物联网终端属性信息进行快速的检索,多个所述边侧控制机的每一边侧控制机将一组终端接入云端数据库;每组终端包括多个终端;所述云端数据库包括内存数据库和硬盘数据库;
边侧控制机包括:
接收模块,用于接收终端上报的终端的属性信息;
上报模块,用于将终端的属性信息上报至云端数据库。
本发明实施例的海量物联网终端查询系统将终端进行分组,利用边侧控制机对分组后的终端进行控制并向云端数据库上报终端属性信息,云端数据库将常用的属性信息保存在内存数据库中,将全量属性信息保存在硬盘数据库中,减少了硬盘数据库的读写压力,减少查询耗时;使用两层数据库的架构,使得数据分布更加合理,从而使得查询效率大幅提高。
本发明实施例的云端数据库利用接收模块接收边侧控制机上报的终端的属性信息;利用存储模块将终端的常用属性信息存入内存数据库;将终端的全量属性信息存入硬盘数据库;利用查询模块在接收到对终端属性信息的查询请求后,先反馈内存数据库中终端的属性信息,实现了数据的分区存储,减少了硬盘数据库的读写压力,数据分布更加合理,减少了信息查询耗时。
本发明实施例的边侧控制机,每一边侧控制机将一组终端接入云端数据库,利用接收模块接收终端上报的终端的属性信息;利用上报模块将终端的属性信息上报至云端数据库,实现了终端与云端数据库之间的信息交互;一个边侧控制机可同时控制并上传多个同一分组的终端的属性信息,提高了信息管理及上传的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中海量物联网终端查询系统示意图。
图2A为本发明实施例中边侧控制机20的结构框图示意图。
图2B为本发明具体实施例中边侧控制机20的结构框图示意图。
图3为本发明实施例中云端数据库30的结构框图示意图。
图4为本发明具体实施例中利用海量物联网终端查询系统进行海量物联网终端查询的示意图。
图5为本发明具体实施例中利用海量物联网终端查询系统进行海量物联网终端查询的步骤S5的具体实现过程示意图。
附图标号说明:
10 终端
20 边侧控制机
30 云端数据库
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有的终端管理系统在查询终端属性信息上耗费大量的时间,系统效率低下的问题,本发明实施例提供了一种海量物联网终端查询系统,用以高效、准确存储千万级终端状态等属性信息,以便于对物联网终端属性信息进行快速的检索,如图1所示,该系统包括:
多个终端10,所述多个终端分为多组;
多个边侧控制机20,每一边侧控制机接入一组终端;
云端数据库30,接入所述多个边侧控制机;所述云端数据库包括内存数据库和硬盘数据库;
终端10用于:上报属性信息;
边侧控制机20用于:将终端的属性信息上报至云端数据库;
云端数据库30用于:将终端的常用属性信息存入内存数据库;将终端的全量属性信息存入硬盘数据库;在接收到对终端属性信息的查询请求后,先反馈内存数据库中终端的属性信息。
由图1所示的结构可以看出,本发明实施例的海量物联网终端查询系统将终端进行分组,利用边侧控制机对分组后的终端进行控制并向云端数据库上报终端属性信息,云端数据库将常用的属性信息保存在内存数据库中,将全量属性信息保存在硬盘数据库中,减少了硬盘数据库的读写压力,减少查询耗时;使用两层数据库的架构,使得数据分布更加合理,从而使得查询效率大幅提高。
具体实施时,终端的属性信息例如可以是物联网终端的所有相关信息,例如包括:产品序列号(Serial Number,SN)、媒体访问控制地址(Media Access Control Address,MAC)、设备厂商、国际移动设备识别码(International Mobile Equipment Identity,IMEI)、终端状态、终端最后一次上/下线时间、终端最后一次告警时间、行业类型、心跳周期、安装位置、归属客户等,本领域技术人员可以理解,上述终端的属性信息包含内容仅为举例,此处不再赘述。上述终端的常用属性信息例如可以为终端的属性信息中实时变动的动态信息,例如包括:终端状态、终端最后一次上/下线时间、终端最后一次告警时间等;上述反馈内存数据库中终端的属性信息例如包括:将查询信息反馈给用户,根据用户发出的查询请求进行相应反馈,用户可以利用海量物联网终端查询系统中的任一终端10进行查询,也可以利用其他不属于该海量物联网终端查询系统的终端进行查询;若该用户是管理员,还可利用边侧控制机20或云端服务器30直接进行查询。因此,反馈的发送对象在此不做限定,本领域技术人员可以理解,上述反馈的发送对象仅为举例,此处不再赘述。
为了标识每个终端10以及边侧控制机20,以便于记录对应终端的属性信息,边侧控制机20还用于:将所接入终端的标识及边侧控制机的标识上报至云端数据库;云端数据库30还用于:记录终端的标识及边侧控制机的标识;根据终端的标识及边侧控制机的标识反馈终端的属性信息。具体实施时,例如可以是,将终端的标识及边侧控制机的标识存入云端数据库中的硬盘数据库中,与终端的全量属性信息相对应;将终端的标识存入云端数据库中的内存数据库中,与终端的常用属性信息相对应。进行终端属性信息查询时,接收查询请求,该查询请求中包含有待查询终端的标识以及对应的边侧控制机的标识;根据上述标识,在内存数据库中查找该标识以及此标识对应的待查询的终端的常用属性信息。例如,图1中所示的ID1-1、ID1-2、ID1-3……IDn-2、IDn-3等为终端10的标识,边侧控制机1、……、边侧控制机n为边侧控制机20的标识,本领域技术人员可以理解,上述标识仅为举例,此处不再赘述。
由于物联网终端的行为特点,致使终端状态变更频繁,终端属性信息也会实时发生变化,现有的终端管理系统对终端状态等属性信息更新不及时,从而导致后续的判断逻辑无法及时执行,严重者甚至会造成损失。因此需要实时更新云端数据库30中的存储数据。因此,边侧控制机20还用于:监控终端状态;在终端状态发生变更时,将终端状态变更消息上报至云端数据库;上述终端状态变更消息包括终端变更后的属性信息;云端数据库30还用于:根据终端状态变更消息,更新所存储的终端的属性信息。具体实施时,例如,云端数据库30接收边侧控制机20上传的终端状态变更消息,根据上传该消息的边侧控制机的标识以及终端标识,将云端数据库30中对应的终端属性信息按照终端变更后的属性信息进行更新。
具体更新过程例如包括:
在接收到终端状态变更消息后,先更新内存数据库中终端的属性信息;
在预设时刻以批量任务方式更新硬盘数据库中终端的属性信息。
具体实施时,终端状态例如可以包括:下线状态与上线状态,其中上线状态例如包括:在线、离线、疑似离线等。为了节约存储空间,云端数据库30例如还用于:在终端状态变更至下线状态后,删除内存数据库中除终端标识和终端状态以外的终端的属性信息。上述以批量任务方式更新硬盘数据库中终端的属性信息是预设一个时间段,例如1min,每隔一个该预设时间段,将硬盘数据库中的所有终端的属性信息进行批量更新,以减少数据处理量,减少硬盘的读写压力。
上述海量物联网终端查询系统在接收到对终端属性信息的查询请求后,先反馈内存数据库中终端的属性信息,用户能够得到查询的终端的常用属性信息,但有的用户希望能够查询到该终端的全量属性信息。因此,云端数据库30例如还用于:
在反馈内存数据库中终端的属性信息后,接收对终端全量属性信息的查询请求;
将硬盘数据库中终端的属性信息与内存数据库中终端的相应属性信息进行比较;
在二者一致时,反馈硬盘数据库中终端的属性信息;
在二者不一致时,反馈内存数据库中终端的属性信息和剩余在硬盘数据库中终端的属性信息,将内存数据库中终端的属性信息同步至硬盘数据库。
为了更好地理解上述过程,举例说明,硬盘数据库以批量方式进行存储,每隔预定时间段进行更新,与实时更新存在时间差,可能会造成更新不及时,从而使得硬盘数据库中的终端属性信息与内存数据库中的终端属性信息不一致的情况,因此需要进行数据比较,保证反馈的终端的全量属性信息的准确性。本领域技术人员可以理解,上述造成二者不一致的原因仅为举例,不用于限定本发明。
本发明实施例还提供了一种边侧控制机20,用以高效、准确地接收并上传千万级终端状态等属性信息,以便于对物联网终端属性信息进行快速的检索,多个边侧控制机的每一边侧控制机将一组终端接入云端数据库;每组终端包括多个终端;上述云端数据库包括内存数据库和硬盘数据库;
上述边侧控制机20的结构框图,如图2A所示,包括:
接收模块201,用于接收终端上报的终端的属性信息;
上报模块202,用于将终端的属性信息上报至云端数据库。
本发明实施例的边侧控制机,每一边侧控制机将一组终端接入云端数据库,利用接收模块接收终端上报的终端的属性信息;利用上报模块将终端的属性信息上报至云端数据库,实现了终端与云端数据库之间的信息交互;一个边侧控制机可同时控制并上传多个同一分组的终端的属性信息,提高了信息管理及上传的效率。
具体实施例中,为了标识每个终端10以及边侧控制机20,以便于记录对应终端的属性信息,接收模块201还用于:接收所接入终端的标识;上报模块202还用于:将所接入终端的标识及边侧控制机的标识上报至云端数据库30。
由于物联网终端的行为特点,致使终端状态变更频繁,终端属性信息也会实时发生变化,现有的终端管理系统对终端状态等属性信息更新不及时,从而导致后续的判断逻辑无法及时执行,严重者甚至会造成损失。因此,边侧控制机20的结构框图如图2B所示,在图2A的基础上还包括:监控模块203,用于监控终端状态;上报模块202还用于:在监控模块203监控到终端状态发生变更时,将终端状态变更消息上报至云端数据库30;上述终端状态变更消息包括终端变更后的属性信息。
本发明实施例还提供了一种云端数据库30,用以高效、准确存储千万级终端状态等属性信息,以便于对物联网终端属性信息进行快速的检索,该云端数据库30接入多个边侧控制机20;云端数据库30包括内存数据库和硬盘数据库;上述多个边侧控制机中每一边侧控制机接入一组终端;每组终端包括多个终端;
上述云端数据库30的结构框图,如图3所示,包括:
接收模块301,用于接收边侧控制机上报的终端的属性信息;
存储模块302,用于将终端的常用属性信息存入内存数据库;将终端的全量属性信息存入硬盘数据库;
查询模块303,用于在接收到对终端属性信息的查询请求后,先反馈内存数据库中终端的属性信息。
本发明实施例的云端数据库利用接收模块接收边侧控制机上报的终端的属性信息;利用存储模块将终端的常用属性信息存入内存数据库;将终端的全量属性信息存入硬盘数据库;利用查询模块在接收到对终端属性信息的查询请求后,先反馈内存数据库中终端的属性信息,实现了数据的分区存储,减少了硬盘数据库的读写压力,数据分布更加合理,减少了信息查询耗时。
具体实施例中,为了标识每个终端10以及边侧控制机20,以便于记录对应终端的属性信息,例如可以是,接收模块301还用于:接收边侧控制机20上报的终端的标识及边侧控制机的标识;存储模块302还用于:记录终端的标识及边侧控制机的标识;查询模块303具体用于:根据终端的标识及边侧控制机的标识反馈终端的属性信息。
由于物联网终端的行为特点,致使终端状态变更频繁,终端属性信息也会实时发生变化,现有的终端管理系统对终端状态等属性信息更新不及时,从而导致后续的判断逻辑无法及时执行,严重者甚至会造成损失,因此需要实时更新云端数据库30中的存储数据。因此,例如可以是,接收模块301还用于:接收边侧控制机在终端状态发生变更时上报的终端状态变更信息;上述终端状态变更消息包括终端变更后的属性信息;存储模块302还用于:根据终端状态变更消息,更新所存储的终端的属性信息。存储模块303具体用于:在接收模块301接收到终端状态变更消息后,先更新内存数据库中终端的属性信息;在预设时刻以批量任务方式更新硬盘数据库中终端的属性信息。
为了节约存储空间,存储模块303例如具体用于:在终端状态变更至下线状态后,删除内存数据库中除终端标识和终端状态以外的终端的属性信息。
有的用户希望能够查询到终端的全量属性信息。因此,例如可以是,接收模块301还用于:在查询模块303反馈内存数据库中终端的属性信息后,接收对终端全量属性信息的查询请求;查询模块303还用于:
将硬盘数据库中终端的属性信息与内存数据库中终端的相应属性信息进行比较;
在二者一致时,反馈硬盘数据库中终端的属性信息;
在二者不一致时,反馈内存数据库中终端的属性信息和剩余在硬盘数据库中终端的属性信息,将内存数据库中终端的属性信息同步至硬盘数据库。
下面给出一具体实例说明本发明实施例中的海量物联网终端查询系统如何进行海量物联网终端查询。本例应用于物联网终端入网查询,内存数据库采用redis数据库,硬盘数据库采用TiDB数据库,如图4所示,具体步骤如下:
步骤S1:对终端10进行分组,分配对应的边侧控制机20;
步骤S2:所有边侧控制机20将分组后的终端标识(DEVID)和边侧控制机标识(PROBEID)上报云端数据库30中的硬盘数据库(TiDB)记录;
步骤S3:边侧控制机20向云端数据库30上报终端的全量属性信息;
步骤S4:云端数据库30将终端的常用属性信息进行过滤,根据配置文件过滤字段存储,存入内存数据库(redis);同时将终端的全量属性信息存入TiDB数据库;
步骤S5:边侧控制机20实时监控终端10的状态,如果终端状态发生变更(终端的状态分为:在线,离线,疑似离线,下线四种),则执行步骤S5(a):云端数据库30接收到边侧控制机20发送的终端状态变更消息,则实时更新redis数据库中的终端状态以及终端变更后的属性信息,更新完成就可以向前端返回更新成功的响应消息,以便于后续操作,对于TiDB数据库的更新则可以利用批量任务的方式执行;如果终端状态变更至下线状态(从上线状态转变到下线状态),则执行步骤S5(b):更新redis数据库中终端状态,仅保留DEVID和终端状态,删除其他所有属性信息,以便节约存储空间,更新完成就可以向前端返回更新成功的响应消息,以便于后续操作,对于TiDB数据库的更新则可以利用批量任务的方式执行;
如果终端状态不发生变更,则继续执行步骤S6;
步骤S6:当需要查询终端的相关信息时,云端数据库30首先在redis数据库中进行查询,将终端的常用属性信息进行反馈,如果用户点击更多详细信息,跳转步骤S7;
步骤S7:在TiDB数据库中根据DEVID进行精确查询,确定终端的全量属性信息,并且与redis数据库中已经存在的字段数据进行对比判断,如果一致,跳转步骤S7(a):直接返回TiDB数据库中的终端的全量属性信息;如果不一致,跳转步骤S7(b):返回redis数据库中的字段信息和剩余在TiDB数据库中终端属性信息的其他字段,并且将redis数据库中的终端的属性信息及时同步到TiDB数据库中。
步骤S5具体实施时,步骤流程图如图5所示,包括:
步骤501:判断终端状态是否转变;
步骤501的判断结果为否,执行步骤502;判断结果为是,执行步骤503:
步骤502:执行步骤S6;
步骤503:判断终端状态是否为从上线状态转变为下线状态;
步骤503的判断结果为是,执行步骤504;步骤503的判断结果为否,执行步骤505;
步骤504:更新redis数据库中的终端的属性信息,删除redis数据库中除终端标识和终端状态以外的终端的属性信息;批量更新TiDB数据库;
步骤505:判断终端状态是否为从下线状态转变为上线状态;
步骤505的判断结果为是,执行步骤506;步骤505的判断结果为否,执行步骤507;
步骤506:将该终端的标识以及常用属性信息存入redis数据库中;批量更新TiDB数据库;
步骤507:更新redis数据库以及批量更新TiDB数据库中的终端属性信息。
具体过程为,执行步骤501:判断结果为否,执行步骤502;判断结果为是,执行步骤503:步骤503的判断结果为是,执行步骤504;步骤503的判断结果为否,执行步骤505,步骤505的判断结果为是,执行步骤506;步骤505的判断结果为否,执行步骤507。
综上所述,本发明提出的海量物联网终端查询系统具有如下优点:
将终端进行分组,利用边侧控制机对分组后的终端进行控制并向云端数据库上报终端属性信息,云端数据库将常用的属性信息保存在内存数据库中,将全量属性信息保存在硬盘数据库中,减少了硬盘数据库的读写压力,减少查询耗时;通过实时更新物联网终端的终端状态及其他终端属性信息,避免了因信息更新不及时造成的后续判断逻辑无法及时执行,造成损失的情况;使用两层数据库的架构,使得数据分布更加合理,从而使得数据查询和更新效率大幅提高;两层数据库的架构也使得千万级终端的海量数据并发时,数据处理的效率更高,可以实现高并发的属性信息更新;为了避免数据错误,采用异步同步机制,将实时数据存入内存数据库,对比内存数据库与硬盘数据库中的信息,将内存数据库中的数据更新至硬盘数据库中,保证实时数据可以快速同步到硬盘数据库,降低数据丢失和不同步的风险,提高属性信息反馈的准确度。
本发明提出的云端数据库具有以下优点:
利用接收模块接收边侧控制机上报的终端的属性信息;利用存储模块将终端的常用属性信息存入内存数据库;将终端的全量属性信息存入硬盘数据库;利用查询模块在接收到对终端属性信息的查询请求后,先反馈内存数据库中终端的属性信息,实现了数据的分区存储,减少了硬盘数据库的读写压力,数据分布更加合理,减少了信息查询耗时,也提高了信息更新的效率,可以实现高并发的属性信息更新;为了避免数据错误,采用异步同步机制,将实时数据存入内存数据库,对比内存数据库与硬盘数据库中的信息,将内存数据库中的数据更新至硬盘数据库中,保证实时数据可以快速同步到硬盘数据库,降低数据丢失和不同步的风险,提高属性信息反馈的准确度。
本发明提出的边侧控制机具有以下优点:
每一边侧控制机将一组终端接入云端数据库,利用接收模块接收终端上报的终端的属性信息;利用上报模块将终端的属性信息上报至云端数据库,实现了终端与云端数据库之间的信息交互;一个边侧控制机可同时控制并上传多个同一分组的终端的属性信息,提高了信息管理及上传的效率,可以实现高并发的属性信息更新;利用监控模块实时监控终端状态,上报模块在监控模块监控到终端状态发生变更时,将终端状态变更消息上报至云端数据库;所述终端状态变更消息包括终端变更后的属性信息,实现了终端属性信息的监控与实时更新。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (13)

1.一种海量物联网终端查询系统,其特征在于,包括:
多个终端,所述多个终端分为多组;
多个边侧控制机,每一边侧控制机接入一组终端;
云端数据库,接入所述多个边侧控制机;所述云端数据库包括内存数据库和硬盘数据库;
终端用于:上报属性信息;
边侧控制机用于:将终端的属性信息上报至云端数据库;
云端数据库用于:将终端的常用属性信息存入内存数据库;将终端的全量属性信息存入硬盘数据库;在接收到对终端属性信息的查询请求后,先反馈内存数据库中终端的属性信息。
2.如权利要求1所述的系统,其特征在于,边侧控制机还用于:
将所接入终端的标识及边侧控制机的标识上报至云端数据库;
云端数据库还用于:记录终端的标识及边侧控制机的标识;根据终端的标识及边侧控制机的标识反馈终端的属性信息。
3.如权利要求1或2所述的系统,其特征在于,边侧控制机还用于:
监控终端状态;
在终端状态发生变更时,将终端状态变更消息上报至云端数据库;所述终端状态变更消息包括终端变更后的属性信息;
云端数据库还用于:根据终端状态变更消息,更新所存储的终端的属性信息。
4.如权利要求3所述的系统,其特征在于,云端数据库具体用于:
在接收到终端状态变更消息后,先更新内存数据库中终端的属性信息;
在预设时刻以批量任务方式更新硬盘数据库中终端的属性信息。
5.如权利要求4所述的系统,其特征在于,云端数据库还用于:
在反馈内存数据库中终端的属性信息后,接收对终端全量属性信息的查询请求;
将硬盘数据库中终端的属性信息与内存数据库中终端的相应属性信息进行比较;
在二者一致时,反馈硬盘数据库中终端的属性信息;
在二者不一致时,反馈内存数据库中终端的属性信息和剩余在硬盘数据库中终端的属性信息,将内存数据库中终端的属性信息同步至硬盘数据库。
6.一种云端数据库,其特征在于:
所述云端数据库接入多个边侧控制机;所述云端数据库包括内存数据库和硬盘数据库;所述多个边侧控制机中每一边侧控制机接入一组终端;每组终端包括多个终端;
云端数据库包括:
接收模块,用于接收边侧控制机上报的终端的属性信息;
存储模块,用于将终端的常用属性信息存入内存数据库;将终端的全量属性信息存入硬盘数据库;
查询模块,用于在接收到对终端属性信息的查询请求后,先反馈内存数据库中终端的属性信息。
7.如权利要求6所述的云端数据库,其特征在于,所述接收模块还用于:接收边侧控制机上报的终端的标识及边侧控制机的标识;
所述存储模块还用于:记录终端的标识及边侧控制机的标识;
所述查询模块具体用于:根据终端的标识及边侧控制机的标识反馈终端的属性信息。
8.如权利要求6或7所述的云端数据库,其特征在于,所述接收模块还用于:
接收边侧控制机在终端状态发生变更时上报的终端状态变更信息;所述终端状态变更消息包括终端变更后的属性信息;
所述存储模块还用于:根据终端状态变更消息,更新所存储的终端的属性信息。
9.如权利要求8所述的云端数据库,其特征在于,所述存储模块具体用于:
在所述接收模块接收到终端状态变更消息后,先更新内存数据库中终端的属性信息;
在预设时刻以批量任务方式更新硬盘数据库中终端的属性信息。
10.如权利要求9所述的云端数据库,其特征在于,所述接收模块还用于:
在所述查询模块反馈内存数据库中终端的属性信息后,接收对终端全量属性信息的查询请求;
所述查询模块还用于:
将硬盘数据库中终端的属性信息与内存数据库中终端的相应属性信息进行比较;
在二者一致时,反馈硬盘数据库中终端的属性信息;
在二者不一致时,反馈内存数据库中终端的属性信息和剩余在硬盘数据库中终端的属性信息,将内存数据库中终端的属性信息同步至硬盘数据库。
11.一种边侧控制机,其特征在于:
多个所述边侧控制机的每一边侧控制机将一组终端接入云端数据库;每组终端包括多个终端;所述云端数据库包括内存数据库和硬盘数据库;
边侧控制机包括:
接收模块,用于接收终端上报的终端的属性信息;
上报模块,用于将终端的属性信息上报至云端数据库。
12.如权利要求11所述的边侧控制机,其特征在于,所述接收模块还用于:
接收所接入终端的标识;
所述上报模块还用于:将所接入终端的标识及边侧控制机的标识上报至云端数据库。
13.如权利要求11或12所述的边侧控制机,其特征在于,还包括:
监控模块,用于监控终端状态;
所述上报模块还用于:在所述监控模块监控到终端状态发生变更时,将终端状态变更消息上报至云端数据库;所述终端状态变更消息包括终端变更后的属性信息。
CN201910875969.6A 2019-09-17 2019-09-17 海量物联网终端查询系统、云端数据库和边侧控制机 Pending CN110688391A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910875969.6A CN110688391A (zh) 2019-09-17 2019-09-17 海量物联网终端查询系统、云端数据库和边侧控制机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910875969.6A CN110688391A (zh) 2019-09-17 2019-09-17 海量物联网终端查询系统、云端数据库和边侧控制机

Publications (1)

Publication Number Publication Date
CN110688391A true CN110688391A (zh) 2020-01-14

Family

ID=69109528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910875969.6A Pending CN110688391A (zh) 2019-09-17 2019-09-17 海量物联网终端查询系统、云端数据库和边侧控制机

Country Status (1)

Country Link
CN (1) CN110688391A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112600924A (zh) * 2020-12-15 2021-04-02 四川长虹电器股份有限公司 IoT终端数据存储系统、方法、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103825967A (zh) * 2014-03-21 2014-05-28 京兴智联(北京)水利物联网技术有限公司 物联网的数据传输系统
CN106227899A (zh) * 2016-08-31 2016-12-14 北京京航计算通讯研究所 一种面向物联网大数据的存储和查询方法
US20190197108A1 (en) * 2016-05-05 2019-06-27 Korea Electronics Technology Institute Method for managing semantic information on m2m/iot platform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103825967A (zh) * 2014-03-21 2014-05-28 京兴智联(北京)水利物联网技术有限公司 物联网的数据传输系统
US20190197108A1 (en) * 2016-05-05 2019-06-27 Korea Electronics Technology Institute Method for managing semantic information on m2m/iot platform
CN106227899A (zh) * 2016-08-31 2016-12-14 北京京航计算通讯研究所 一种面向物联网大数据的存储和查询方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112600924A (zh) * 2020-12-15 2021-04-02 四川长虹电器股份有限公司 IoT终端数据存储系统、方法、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN111913909B (zh) 一种分布式存储系统中的重新分片方法及系统
US9679021B2 (en) Parallel transactional-statistics collection for improving operation of a DBMS optimizer module
US9281992B2 (en) Method and system for identifying storage device
CN111539633A (zh) 一种业务数据质量的稽核方法、系统、装置和存储介质
CN104978324B (zh) 一种数据处理方法和装置
CN109271435A (zh) 一种支持断点续传的数据抽取方法及系统
JP2020057416A (ja) 分散データベースにおけるデータブロックを処理する方法およびデバイス
US11507277B2 (en) Key value store using progress verification
CN111708755A (zh) 数据迁移方法、装置、系统、电子设备以及可读存储介质
US20190362016A1 (en) Frequent pattern analysis for distributed systems
CN107016115B (zh) 数据导出方法、装置、计算机可读存储介质及电子设备
CN110413631B (zh) 一种数据查询方法及装置
CN111061758A (zh) 数据存储方法、装置及存储介质
CN111913925A (zh) 一种分布式存储系统中的数据处理方法及系统
CN106780157B (zh) 基于Ceph的电网多时态模型存储与管理系统及方法
CN114968739A (zh) 运维任务管理方法、运维方法、装置、设备和介质
CN110688391A (zh) 海量物联网终端查询系统、云端数据库和边侧控制机
WO2023197904A1 (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN112256488A (zh) 云端数据的获取方法和装置、云端服务的数据存储架构
CN106294721B (zh) 一种集群数据统计及导出方法及装置
WO2016100737A1 (en) Method and system to search logs that contain a massive number of entries
CN106570193B (zh) 一种时序大数据的加载方法
CN115098525A (zh) 索引更新方法、装置、电子设备及存储介质
CN111190949B (zh) 数据存储及处理方法、装置、设备、介质
CN113760875A (zh) 一种数据处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200114