CN111064634B - 海量物联网终端在线状态的监测方法及装置 - Google Patents
海量物联网终端在线状态的监测方法及装置 Download PDFInfo
- Publication number
- CN111064634B CN111064634B CN201911241481.4A CN201911241481A CN111064634B CN 111064634 B CN111064634 B CN 111064634B CN 201911241481 A CN201911241481 A CN 201911241481A CN 111064634 B CN111064634 B CN 111064634B
- Authority
- CN
- China
- Prior art keywords
- internet
- data
- online
- things terminal
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种海量物联网终端在线状态的监测方法及装置,该方法包括:接收业务网关上传的radius数据,实时写入到消息队列;对消息队列中的radius数据进行解析,得到包含一个或多个物联网终端上线或下线状态的第一网络状态数据;将第一网络状态数据,写入到物联网终端实时在线数据库;对话单数据进行解析,得到含一个或多个物联网终端上线、下线或更新状态的第二网络状态数据;根据第二网络状态数据,更新物联网终端实时在线数据库,其中,物联网终端实时在线数据库用于监测处于在线状态的各个物联网终端。本发明提供了一种物联网终端实时在线数据库,能够实时监测海量物联网终端的在线状态。
Description
技术领域
本发明涉及物联网领域,尤其涉及一种海量物联网终端在线状态的监测方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着物联网技术发展,出现了越来越多的物联网终端,这些物联网终端通常部署于机房、野外、地下室等各种位置,具有部署广泛、终端量大、数据上报等特点。与用户终端不同,运营商或企业无法实时感知物联网终端的在线状态,当发生批量故障的时候很难定位出故障原因、故障位置,以及故障影响范围。
目前,现有的物联网感知系统,是通过事后分析DPI(Deep Packet Inspection,深度报文解析)数据或话单数据,定时统计(按日或小时统计)企业、区域的活跃用户数、流量等信息,来对物联网终端的在线状态进行感知。由于这种数据统计方式,统计周期较长,导致对企业以及省、地市、区县的基站在线终端信息进行实时查询。
针对上述问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供一种海量物联网终端在线状态的监测方法,用以解决现有技术通过定期分析DPI数据或话单数据,来监测物联网终端的在线状态,无法实时监测物联网终端在线状态的技术问题,该方法包括:接收业务网关上传的radius数据,实时写入到Kafka消息队列;对Kafka消息队列中的radius数据进行解析,得到包含一个或多个物联网终端上线或下线状态的第一网络状态数据;将第一网络状态数据,写入到物联网终端实时在线数据库;对话单数据进行解析,得到含一个或多个物联网终端上线、下线或更新状态的第二网络状态数据;根据第二网络状态数据,更新物联网终端实时在线数据库,其中,物联网终端实时在线数据库用于监测处于在线状态的各个物联网终端;
其中,根据所述第二网络状态数据,更新所述物联网终端实时在线数据库,包括:判断所述第二网络状态数据中包含的各个物联网终端的上线或下线状态数据是否已写入所述物联网终端实时在线数据库;将未写入所述物联网终端实时在线数据库的各个物联网终端的上线或下线状态数据,写入到所述物联网终端实时在线数据库,并根据所述第二网络状态数据中包含的各个物联网终端的更新状态数据,更新已写入所述物联网终端实时在线数据库的各个物联网终端的上线状态数据;
其中,在对所述消息队列中的radius数据进行解析,得到包含一个或多个物联网终端上线或下线状态的第一网络状态数据之后,所述方法还包括:将所述第一网络状态数据写入到缓存数据库,所述缓存数据库为Redis数据库;基于所述缓存数据库中存储的各个物联网终端的网络状态数据,更新所述物联网终端实时在线数据库。
本发明实施例还提供一种海量物联网终端在线状态的监测装置,用以解决现有技术通过定期分析DPI数据或话单数据,来监测物联网终端的在线状态,无法实时监测物联网终端在线状态的技术问题,该装置包括:数据接收模块,用于接收业务网关上传的radius数据,实时写入到Kafka消息队列;第一数据解析模块,用于对Kafka消息队列中的radius数据进行解析,得到包含一个或多个物联网终端上线或下线状态的第一网络状态数据;数据存储模块,用于将第一网络状态数据,写入到物联网终端实时在线数据库;第二数据解析模块,用于对话单数据进行解析,得到含一个或多个物联网终端上线、下线或更新状态的第二网络状态数据;数据更新模块,用于根据第二网络状态数据,更新物联网终端实时在线数据库,其中,物联网终端实时在线数据库用于监测处于在线状态的各个物联网终端;
其中,所述数据更新模块还用于:判断所述第二网络状态数据中包含的各个物联网终端的上线或下线状态数据是否已写入所述物联网终端实时在线数据库;将未写入所述物联网终端实时在线数据库的各个物联网终端的上线或下线状态数据,写入到所述物联网终端实时在线数据库,并根据所述第二网络状态数据中包含的各个物联网终端的更新状态数据,更新已写入所述物联网终端实时在线数据库的各个物联网终端的上线状态数据;
所述装置还包括:数据缓存模块,用于将所述第一网络状态数据写入到缓存数据库,所述缓存数据库为Redis数据库;基于所述缓存数据库中存储的各个物联网终端的网络状态数据,更新所述物联网终端实时在线数据库。
本发明实施例还提供一种计算机设备,用以解决现有技术通过定期分析DPI数据或话单数据,来监测物联网终端的在线状态,无法实时监测物联网终端在线状态的技术问题,该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述海量物联网终端在线状态的监测方法。
本发明实施例还提供一种计算机可读存储介质,用以解决现有技术通过定期分析DPI数据或话单数据,来监测物联网终端的在线状态,无法实时监测物联网终端在线状态的技术问题,该计算机可读存储介质存储有执行上述海量物联网终端在线状态的监测方法的计算机程序。
本发明实施例中,在接收到业务网关上传的radius数据后,实时写入到消息队列,并采用并发处理的方式,对消息队列中的radius数据进行解析,得到包含一个或多个物联网终端上线或下线状态的第一网络状态数据,将解析得到的第一网络状态数据,写入到物联网终端实时在线数据库,进而通过对话单数据进行解析,得到包含一个或多个物联网终端上线、下线或更新状态的第二网络状态数据,根据第二网络状态数据,更新物联网终端实时在线数据库,以便基于物联网终端实时在线数据库查询处于在线状态的各个物联网终端。
通过本发明实施例,利用业务网关上传的终端上下线状态数据和话单数据,构建物联网终端实时在线数据库,能够实现海量物联网终端在线状态的实时监测,以便结合企业数据、基站数据与物联网终端实时在线数据库中的数据,实现企业、省、市、区县、基站处于在线状态的物联网终端进行实时查询或统计。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中提供的一种海量物联网终端在线状态的监测方法流程图;
图2为本发明实施例中提供的一种4G物联网终端的实时在线状态监测方案示意图;
图3为本发明实施例中提供的一种海量物联网终端在线状态的监测装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
在本说明书的描述中,所使用的“包含”、“包括”、“具有”、“含有”等,均为开放性的用语,即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施,其中的步骤顺序不作限定,可根据需要作适当调整。
本发明实施例中提供了一种海量物联网终端在线状态的监测方法,图1为本发明实施例中提供的一种海量物联网终端在线状态的监测方法流程图,如图1所示,该方法包括如下步骤:
S101,接收业务网关上传的radius数据,实时写入到消息队列。
需要说明的是,本发明实施例中物联网终端可以是任意一种接入网络(包括但不限于3G、4G、NB等网络)的终端(例如,部署于各个小区的快递柜);业务网关可以是但不限于PGW、HACCG等网关。
本发明实施例中radius是Remote Authentication Dial In User Service的简称,即远程用户拨号认证服务。当用户想要通过某个网络(例如,电话往)与业务网关建立连接从而获得访问其他网络的权限时,业务网关可以选择在本地认证计费,或把用户信息传递给radius服务器,由radius进行认证计费;radius服务器负责接收用户的连接请求,完成认证,将传递服务给用户所需的配置信息返回给业务网关。因而,业务网关上传的radius数据包含各个物联网终端上线或下线的网络状态数据。
为了实现物联网终端在线状态的实时感知,本发明实施例根据业务网关实时上传的radius数据来更新物联网终端实时在线数据库,由于业务网关上传的radius数据实时的,而对radius数据进行解析,并解析得到的物联网终端上线或下线状态数据写入到数据库需要一定的时间,采用消息队列的方式,接收业务网关上传的radius数据,不仅能够实现异步处理,将数据采集和数据处理分开,而且在将数据存储到消息队列后,可以采用并发处理的方式,对消息队列中的数据进行处理,大大提高了数据处理效率。作为一种可选的实施方式,上述S101中采用的消息队列可以是但不限于Kafka消息队列,具有吞吐量高等优点。
S102,对消息队列中的radius数据进行解析,得到包含一个或多个物联网终端上线或下线状态的第一网络状态数据。
需要说明的是,由于业务网关上传的radius数据中包含各个物联网终端的上线或下线数据,因而,通过对radius数据进行解析,能够确定各个物联网终端的网络状态是上线状态还是下线状态。可选地,radius数据中的数据字段包括但不限于:MDN(移动用户号码)、IMSI(国际移动用户识别码)、IMEI(国际移动设备识别码)、连接ID、APN(接入点名称)、事件时间、基站信息(例如,基站ID)等。
S103,将第一网络状态数据,写入到物联网终端实时在线数据库。
在通过上述S102通过解析radius数据得到各个物联网终端的网络状态数据后,写入物联网终端实时在线数据库。可选地,本发明实施例中物联网终端实时在线数据库可以是TIDB数据库。TIDB数据库是一种用于在线业务处理或分析的数据库,能够兼容My SQL数据库,数据迁移便捷,运维成本极低。通过TIDB数据库将物联网终端实时在线数据与企业CRM数据或省、地市、区县的基站数据结合,能够实现对企业维度和位置维度的物联网终端实时在线数据的查询或统计。例如,对某一企业对其部署在全国各个区域快递柜在线状态进行监测,并查询或统计处于在线状态的快递柜数量。
S104,对话单数据进行解析,得到含一个或多个物联网终端上线、下线或更新状态的第二网络状态数据。
需要注意的是,由于radius数据是基于UDP协议传输的数据,存在丢包情况,因而,在根据radius数据构建物联网终端实时在线数据库后,通过上述S104对话单数据进行解析,并根据解析得到的物联网终端上线或下线数据,对物联网终端实时在线数据库进行补充,能够提高物联网终端实时在线数据库的数据完整性和准确性。另外,由于话单数据中包含各个物联网终端的业务使用情况,因而,根据话单数据还可以对常在线的物联网终端的网络状态进行更新。
需要说明的是,上述S104中的话单数据也是由业务网关定时上传的,因而,在上述S104之前,本发明实施例提供的海量物联网终端在线状态的监测方法还可以包括:接收业务网关上传的话单数据。由于话单数据中也会记录各个物联网终端上线或下线数据,因而,通过上述S104对话单数据进行解析,根据解析得到的物联网终端上线或下线数据,对物联网终端实时在线数据库进行补充。
作为一种可选的实施方式,上述S104可以通过如下步骤来实现:判断话单数据中是否存在各个物联网终端的下线时刻记录;将存在下线时刻记录的各个物联网终端识别为下线状态;将不存在下线时刻记录,且上线时刻与业务使用时刻之间的时间间隔不超过预设时长的各个物联网终端识别为上线状态;将不存在下线时刻记录,且上线时刻与业务使用时刻之间的时间间隔超过预设时长的各个物联网终端识别为更新状态。
通过上述实施方式,根据业务网关上传的话单数据,确定各个物联网终端的网络状态数据,进而对物联网终端实时在线数据库中各个物联网终端的网络状态数据进行更新,能够使得物联网终端实时在线数据库中记录的数据更加全面和准确。
S105,根据第二网络状态数据,更新物联网终端实时在线数据库,其中,物联网终端实时在线数据库用于监测处于在线状态的各个物联网终端。
需要说明的是,为了防止数据重复被处理,浪费系统资源,在根据话单数据解析得到的第二网络状态数据,更新物联网终端实时在线数据库的时候,可以判断第二网络状态数据包含的各个物联网终端的网络状态数据是否已经被处理,如果已经被处理,则无需在对其进行数据库入库操作。
因而,在一种可选的实施方式中,上述S105可以包括如下步骤:判断第二网络状态数据中包含的各个物联网终端的上线或下线状态数据是否已写入物联网终端实时在线数据库;将未写入物联网终端实时在线数据库的各个物联网终端的上线或下线状态数据,写入到物联网终端实时在线数据库,并根据第二网络状态数据中包含的各个物联网终端的更新状态数据,更新已写入物联网终端实时在线数据库的各个物联网终端的上线状态数据。
需要注意的是,在判断第二网络状态数据中包含的各个物联网终端的网络状态数据是否已经被处理的时候,如果将第二网络状态数据与物联网终端实时在线数据库进行比对,则会导致对物联网终端实时在线数据库的频繁读写操作。为了降低对物联网终端实时在线数据库的频繁读写操作,本发明实施例提供的海量物联网终端在线状态的监测方法还可以包括如下步骤:将第一网络状态数据写入到缓存数据库;基于缓存数据库中存储的各个物联网终端的网络状态数据,更新物联网终端实时在线数据库。
可选地,本发明实施例中采用的缓存数据库可以是Redis数据库。Redis是一个高性能的key-value数据库,读写速度快,且支持多种数据类型,能够满足更多的应用场景。
进一步地,本发明实施例提供的海量物联网终端在线状态的监测方法还可以包括如下步骤:检测缓存数据库中各个物联网终端的网络状态数据是否超过预设时长;清除缓存数据库中超过预设时长的各个物联网终端的网络状态数据。本发明实施例通过将超过预设时长(例如,两小时)的数据清除,能够防止一些垃圾数据影响物联网终端实时在线数据库的准确率。
由上可知,本发明实施例提供的海量物联网终端在线状态的监测方法,在接收到业务网关上传的radius数据后,实时写入到消息队列,并采用并发处理的方式,对消息队列中的radius数据进行解析,得到包含一个或多个物联网终端上线或下线状态的第一网络状态数据,将解析得到的第一网络状态数据,写入到物联网终端实时在线数据库,进而通过对话单数据进行解析,得到包含一个或多个物联网终端上线、下线或更新状态的第二网络状态数据,根据第二网络状态数据,更新物联网终端实时在线数据库,以便基于物联网终端实时在线数据库查询处于在线状态的各个物联网终端。
通过本发明实施例提供的海量物联网终端在线状态的监测方法,利用业务网关上传的终端上下线状态数据和话单数据,构建物联网终端实时在线数据库,能够实现海量物联网终端在线状态的实时监测,以便结合企业数据、基站数据与物联网终端实时在线数据库中的数据,实现企业、省、市、区县、基站处于在线状态的物联网终端进行实时查询或统计。
下面,以4G网络的物联网终端为例来对本发明实施例进行详细说明。
图2为本发明实施例中提供的一种4G物联网终端的实时在线状态监测方案示意图,如图2所示,包括如下步骤:
S201,接收业务网关PGW发送的radius记录,实时写入到消息队列中。
S202,从消息队列取出radius记录,对其进行解析,得到物联网终端上线或下线记录,数据字段主要包含MDN、IMSI、IMEI、连接ID、APN、事件时间、基站信息等。
S203,对于某个物联网终端的上线记录,将MDN和连接ID作为主键,查询缓存数据库(缓存数据库中存储有已处理的物联网终端的上线或下线数据)中是否有下线记录,若存在下线记录,则不对该物联网终端的上线记录进行处理;反之,则将该物联网终端的上线记录写入到物联网终端实时在线数据库中,并在缓存数据库中设置该物联网终端的上线记录超时时长为2小时。在将物联网终端的上线记录写入到物联网终端实时在线数据库后,再基于缓存数据库中存储的数据,判断该物联网终端是否已下线,若下线则删除。
S204,解析话单记录,将话单记录分为为物联网终端上线、更新和下线记录。
具体地,当话单记录中终端上线时刻和业务使用时刻之间的时间间隔未超过预设时长(例如,2s)且下线时间为空的情况下,将该话单记录识别为话单上线记录;当业务使用时刻与终端上线时刻之间的时间间隔超过预设时长(例如,2s)且下线时间为空的情况下,将其该话单记录识别为话单更新记录;当终端存在下线时间记录的情况下,将该话单记录识别为话单下线记录。
S205,根据话单数据,对物联网终端实时在线数据库进行补充。
具体地,对于话单上线记录,根据MDN和连接ID在缓存数据库中,判断话单上线记录中的物联网终端的网络状态数据是否已经被处理,若缓存数据库不存在物联网终端的上线状态数据和下线状态数据,则将话单上线记录中包含的物联网终端的上线数据写入到物联网终端实时在线数据库;对于话单更新记录,根据MDN和连接ID在缓存数据库中,判断话单上线记录中的物联网终端的网络状态数据是否已经被处理,对于已处理过的话单记录,判断是否超时,若超时(例如,TTL小于15分钟),则对物联网终端实时在线数据库中相应物联网终端的网络状态进行更新;对于话单下线记录,根据MDN和连接ID在缓存数据库中,判断话单上线记录中的物联网终端的网络状态数据是否已经被处理,若已经被处理,则将物联网终端实时在线数据库中相应物联网终端的上线状态数据删除。
S206,清除物联网终端实时在线数据库中异常的数据,例如,更新时长超过预设时长(例如,2小时)的数据,防止垃圾数据影响物联网终端实时在线数据库的准确率。
S207,在物联网终端实时在线数据库(例如,TIDB数据库)中结合企业CRM数据、基站数据和终端实时在线数据关联,可实时查询或统计企业、省、地市、区县、基站的物联网终端实时在线数。
可见,本发明实施例采用消息队列、缓存和数据库三层接口,对数据进行分层处理,能够高效且准确地对海量物联网终端进行维护。接收PGW或HACCG业务网关发送的radius上下线数据解析后写入消息队列中,从消息队列中取出并在数据库写入或删除,且根据MDN和连接ID将数据记录到缓存数据库中。同时分析话单记录将解析话单并将话单记录提炼为上线、更新和下线记录,根据唯一值判断缓存库中是否已处理,若未处理作为补充数据。
基于同一发明构思,本发明实施例中还提供了一种海量物联网终端在线状态的监测装置,如下面的实施例所述。由于该装置实施例解决问题的原理与海量物联网终端在线状态的监测方法相似,因此该装置实施例的实施可以参见方法的实施,重复之处不再赘述。
图3为本发明实施例中提供的一种海量物联网终端在线状态的监测装置示意图,如图3所示,该装置包括:数据接收模块31、第一数据解析模块32、第二数据解析模块34和数据更新模块35。
其中,数据接收模块31,用于接收业务网关上传的radius数据,实时写入到消息队列;第一数据解析模块32,用于对消息队列中的radius数据进行解析,得到包含一个或多个物联网终端上线或下线状态的第一网络状态数据;数据存储模块33,用于将第一网络状态数据,写入到物联网终端实时在线数据库;第二数据解析模块34,用于对话单数据进行解析,得到含一个或多个物联网终端上线、下线或更新状态的第二网络状态数据;数据更新模块35,用于根据第二网络状态数据,更新物联网终端实时在线数据库,其中,物联网终端实时在线数据库用于监测处于在线状态的各个物联网终端。
由上可知,本发明实施例提供的海量物联网终端在线状态的监测装置,通过数据接收模块31接收业务网关上传的radius数据,并实时写入到消息队列;通过第一数据解析模块32采用并发处理的方式,对消息队列中的radius数据进行解析,得到包含一个或多个物联网终端上线或下线状态的第一网络状态数据;通过数据存储模块33将解析得到的第一网络状态数据,写入到物联网终端实时在线数据库,进而通过第二数据解析模块34对话单数据进行解析,得到包含一个或多个物联网终端上线、下线或更新状态的第二网络状态数据;通过数据更新模块35根据第二网络状态数据,更新物联网终端实时在线数据库,以便基于物联网终端实时在线数据库查询处于在线状态的各个物联网终端。
通过本发明实施例提供的海量物联网终端在线状态的监测装置,利用业务网关上传的终端上下线状态数据和话单数据,构建物联网终端实时在线数据库,能够实现海量物联网终端在线状态的实时监测,以便结合企业数据、基站数据与物联网终端实时在线数据库中的数据,实现企业、省、市、区县、基站处于在线状态的物联网终端进行实时查询或统计。
在一种可选的实施例中,本发明实施例提供的海量物联网终端在线状态的监测装置中,第二数据解析模块34还可以用于判断话单数据中是否存在各个物联网终端的下线时刻记录;将存在下线时刻记录的各个物联网终端识别为下线状态;将不存在下线时刻记录,且上线时刻与业务使用时刻之间的时间间隔不超过预设时长的各个物联网终端识别为上线状态;将不存在下线时刻记录,且上线时刻与业务使用时刻之间的时间间隔超过预设时长的各个物联网终端识别为更新状态。
在一种可选的实施例中,本发明实施例提供的海量物联网终端在线状态的监测装置中,数据更新模块35还可以用于判断第二网络状态数据中包含的各个物联网终端的上线或下线状态数据是否已写入物联网终端实时在线数据库;将未写入物联网终端实时在线数据库的各个物联网终端的上线或下线状态数据,写入到物联网终端实时在线数据库,并根据第二网络状态数据中包含的各个物联网终端的更新状态数据,更新已写入物联网终端实时在线数据库的各个物联网终端的上线状态数据。
在一种可选的实施例中,本发明实施例提供的海量物联网终端在线状态的监测装置中,数据接收模块31还可以用于接收业务网关上传的话单数据。
在一种可选的实施例中,本发明实施例提供的海量物联网终端在线状态的监测装置还包括:数据缓存模块36,用于将第一网络状态数据写入到缓存数据库;基于缓存数据库中存储的各个物联网终端的网络状态数据,更新物联网终端实时在线数据库。
进一步地,数据缓存模块36还可以用于检测缓存数据库中各个物联网终端的网络状态数据是否超过预设时长;清除缓存数据库中超过预设时长的各个物联网终端的网络状态数据。
可选地,本发明实施例中的缓存数据库可以是Redis数据库。
本发明实施例还提供了一种计算机设备,用以解决现有技术通过定期分析DPI数据或话单数据,来监测物联网终端的在线状态,无法实时监测物联网终端在线状态的技术问题,该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述海量物联网终端在线状态的监测方法。
本发明实施例还提供了一种计算机可读存储介质,用以解决现有技术通过定期分析DPI数据或话单数据,来监测物联网终端的在线状态,无法实时监测物联网终端在线状态的技术问题,该计算机可读存储介质存储有执行上述海量物联网终端在线状态的监测方法的计算机程序。
综上所述,本发明实施例提供了一种海量物联网终端在线状态的监测方法的、装置、计算机设备及计算机可读存储介质,利用业务网关发送的终端上下线数据和话单数据构建物联网终端实时在线库,实现了终端在线状态的秒级实时感知,维护的终端接入量级能够达到在千万以上。基于本发明实施例提供的物联网终端实时在线库,可实时查询单终端信息,在关联企业数据、基站数据的情况下,可以实时查询或统计企业、省、地市、区县、基站的物联网终端实时在线数。
本发明实施例适用于对海量物联网终端频繁写入、更新、删除的场景,使用缓存库防止对后端数据压力过大;基于话单信息解析得到的物联网终端上线、更新或下线记录对物联网终端实时在线数据库进行补充纠正,能够避免因radius数据存在丢包情况而导致物联网终端实时在线数据库中数据的不完整性;基于消息队列和异步处理机制,将顺序数据打散为无序数据进行并发处理,结合缓存能够实现对无序数据的判断入库。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种海量物联网终端在线状态的监测方法,其特征在于,包括:
接收业务网关上传的radius数据,实时写入到Kafka消息队列;
对所述Kafka消息队列中的radius数据进行解析,得到包含一个或多个物联网终端上线或下线状态的第一网络状态数据;
将所述第一网络状态数据,写入到物联网终端实时在线数据库;
对话单数据进行解析,得到含一个或多个物联网终端上线、下线或更新状态的第二网络状态数据;
根据所述第二网络状态数据,更新所述物联网终端实时在线数据库,其中,所述物联网终端实时在线数据库用于监测处于在线状态的各个物联网终端;
其中,根据所述第二网络状态数据,更新所述物联网终端实时在线数据库,包括:判断所述第二网络状态数据中包含的各个物联网终端的上线或下线状态数据是否已写入所述物联网终端实时在线数据库;将未写入所述物联网终端实时在线数据库的各个物联网终端的上线或下线状态数据,写入到所述物联网终端实时在线数据库,并根据所述第二网络状态数据中包含的各个物联网终端的更新状态数据,更新已写入所述物联网终端实时在线数据库的各个物联网终端的上线状态数据;
其中,在对所述消息队列中的radius数据进行解析,得到包含一个或多个物联网终端上线或下线状态的第一网络状态数据之后,所述方法还包括:将所述第一网络状态数据写入到缓存数据库,所述缓存数据库为Redis数据库;基于所述缓存数据库中存储的各个物联网终端的网络状态数据,更新所述物联网终端实时在线数据库。
2.如权利要求1所述的方法,其特征在于,对话单数据进行解析,得到含一个或多个物联网终端上线、下线或更新状态的第二网络状态数据,包括:
判断所述话单数据中是否存在各个物联网终端的下线时刻记录;
将存在下线时刻记录的各个物联网终端识别为下线状态;
将不存在下线时刻记录,且上线时刻与业务使用时刻之间的时间间隔不超过预设时长的各个物联网终端识别为上线状态;
将不存在下线时刻记录,且上线时刻与业务使用时刻之间的时间间隔超过预设时长的各个物联网终端识别为更新状态。
3.如权利要求1或2所述的方法,其特征在于,在对话单数据进行解析,得到含一个或多个物联网终端上线、下线或更新状态的第二网络状态数据之前,所述方法还包括:
接收业务网关上传的话单数据。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
检测所述缓存数据库中各个物联网终端的网络状态数据是否超过预设时长;
清除所述缓存数据库中超过预设时长的各个物联网终端的网络状态数据。
5.一种海量物联网终端在线状态的监测装置,其特征在于,包括:
数据接收模块,用于接收业务网关上传的radius数据,实时写入到Kafka消息队列;
第一数据解析模块,用于对所述Kafka消息队列中的radius数据进行解析,得到包含一个或多个物联网终端上线或下线状态的第一网络状态数据;
数据存储模块,用于将所述第一网络状态数据,写入到物联网终端实时在线数据库;
第二数据解析模块,用于对话单数据进行解析,得到含一个或多个物联网终端上线、下线或更新状态的第二网络状态数据;
数据更新模块,用于根据所述第二网络状态数据,更新所述物联网终端实时在线数据库,其中,所述物联网终端实时在线数据库用于监测处于在线状态的各个物联网终端;
其中,所述数据更新模块还用于:判断所述第二网络状态数据中包含的各个物联网终端的上线或下线状态数据是否已写入所述物联网终端实时在线数据库;将未写入所述物联网终端实时在线数据库的各个物联网终端的上线或下线状态数据,写入到所述物联网终端实时在线数据库,并根据所述第二网络状态数据中包含的各个物联网终端的更新状态数据,更新已写入所述物联网终端实时在线数据库的各个物联网终端的上线状态数据;
所述装置还包括:数据缓存模块,用于将所述第一网络状态数据写入到缓存数据库,所述缓存数据库为Redis数据库;基于所述缓存数据库中存储的各个物联网终端的网络状态数据,更新所述物联网终端实时在线数据库。
6.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4任一项所述海量物联网终端在线状态的监测方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至4任一项所述海量物联网终端在线状态的监测方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911241481.4A CN111064634B (zh) | 2019-12-06 | 2019-12-06 | 海量物联网终端在线状态的监测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911241481.4A CN111064634B (zh) | 2019-12-06 | 2019-12-06 | 海量物联网终端在线状态的监测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111064634A CN111064634A (zh) | 2020-04-24 |
CN111064634B true CN111064634B (zh) | 2021-03-16 |
Family
ID=70300136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911241481.4A Active CN111064634B (zh) | 2019-12-06 | 2019-12-06 | 海量物联网终端在线状态的监测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111064634B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112203143A (zh) * | 2020-10-12 | 2021-01-08 | 广州欢网科技有限责任公司 | 基于大数据统计智能电视每时段在线量的方法及装置 |
CN112417255B (zh) * | 2020-11-19 | 2023-06-20 | 青岛海尔科技有限公司 | 在线状态的接收方法及装置、存储介质、电子装置 |
CN112492572B (zh) * | 2020-12-10 | 2023-02-21 | 中盈优创资讯科技有限公司 | 一种物联网终端历史库的构建方法及装置 |
CN112666906B (zh) * | 2020-12-23 | 2022-09-30 | 树根互联股份有限公司 | 数据处理方法和装置、服务器及存储介质 |
CN112583941B (zh) * | 2021-02-24 | 2021-05-28 | 国网江苏省电力有限公司信息通信分公司 | 一种支持接入多电力终端的方法、单元节点及电力物联网 |
CN113079063A (zh) * | 2021-03-25 | 2021-07-06 | 深圳市小兔充充科技有限公司 | 充电设备的离线判断方法、系统、设备及计算机存储介质 |
CN113297216B (zh) * | 2021-05-17 | 2024-06-11 | 中国人民解放军63920部队 | 航天测控数据实时入库方法 |
CN113923142B (zh) * | 2021-09-24 | 2024-04-09 | 浪潮金融信息技术有限公司 | 一种物联网设备状态监测的方法、系统及介质 |
CN114661728A (zh) * | 2022-04-11 | 2022-06-24 | 亿玛创新网络(天津)有限公司 | 应用于redis数据库的key记录和管理的方法 |
CN115348191B (zh) * | 2022-08-24 | 2024-01-09 | 北京首信科技股份有限公司 | 一种无线vpdn网络中物联终端数据采集方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110502510A (zh) * | 2019-08-28 | 2019-11-26 | 南威软件股份有限公司 | 一种wifi终端设备轨迹数据的实时分析和去重方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2243319T3 (es) * | 1999-10-22 | 2005-12-01 | Nomadix, Inc. | Sistema y procedimiento para redireccionar a usuarios que intentan acceder a un destino de red. |
CN100386999C (zh) * | 2003-07-23 | 2008-05-07 | 华为技术有限公司 | 监测用户连接状态的方法 |
CN100466525C (zh) * | 2007-05-30 | 2009-03-04 | 南京联创科技股份有限公司 | 基于缓冲模式的海量计费中间报文处理方法 |
CN107205230B (zh) * | 2016-03-16 | 2020-08-18 | 中国移动通信集团江苏有限公司 | 一种恢复终端在线计费状态的方法、装置及系统 |
CN106603495A (zh) * | 2016-11-15 | 2017-04-26 | 北京锐安科技有限公司 | 一种radius信令关联方法及系统 |
-
2019
- 2019-12-06 CN CN201911241481.4A patent/CN111064634B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110502510A (zh) * | 2019-08-28 | 2019-11-26 | 南威软件股份有限公司 | 一种wifi终端设备轨迹数据的实时分析和去重方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111064634A (zh) | 2020-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111064634B (zh) | 海量物联网终端在线状态的监测方法及装置 | |
EP2563062A1 (en) | Long connection management apparatus and link resource management method for long connection communication | |
CN102915374B (zh) | 一种控制数据库资源访问的方法、装置及系统 | |
CN109600258B (zh) | 工业协议报文记录装置及方法 | |
CN110337059B (zh) | 一种用户家庭关系的分析算法、服务器及网络系统 | |
CN105376335B (zh) | 一种采集数据上传方法和装置 | |
CN102769549A (zh) | 网络安全监控的方法和装置 | |
CN110727560A (zh) | 云服务报警方法及装置 | |
CN112016030B (zh) | 消息推送的方法、装置、服务器和计算机存储介质 | |
CN113225339B (zh) | 网络安全监测方法、装置、计算机设备及存储介质 | |
CN101192992A (zh) | 用于电信网管系统的性能数据补充采集系统及方法 | |
CN103607476A (zh) | 海量消息的分布式多阶段持久化的系统及方法 | |
CN112306369A (zh) | 一种数据处理方法、装置、服务器及存储介质 | |
CN107306200B (zh) | 网络故障预警方法和用于网络故障预警的网关 | |
CN114760121B (zh) | 访问频率控制的方法和访问频率控制系统 | |
CN107895039B (zh) | 一种校园网认证系统日志数据库的构建方法 | |
CN112141832A (zh) | 一种电梯物联网可视化运营平台 | |
CN103034733A (zh) | 一种用于呼叫中心的数据监控统计方法 | |
CN103312540B (zh) | 用户业务需求参数确定方法和装置 | |
CN110502510A (zh) | 一种wifi终端设备轨迹数据的实时分析和去重方法及系统 | |
CN112148508B (zh) | 一种信息处理的方法及相关装置 | |
CN108024222B (zh) | 流量话单生成方法和装置 | |
CN102480722B (zh) | 吸费终端识别方法、装置及系统 | |
US11334623B2 (en) | Key value store using change values for data properties | |
CN104484389A (zh) | 一种互联网用户最大似然地理位置发现方法及发现系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder | ||
CP02 | Change in the address of a patent holder |
Address after: Room 702-2, No. 4811, Cao'an Highway, Jiading District, Shanghai Patentee after: CHINA UNITECHS Address before: 100872 5th floor, Renmin culture building, 59 Zhongguancun Street, Haidian District, Beijing Patentee before: CHINA UNITECHS |