CN113973121A - 物联网数据处理方法、装置、电子设备及存储介质 - Google Patents
物联网数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113973121A CN113973121A CN202010642904.XA CN202010642904A CN113973121A CN 113973121 A CN113973121 A CN 113973121A CN 202010642904 A CN202010642904 A CN 202010642904A CN 113973121 A CN113973121 A CN 113973121A
- Authority
- CN
- China
- Prior art keywords
- internet
- things
- data
- processing
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开提供了一种物联网数据处理方法、装置、电子设备及存储介质,所述方法的执行主体为物联网边缘端,所述方法包括:获取所连接的各物联设备所上传的物联网数据;根据预设的预处理规范处理所述物联网数据,得到处理后物联网数据;根据所述处理后物联网数据异步触发预设的各异步事件;若检测到所述各异步事件均已被触发,则根据预设的事件处理规则处理所述各异步事件。本公开实施例能够提高物联网资源的利用效率。
Description
技术领域
本公开涉及物联网领域,具体涉及一种物联网数据处理方法、装置、电子设备及存储介质。
背景技术
随着物联网技术的高速发展,如何足够合理地对物联网数据进行处理有着重要意义。尤其是随着物联设备数量的飞速增长,所需处理的物联网数据的数量也呈爆炸式的增长。现有技术中,无论是采用何种方法处理物联网数据,都需要占用大量的物联网资源(例如:带宽资源、磁盘资源、内存资源),容易导致物联网资源的使用紧张。
发明内容
本公开的一个目的在于提出一种物联网数据处理方法、装置、电子设备及存储介质,能够提高物联网资源的利用效率。
根据本公开实施例的一方面,公开了一种物联网数据处理方法,所述方法的执行主体为物联网边缘端,所述方法包括:
获取所连接的各物联设备所上传的物联网数据;
根据预设的预处理规范处理所述物联网数据,得到处理后物联网数据;
根据所述处理后物联网数据异步触发预设的各异步事件;
若检测到所述各异步事件均已被触发,则根据预设的事件处理规则处理所述各异步事件。
根据本公开实施例的一方面,公开了一种物联网数据处理装置,所述装置包括:
获取模块,配置为获取所连接的各物联设备所上传的物联网数据;
规范处理模块,配置为根据预设的预处理规范处理所述物联网数据,得到处理后物联网数据;
触发模块,配置为根据所述处理后物联网数据异步触发预设的各异步事件;
规则处理模块,配置为若检测到所述各异步事件均已被触发,则根据预设的事件处理规则处理所述各异步事件。
在本公开的一示例性实施例中,所述装置配置为:
获取物联网云端下发的预处理规范文件;
根据所述预处理规范文件更新所述预处理规范。
在本公开的一示例性实施例中,所述装置配置为:
获取物联网云端下发的事件处理规则文件;
根据所述事件处理规则文件更新所述事件处理规则。
在本公开的一示例性实施例中,所述装置配置为:根据所述预处理规范将所述物联网数据于位于物联网边缘端的数据库进行持久化处理,得到持久化处理后物联网数据。
在本公开的一示例性实施例中,所述装置配置为:
每隔预设时间周期,将所述持久化处理后物联网数据上传至物联网云端;
响应于所述物联网云端成功接收所述持久化处理后物联网数据,将所述持久化处理后物联网数据从所述数据库中删除。
在本公开的一示例性实施例中,所述装置配置为:响应于已触发的所述异步事件,生成对应的通知信息并将所述通知信息发送至管理终端。
在本公开的一示例性实施例中,所述装置配置为:
在与物联网云端断开连接的离线时间段内,记录所述离线时间段内数据处理过程中的操作信息;
响应于与所述物联网云端重新连接,将所述操作信息上传至所述物联网云端。
根据本公开实施例的一方面,公开了一种物联网数据处理电子设备,包括:存储器,存储有计算机可读指令;处理器,读取存储器存储的计算机可读指令,以执行以上任一个所述的方法。
根据本公开实施例的一方面,公开了一种计算机程序介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行以上任一个所述的方法。
根据本公开实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。
本公开实施例中,在物联网边缘端中以物联网数据异步触发预设的各异步事件,当该各异步事件均触发时,物联网边缘端根据事件处理规则处理该各异步事件。通过这种方法,使得即使在物联网资源有限的情况下,也能够有效处理海量的物联网数据,提高了物联网资源的利用效率。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
通过参考附图详细描述其示例实施例,本公开的上述和其它目标、特征及优点将变得更加显而易见。
图1示出了根据本公开一个实施例的物联网体系构架。
图2示出了根据本公开一个实施例的物联网数据处理方法的流程图。
图3示出了根据本公开一个实施例的根据预处理规范对物联网数据的处理过程。
图4示出了根据本公开一个实施例的数据转换流程中用函数式编程范式编程实现的有向无环图。
图5示出了根据本公开一个实施例的滑动窗口的示意图。
图6示出了根据本公开一个实施例的物联网数据在各业务层次上的结构组成。
图7示出了根据本公开一个实施例的事件处理规则对应的规则管道的结构组成。
图8示出了根据本公开一个实施例的物联网数据处理的基本流程。
图9示出了根据本公开一个实施例的物联网边缘规则引擎的基本组成以及对物联网数据处理的基本流程。
图10示出了根据本公开一个实施例的云边协同的示意图。
图11示出了根据本公开一个实施例的物联网数据处理装置的框图。
图12示出了根据本公开一个实施例的物联网数据处理电子设备的硬件图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些示例实施方式使得本公开的描述将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的示例实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、步骤等。在其它情况下,不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本公开实施例提供了一种物联网数据处理方法,涉及物联网领域。本公开实施例适用于海量物联网数据的处理,能够在有限物联网资源的情况下有效处理海量物联网数据。
其中,物联网(The Internet of Things,简称IOT)是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术,实现物与物、物与人的泛在连接,实现对物品和过程的智能化感知、识别和管理。物联网是一个根据互联网、传统电信网等的信息承载体,它让所有能够被独立寻址的普通物理对象形成互联互通的网络。
图1示出了根据本公开一个实施例的物联网体系构架。
该实施例中,物联网主要由三部分组成:物联网云端10a、物联网边缘端10b以及物联设备20。多个物联网边缘端10b与物联网云端10a通常呈分布式的拓扑连接关系。单个物联网边缘端10b一般会连接并控制有限的多个物联设备20。相较于物联网云端10a,物联网边缘端10b更靠近物联设备侧。物联网边缘端10b中的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本公开在此不做限制。
物联设备20主要用于物联网数据的采集,并将物联网数据上传至物联网边缘端10b。物联设备20可以为传感器(例如:环境温度传感器、环境湿度传感器),也可以为用户的终端。其中,终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
图2示出了根据本公开一个实施例的物联网数据处理方法,物联网边缘端为执行主体。该方法包括:
步骤S310、获取所连接的各物联设备所上传的物联网数据;
步骤S320、根据预设的预处理规范处理所述物联网数据,得到处理后物联网数据;
步骤S330、根据所述处理后物联网数据异步触发预设的各异步事件;
步骤S340、若检测到所述各异步事件均已被触发,则根据预设的事件处理规则处理所述各异步事件。
本公开实施例中,在物联网边缘端中以物联网数据异步触发预设的各异步事件,当该各异步事件均触发时,物联网边缘端根据事件处理规则处理该各异步事件。通过这种方法,使得即使在物联网资源有限的情况下,也能够有效处理海量的物联网数据,提高了物联网资源的利用效率。
具体的,由物联网边缘端分散地进行物联网数据的处理,避免了物联网数据集中于物联网云端,解决了重后端的问题;这种情况下,即使物联网云端发生故障,物联网边缘端仍然能够正常进行物联网数据的处理,解决了单点故障的问题。而且一般情况下,物联网边缘端与所连接的物联设备处于同一局域网,正常工作模式下物联网边缘端与物联网云端可以仅保持心跳,从而大幅降低物联网云端对带宽资源、CPU资源、内存资源等物联网资源的需求。
进一步的,物联网边缘端对于物联网数据的处理,不依赖于物联网云端的控制。当物联网边缘端与物联网云端断开通信时,可以由物联网边缘端负责数据的监控及设备的控制,从而实现区域自治。
进一步的,物联网边缘端与物联网云端可以协同管理与控制物联设备。云边协同管理主要包括两方面:一是对计算、存储、网络、虚拟化等基础设施资源的控制;二是对物联设备的管理与控制。
物联网边缘端在相对靠近物联设备侧处提供规则计算服务。边缘端定时将物联网数据传输到云端,支持与云端的断点续传,保证与物联网云端的数据的一致性。
物联网云端负责AI算法、大数据分析与规则参数配置。云端进行模型的训练和升级,升级后云端将规则模型参数发送到边缘端,以优化边缘端的规则计算服务。云端根据上报的网络、CPU、内存等相关的监控数据动态调整边缘数据库的基础设施资源,执行云端资源调度管理策略。
在一实施例中,物联网边缘端与物联网云端联合控制物联设备。可以理解的,单个物联网边缘端所能接入的设备数量是有限的,单个物联网边缘端对于未接入的设备无权控制。当物联网场景中存在级联的多个边缘端联动控制的需求(例如:管道平均气压低于1500Pa时关闭行政区所有的天然气阀门)时,针对此类场景,边缘端将物联设备上传的物联网数据透传至云端,由云端汇总所有边缘端数据进行规则计算。当触发业务预警时下发联动控制指令到相关的边缘端进行协同操作。
该实施例的优点在于,通过物联网云端的联动控制,使得不同区域相互独立的物联网边缘端可以联合动作,提高了物联网整体的灵活性。
在一实施例中,该物联网数据为车联网数据,该各异步事件为道路交通相关的各异步事件。
具体的,车联网中的车辆预警业务对于车联网资源有着很高的要求。而随着道路路况的复杂化(例如:道路上行驶车辆的增加、气象的突变),处理车联网数据所需的车联网资源也会随之增加。当由车联网边缘端根据车联网数据异步触发各异步事件以满足车辆预警业务需求时,即使车联网资源有限,也能够有效处理海量的车联网数据以满足车辆预警业务需求,从而提高了车联网资源的利用效率。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
本公开实施例中,物联网边缘端获取所连接的各物联设备所上传的物联网数据。通常,物联网中的单个物联网边缘端所连接的是该物联网中部分的有限的物联设备。
本公开实施例中,对于从物联设备处获取到的物联网数据,物联网边缘端根据预设的预处理规范对其进行处理,得到处理后物联网数据再根据处理后物联网数据触发异步事件。
图3示出了根据本公开一个实施例的根据预处理规范对物联网数据的处理过程。
该实施例中,物联网边缘端根据预设的预处理规范对物联网数据进行的处理主要包括数据抽取与加载、数据转换、持久化以及业务处理这些流程。
其中,数据抽取与加载流程:当物联设备数据上传时,在临时中间层进行清洗。当上层业务仅需本次上传数据时,直接接入数据转换流程;当上层业务同时需要本次上传数据与已持久化的其他数据时,加载边缘数据库进行查询,将边缘数据库数据与本次上传数据进行组合,进入数据转换流程。
数据转换流程:每个转换由一个函数(例如:标准化函数、排序函数、聚类函数)描述,给定函数的输入时前一个函数或前几个函数的输出。其中,可以用DAG(DirectedAcyclic Graph,有向无环图)来描述这些函数的执行拓扑。该图沿一个方向(从起点节点到终点节点)不形成环形,函数输入不依赖于DAG下游的函数数据,即不发生循环。图中的每个节点都是一个函数,每条边都表示从一个函数传递到下一个函数的数据。
一般情况下,DAG中参与的数据结构有四类,分别为错误类型(Error)、空接口切片(...interface{})、DAG节点(Node)、DAG边(Edge)。其中,空接口(interface{})支持任意数据类型,“...”表示支持数量可变长的参数;节点(Node)是高阶函数(函数可以作为参数传入另一个函数,或者作为其他函数的返回值),执行数据处理逻辑,输入与输出均为Edge数据类型;边(Edge)抽象为(Error,...interface{})数据结构;函数装饰器定义DAG执行过程,即按拓扑顺序自上而下依次执行节点(Node)函数,最终运行结果输出到事件处理规则所对应的规则管道,触发规则计算。
持久化以及业务处理流程:对数据转换流程得到的数据并发进行两种操作。一是写入数据库进行持久化;一是参与到业务的流转,根据事件处理规则进行处理。
图4示出了根据本公开一个实施例的数据转换流程中用函数式编程范式编程实现的有向无环图。
该实施例中,物联设备包括用于监测CO2(二氧化碳)浓度的CO2传感器器、用于监测环境温度的温度传感器以及用于监测环境湿度的湿度传感器。物联网边缘端获取到上述物联设备上传的数据后,相应地根据该图中示出的用函数式编程范式编程实现的有向无环图,进行一系列诸如信号转换、定量转换、阈值过滤、校正、低通滤波、插值、经验公式的函数处理后,将所得到的输出(空气适宜度、土壤干燥度)作为规则计算的输入参与到规则计算中。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
在一实施例中,根据预设的预处理规范处理物联网数据,包括:根据预设的滑动窗口对该物联网数据进行采样计算,该滑动窗口用于描述预设窗口长度的、按照预设步长滑动的预设窗口函数。
该实施例中,物联网边缘端根据滑动窗口对物联网数据进行采样。滑动窗口主要有两个属性:窗口长度、窗口函数。其中,窗口长度是参与开窗计算的采样数量,窗口函数是对数据采样计算所采用的函数。均值函数、极值函数、聚类函数是常用的窗口函数。
其中,均值窗口函数本质是一种低通平滑滤波,目的是平滑单次扰动,保持数据原有的趋势。均值窗口函数把连续的窗口长度数个采样值参与至平均值的计算,下一次采样时将新数据放入队尾,移除队首数据(先进先出原则),进行平均值的计算。均值窗口函数一般适用于液位监测场景的物联网应用中。
极值窗口函数是过滤掉超过阈值的错误数据的函数。极值窗口函数一般适用于温度监测场景的物联网应用中。
聚类窗口函数是一种量化方法,将定量数据通过计算输出该数据所属的定性分类组,即聚类窗口函数把窗口长度个数据通过聚类算法(K均值聚类、核密度聚类等)进行计算,得出这组数据所属的聚类。
图5示出了根据本公开一实施例的滑动窗口的示意图。
该实施例中,滑动窗口的窗口长度为3,窗口函数为均值函数。当滑动窗口采样到的数据为“2、4、-3”时,根据窗口函数对所采样到的数据进行平均,得到返回结果“1”;滑动窗口滑动一步,采样到的数据为“4,-3,5”,根据窗口函数对所采样到的数据进行平均,得到返回结果“2”。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
在一实施例中,根据预设的预处理规范处理物联网数据,得到处理后物联网数据,包括:根据该预处理规范将该物联网数据于位于物联网边缘端的数据库进行持久化处理,得到持久化处理后物联网数据。
该实施例中,在物联网边缘端设有对应的数据库,相比于位于物联网云端的数据库,位于物联网边缘端的数据库通常容量更小。(出于简要说明的目的,位于物联网边缘端的数据库在后续描述中被表述为边缘数据库)物联网边缘端将从物联设备接收到的物联网数据进行持久化处理,存储入位于边缘数据库中。
在一实施例中,该方法还包括:
每隔预设时间周期,将该持久化处理后物联网数据上传至物联网云端;
响应于物联网云端成功接收持久化处理后物联网数据,将该持久化处理后物联网数据从该数据库中删除。
该实施例中,每隔预设时间周期(例如:每隔1小时),物联网边缘端将边缘数据库中存储的持久化处理后物联网数据上传至物联网云端。物联网云端成功接收到物联网边缘端发送的持久化处理后物联网数据后,向物联网边缘端返回成功接收的信号;从而物联网边缘端响应于该信号,删除掉该持久化处理后物联网数据,以降低边缘数据库的存储负荷。
该实施例的优点在于,通过持久化处理物联网数据以及定期同步至物联网云端,保证了物联网云端与物联网边缘端协同工作的基础。
在一实施例中,该方法还包括:
获取物联网云端下发的预处理规范文件;
根据该预处理规范文件更新该预处理规范。
该实施例中,物联网边缘端获取物联网云端下发的预处理规范文件,其中,预处理规范文件描述有边缘数据库表与物联设备的关联关系、数据清洗阈值规则、数据转换DAG拓扑结构等。从而物联网边缘端根据该预处理规范文件更新预处理规范,在后续处理过程中根据更新后的预处理规范对从物联设备接收到的物联网数据进行处理。
该实施例的优点在于,通过这种方法,物联网云端可以统一控制各个物联网边缘端的预处理规范,提高了物联网的整体协调度。
本公开实施例中,物联网边缘端根据处理后物联网数据异步触发相应预设的异步事件,即,各异步事件的触发是相互独立的。
在一实施例中,响应于已触发的异步事件,生成对应的通知信息并将该通知信息发送至管理终端。
该实施例中,根据处理后物联网数据触发各异步事件的过程中,对于部分有着向管理终端发送通知需求的异步事件,若该异步事件已被触发,则物联网边缘端生成对应的通知信息并将该通知信息发送至管理终端。
例如:预设的各异步事件包括事件1、事件2与事件3。其中,事件2是有关环境温度超出温度阈值的事件。当事件2被触发时(此时无论是事件1还是事件3均可能已被触发也可能未被触发)即说明环境温度超出温度阈值,则物联网边缘端生成对应的温度报警信息并将该温度报警信息发送至管理人员的终端,以提醒管理人员环境温度超出温度阈值。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
本公开实施例中,物联网边缘端持续监测着异步事件的触发状态。若检测到预设的各异步事件均已被触发,物联网边缘端根据预设的事件处理规则对所触发的各异步事件进行处理,实现对物联网数据的处理。其中,可以将用于处理各异步事件的事件处理规则看作一个用于处理该异步事件的规则管道(channel)。
在一实施例中,事件包括简单事件(event)和组合事件(group event)。简单事件是不可继续分割的原子事件,组合事件由多个简单事件构成。一个简单事件对应一个操作系统协程(routine),组合事件对应多个协程,每个协程负责接入物联设备的上传数据(sensor data)。其中,协程主要指的是操作系统轻量级线程。
图6示出了根据本公开一个实施例的物联网数据在各业务层次上的结构组成。
参考图6所示的一实施例中的物联网数据在各业务层次上的结构组成,可以看出:规则管道由事件组成;事件可以划分为简单事件以及组合事件;简单事件以及组合事件均对应有相应的协程;协程中接入有物联设备的上传数据。图中诸如len、status等参数属于底层实现中的具体数据结构内容,故在此不再一一赘述。
物联设备上传的物联网数据经处理后保存在routine存储块,routine存储块向父级订阅的事件触发消息。正处于IO阻塞的事件接收消息后查询自身状态,检查所有成员是否已经完成接收消息。若部分接收消息则继续保持IO阻塞;若全部接收消息则向父级订阅的规则管道触发消息,正处于IO阻塞的规则管道接收消息后查询自身状态,检查所有成员是否已完成,若部分完成则继续保持IO阻塞,若全部完成则开始规则计算,同时重置规则管道等待下次触发。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
图7示出了根据本公开一个实施例的事件处理规则对应的规则管道的结构组成。
该实施例中,规则管道对应多个异步事件。在这多个异步事件中,既有简单事件,如:设备1数据所对应的事件以及设备3数据所对应的事件;也有组合事件,如:设备1数据所对应的事件与设备2数据所对应的事件所组合得到的事件。每个简单事件相应地对应一个物联设备。
具体的,设备1上传其采集到的设备1数据,触发对应的简单事件1;设备2上传其采集到的设备2数据,触发对应的简单事件2;设备3上传其采集到的设备3数据,触发对应的简单事件3。当简单事件1与简单事件2均触发时,触发由设备1数据与设备2数据所对应的组合事件。其中,设备3数据还需要进行持久化处理,故存储至边缘数据库中。
简单事件1对应规则管道中“设备1最新值”相关事件;组合事件对应规则管道中“设备1和设备2最新数据之差”相关事件;简单事件3对应规则管道中“设备3最近5个数据均值”相关事件。
若该规则管道中存在未触发的事件,则进行IO阻塞;当该规则管道中所有事件均触发时,则解除IO阻塞,触发该规则管道根据对应的处理规则处理管道中所有事件。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
在一实施例中,关于事件处理规则所对应的规则管道:参与规则管道的物联网数据的来源主要有设备上传、边缘数据库、物联网处理流水线输出的组合数据这三个。解析复杂场景的物联网业务,规则管道的触发可以拆解为设备上传模式、边缘数据库模式、组合数据模式这三种基本模式。
其中,设备上传模式:规则管道订阅的是简单事件,当物联设备上传数据,事件透传物联设备数据到规则管道,触发规则计算。
边缘数据库模式:规则管道订阅的是简单事件,当物联设备上传数据,事件查询边缘数据库,将查询的数据结果输出到规则管道,触发规则计算。
组合数据模式:规则管道订阅的是组合事件,当其中一个物联设备上传数据,检查组合事件所需数据是否填充完毕。若未填充完毕则进行IO阻塞;若已填充完毕,组合事件将数据发送到预设管道,触发规则计算。
图8示出了根据本公开一个实施例的物联网数据处理的基本流程。
该实施例中,对于获取到的物联网数据,物联网边缘端启动预处理规范对应的处理流水线对其进行预处理。
经过处理流水线的预处理后,对需要持久化的物联网数据进行数据入库处理。
对参与规则计算的物联网数据,采用滑动窗口进行采样计算,提高数据的准确性。进而对于未触发规则管道的物联网数据进行数据入库处理。对于触发规则管道的物联网数据,异步触发各异步事件。触发各异步事件的过程是异步执行的,具体的,根据事件的具体情况分别异步进行诸如关联判断(包含)、逻辑判断(与,或,非)、条件判断(大于,小于,等于)之类的触发。当各异步事件均触发后,对各异步事件的触发结果进行合并,实现对物联网数据的处理。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
在一实施例中,该方法还包括:若检测到该各异步事件未均已被触发,则阻塞根据该事件处理规则处理该各异步事件。
该实施例中,物联网边缘端若检测到事件处理规则对应的各异步事件未均已被触发,则阻塞根据该事件处理规则处理该各异步事件。即,物联网边缘端若检测到规则管道所需触发的所有异步事件未全部被触发,则进行IO阻塞,阻塞该规则管道以对应的事件处理规则进行规则计算。
在一实施例中,根据目标业务预设该各异步事件以及该事件处理规则。
该实施例中,异步事件以及事件处理规则均与目标业务相关联。该事件处理规则所代表的规则管道是目标业务的抽象。其中,目标业务则可以根据对物联网的具体需求进行确定,进而确定与目标业务相对应的规则管道、相对应的各异步事件。从而通过触发该各异步事件,触发该规则管道以对应的事件处理规则进行规则计算,满足该目标业务的业务需求。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
图9示出了根据本公开一个实施例的物联网边缘规则引擎的基本组成以及对物联网数据处理的基本流程。
该实施例中,将物联网系统中的处理规则抽离出来,实现位于物联网边缘端的边缘规则引擎。由灵活可变的处理规则来描述业务需求,实现管理流程自动化。具体的,海量物联设备将采集到的物联网数据上报给该物联网边缘规则引擎,该物联网边缘规则引擎根据对物联网数据的处理控制海量物联设备。该物联网边缘规则引擎的处理逻辑主要由数据预处理以及异步工作的规则引擎核心这两部分组成。该物联网边缘规则引擎的处理逻辑的实现基础为边缘规则文件以及边缘数据库。
其中,数据预处理主要指的是ETL(Extract-Transform-Load,提取-转换-加载)这一过程。具体的,数据预处理中包括数据清洗、数据转换。
异步工作的规则引擎核心包括用于判断逻辑关系的逻辑规则、用于判断关联关系的关联规则、用于判断条件的条件规则以及决策树。
该物联网边缘规则引擎对物联网数据处理的基本流程与图8所示的物联网数据处理的基本流程大致同理,故在此不再赘述。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
在一实施例中,该方法还包括:
获取物联网云端下发的事件处理规则文件;
根据该事件处理规则文件更新该事件处理规则。
该实施例中,物联网边缘端获取物联网云端下发的事件处理规则文件,进而根据该事件处理规则文件更新用于处理各异步事件的事件处理规则。其中,物联网云端可以根据物联网的整体业务需求更新或者增添规则文件,从而物联网边缘端可以相应地进行规则计算以满足对应的业务需求。
该实施例的优点在于,物联网边缘端与物联网云端协同进行规则计算;由物联网云端进行规则文件的管控,进而物联网边缘端与物联网云端保持同步,从而能够及时满足物联网的整体业务需求。
在一实施例中,该方法还包括:
在与物联网云端断开连接的离线时间段内,记录该离线时间段内数据处理过程中的操作信息;
响应于与该物联网云端重新连接,将该操作信息上传至该物联网云端。
该实施例中,物联网边缘端与物联网云端保证数据的一致性。具体的,在与物联网云端断开连接的离线时间段内,物联网边缘端记录该离线时间段内数据处理过程中的操作信息;当通信恢复与物联网云端重新连接时,物联网边缘端将记录的该操作信息反馈到物联网云端,保证二者之间数据的一致性。
图10示出了根据本公开一实施例的云边协同的示意图。
该实施例中,物联网边缘端中存在用于与物联网云端进行协作的云边协同组件。该云边协同组件主要包括两部分:数据流通讯、管理流通讯。通过该云边协同组件,物联网边缘端与物联网云端之间可以进行数据流的传输以及管理流的传输。其中,物联网云端可以对物联网边缘端进行安全认证、规则文件下发等操作;物联网边缘端可以对物联网云端进行数据同步以实现离线重连。
通过这种方法,物联网边缘端可以实现区域自治,即使与物联网云端断开连接仍能完成物联网数据的处理,避免单点故障的发生;物联网边缘端与物联网云端协同管理与控制物联设备;通过物联网云端的联动控制,不同区域的物联网边缘端可以联合执行业务。
需要说明的是,该实施例只是示例性的说明,不应对本公开的功能和使用范围造成限制。
图11示出了根据本公开一实施例的物联网数据处理装置,所述装置包括:
获取模块410,配置为获取所连接的各物联设备所上传的物联网数据;
规范处理模块420,配置为根据预设的预处理规范处理所述物联网数据,得到处理后物联网数据;
触发模块430,配置为根据所述处理后物联网数据异步触发预设的各异步事件;
规则处理模块440,配置为若检测到所述各异步事件均已被触发,则根据预设的事件处理规则处理所述各异步事件。
在本公开的一示例性实施例中,所述装置配置为:
获取物联网云端下发的预处理规范文件;
根据所述预处理规范文件更新所述预处理规范。
在本公开的一示例性实施例中,所述装置配置为:
获取物联网云端下发的事件处理规则文件;
根据所述事件处理规则文件更新所述事件处理规则。
在本公开的一示例性实施例中,所述装置配置为:根据所述预处理规范将所述物联网数据于位于物联网边缘端的数据库进行持久化处理,得到持久化处理后物联网数据。
在本公开的一示例性实施例中,所述装置配置为:
每隔预设时间周期,将所述持久化处理后物联网数据上传至物联网云端;
响应于所述物联网云端成功接收所述持久化处理后物联网数据,将所述持久化处理后物联网数据从所述数据库中删除。
在本公开的一示例性实施例中,所述装置配置为:响应于已触发的所述异步事件,生成对应的通知信息并将所述通知信息发送至管理终端。
在本公开的一示例性实施例中,所述装置配置为:
在与物联网云端断开连接的离线时间段内,记录所述离线时间段内数据处理过程中的操作信息;
响应于与所述物联网云端重新连接,将所述操作信息上传至所述物联网云端。
下面参考图12来描述根据本公开实施例的物联网数据处理电子设备50。图12显示的物联网数据处理电子设备50仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示,物联网数据处理电子设备50以通用计算设备的形式表现。物联网数据处理电子设备50的组件可以包括但不限于:上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元510执行,使得所述处理单元510执行本说明书上述示例性方法的描述部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元510可以执行如图2中所示的各个步骤。
存储单元520可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202,还可以进一步包括只读存储单元(ROM)5203。
存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204,这样的程序模块5205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
物联网数据处理电子设备50也可以与一个或多个外部设备600(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该物联网数据处理电子设备50交互的设备通信,和/或与使得该物联网数据处理电子设备50能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。输入/输出(I/O)接口550与显示单元540相连。并且,物联网数据处理电子设备50还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器560通过总线530与物联网数据处理电子设备50的其它模块通信。应当明白,尽管图中未示出,可以结合物联网数据处理电子设备50使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行上述方法实施例部分描述的方法。
根据本公开的一个实施例,还提供了一种用于实现上述方法实施例中的方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如JAVA、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。
Claims (10)
1.一种物联网数据处理方法,其特征在于,所述方法的执行主体为物联网边缘端,所述方法包括:
获取所连接的各物联设备所上传的物联网数据;
根据预设的预处理规范处理所述物联网数据,得到处理后物联网数据;
根据所述处理后物联网数据异步触发预设的各异步事件;
若检测到所述各异步事件均已被触发,则根据预设的事件处理规则处理所述各异步事件。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取物联网云端下发的预处理规范文件;
根据所述预处理规范文件更新所述预处理规范。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取物联网云端下发的事件处理规则文件;
根据所述事件处理规则文件更新所述事件处理规则。
4.根据权利要求1所述的方法,其特征在于,根据预设的预处理规范处理所述物联网数据,得到处理后物联网数据,包括:根据所述预处理规范将所述物联网数据于位于物联网边缘端的数据库进行持久化处理,得到持久化处理后物联网数据。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
每隔预设时间周期,将所述持久化处理后物联网数据上传至物联网云端;
响应于所述物联网云端成功接收所述持久化处理后物联网数据,将所述持久化处理后物联网数据从所述数据库中删除。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:响应于已触发的所述异步事件,生成对应的通知信息并将所述通知信息发送至管理终端。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在与物联网云端断开连接的离线时间段内,记录所述离线时间段内数据处理过程中的操作信息;
响应于与所述物联网云端重新连接,将所述操作信息上传至所述物联网云端。
8.一种物联网数据处理装置,其特征在于,所述装置包括:
获取模块,配置为获取所连接的各物联设备所上传的物联网数据;
规范处理模块,配置为根据预设的预处理规范处理所述物联网数据,得到处理后物联网数据;
触发模块,配置为根据所述处理后物联网数据异步触发预设的各异步事件;
规则处理模块,配置为若检测到所述各异步事件均已被触发,则根据预设的事件处理规则处理所述各异步事件。
9.一种物联网数据处理电子设备,其特征在于,包括:
存储器,存储有计算机可读指令;
处理器,读取存储器存储的计算机可读指令,以执行权利要求1-7中的任一个所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行权利要求1-7中的任一个所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010642904.XA CN113973121B (zh) | 2020-07-06 | 2020-07-06 | 物联网数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010642904.XA CN113973121B (zh) | 2020-07-06 | 2020-07-06 | 物联网数据处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113973121A true CN113973121A (zh) | 2022-01-25 |
CN113973121B CN113973121B (zh) | 2023-05-12 |
Family
ID=79584502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010642904.XA Active CN113973121B (zh) | 2020-07-06 | 2020-07-06 | 物联网数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113973121B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104345717A (zh) * | 2014-10-17 | 2015-02-11 | 武汉华大优能信息有限公司 | 一种基于物联网的智能远程数据采集系统 |
CN105337778A (zh) * | 2015-11-27 | 2016-02-17 | 北京邮电大学 | 物联网事件驱动服务管理系统 |
CN106534107A (zh) * | 2016-11-04 | 2017-03-22 | 北方工业大学 | 一种物联网消息服务系统 |
CN108399176A (zh) * | 2017-02-07 | 2018-08-14 | 阿里巴巴集团控股有限公司 | 一种基于规则的数据处理方法及规则引擎装置 |
CN109889551A (zh) * | 2019-04-16 | 2019-06-14 | 湖南树华环保科技有限公司 | 一种智能硬件接入的物联网云平台的方法 |
US20190318329A1 (en) * | 2018-04-12 | 2019-10-17 | Bank Of America Corporation | Internet-of-things enabled real-time event processing |
CN110995846A (zh) * | 2019-12-10 | 2020-04-10 | 北京数知科技股份有限公司 | 物联网采集数据处理装置、方法及系统 |
CN111052710A (zh) * | 2017-09-06 | 2020-04-21 | 康维达无线有限责任公司 | 物联网可配置事件和动作排序框架 |
-
2020
- 2020-07-06 CN CN202010642904.XA patent/CN113973121B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104345717A (zh) * | 2014-10-17 | 2015-02-11 | 武汉华大优能信息有限公司 | 一种基于物联网的智能远程数据采集系统 |
CN105337778A (zh) * | 2015-11-27 | 2016-02-17 | 北京邮电大学 | 物联网事件驱动服务管理系统 |
CN106534107A (zh) * | 2016-11-04 | 2017-03-22 | 北方工业大学 | 一种物联网消息服务系统 |
CN108399176A (zh) * | 2017-02-07 | 2018-08-14 | 阿里巴巴集团控股有限公司 | 一种基于规则的数据处理方法及规则引擎装置 |
CN111052710A (zh) * | 2017-09-06 | 2020-04-21 | 康维达无线有限责任公司 | 物联网可配置事件和动作排序框架 |
US20190318329A1 (en) * | 2018-04-12 | 2019-10-17 | Bank Of America Corporation | Internet-of-things enabled real-time event processing |
CN109889551A (zh) * | 2019-04-16 | 2019-06-14 | 湖南树华环保科技有限公司 | 一种智能硬件接入的物联网云平台的方法 |
CN110995846A (zh) * | 2019-12-10 | 2020-04-10 | 北京数知科技股份有限公司 | 物联网采集数据处理装置、方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113973121B (zh) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11989186B2 (en) | Scalable architecture for a distributed time-series database | |
US11934409B2 (en) | Continuous functions in a time-series database | |
CN110549336B (zh) | 一种变电站巡检机器人集控主站系统 | |
US20200167355A1 (en) | Edge processing in a distributed time-series database | |
CN111400326B (zh) | 一种智慧城市数据管理系统及其方法 | |
US20150019557A1 (en) | Dynamically processing an event using an extensible data model | |
CN112181960B (zh) | 一种基于AIOps的智能运维框架系统 | |
KR20150112357A (ko) | 센서 데이터 처리 시스템 및 방법 | |
CN113010565B (zh) | 基于服务器集群的服务器实时数据处理方法及系统 | |
US20230306042A1 (en) | Management method and apparatus for internet of things device, medium, and electronic device | |
CN110377595A (zh) | 一种车辆数据管理系统 | |
CN109213752A (zh) | 一种基于cim的数据清洗转换方法 | |
CN107612984B (zh) | 一种基于互联网的大数据平台 | |
CN109977125A (zh) | 一种基于网络安全的大数据安全分析平台系统 | |
CN113973121B (zh) | 物联网数据处理方法、装置、电子设备及存储介质 | |
CN110533320B (zh) | 一种基于Hadoop平台的电力设备停电计划编制方法 | |
CN103729809A (zh) | 基于实时数据库的电力通信管理系统的监管机制 | |
CN109522349B (zh) | 跨类型数据计算及共享方法、系统、设备 | |
US20230229461A1 (en) | Correlation engine and policy manager (cpe), method and computer program product | |
CN115391429A (zh) | 基于大数据云计算的时序数据处理方法及装置 | |
CN107330008A (zh) | 一种基于Hadoop平台的电力系统谐波监测方法 | |
CN114118676A (zh) | 一种基于多类型感知设备的数据分析方法、装置及可读介质 | |
CN113468259A (zh) | 一种数据实时采集入库方法及系统 | |
CN115374101A (zh) | 轨道交通站段级数据管理系统 | |
WO2020106487A1 (en) | Scalable architecture for a distributed time-series database |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |