CN110995846A - 物联网采集数据处理装置、方法及系统 - Google Patents

物联网采集数据处理装置、方法及系统 Download PDF

Info

Publication number
CN110995846A
CN110995846A CN201911257735.1A CN201911257735A CN110995846A CN 110995846 A CN110995846 A CN 110995846A CN 201911257735 A CN201911257735 A CN 201911257735A CN 110995846 A CN110995846 A CN 110995846A
Authority
CN
China
Prior art keywords
data processing
internet
data
things
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911257735.1A
Other languages
English (en)
Inventor
袁琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuzhi Technology Co ltd
Original Assignee
Beijing Shuzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuzhi Technology Co ltd filed Critical Beijing Shuzhi Technology Co ltd
Priority to CN201911257735.1A priority Critical patent/CN110995846A/zh
Publication of CN110995846A publication Critical patent/CN110995846A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种物联网采集数据处理装置、方法及系统，该装置包括：规则同步模块，用于对预先配置的数据处理规则进行预编译，将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中，所述数据处理规则包括触发前置条件和目标操作；规则匹配模块，用于基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，所述采集数据是在物联网接入网关处采集的；规则执行模块，用于在获得适配成功的数据处理规则后，执行适配成功的数据处理规则中的目标操作。本发明可以对物联网的采集数据进行处理采样，效率高。

Description

物联网采集数据处理装置、方法及系统
技术领域
本发明涉及物联网领域，尤其涉及一种物联网采集数据处理装置、方法及系统。
背景技术
随着物联网的快速发展，基于物联网采集的数据种类越来越多，数据量越来越大，对采集数据的处理变得尤为重要。为了提高物理网采集数据的处理效率，现有技术提出基于规则引擎进行物理网的采集数据处理，在终端设备的物联网接入网关处，集成部署数据采集系统组件；由数据采集系统组件通过数据采样、上传、指令控制等方式获取设备或应用的数据，并传输给规则引擎；规则引擎自动适配所预置的规则，并执行适配成功的规则中的操作。
上述现有技术中基于规则引擎进行物理网的采集数据处理存在以下问题：规则的检索和匹配处理效率完全依赖数据库的性能，在物联网海量数据交换和事件消息低延迟、高并发环境下，规则的检索和匹配效率较低，使得整体物联网采集数据处理的效率比较低。
发明内容
本发明实施例提出一种物联网采集数据处理装置，用以对物联网的采集数据进行处理采样，效率高，该装置包括：
规则同步模块，用于对预先配置的数据处理规则进行预编译，将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中，所述数据处理规则包括触发前置条件和目标操作；
规则匹配模块，用于基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，所述采集数据是在物联网接入网关处采集的；
规则执行模块，用于在获得适配成功的数据处理规则后，执行适配成功的数据处理规则中的目标操作。
本发明实施例提出一种物联网采集数据处理方法，用以对物联网的采集数据进行处理采样，效率高，该方法包括：
对预先配置的数据处理规则进行预编译，将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中，所述数据处理规则包括触发前置条件和目标操作；
基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，所述采集数据是在物联网接入网关处采集的；
在获得适配成功的数据处理规则后，执行适配成功的数据处理规则中的目标操作。
本发明实施例提出一种物联网采集数据处理系统，用以对物联网的采集数据进行处理采样，效率高，该系统包括：上述的物联网采集数据处理装置，采集数据获得模块，其中，
采集数据获得模块，用于获得物联网接入网关的采集数据。
本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述物联网采集数据处理方法。
本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述物联网采集数据处理方法的计算机程序。
在本发明实施中，规则同步模块，用于对预先配置的数据处理规则进行预编译，将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中，所述数据处理规则包括触发前置条件和目标操作；规则匹配模块，用于基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，所述采集数据是在物联网接入网关处采集的；规则执行模块，用于在获得适配成功的数据处理规则后，执行适配成功的数据处理规则中的目标操作。在上述过程中，规则同步模块对预先配置的数据处理规则进行预编译，并将预编译后的数据处理规则同步至物联网接入网关，使得规则匹配模块可以直接从基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，而不用从数据库中读取这些数据处理规则，从而提高了适配的效率，进而提高了物联网采集数据处理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中物联网采集数据处理装置的示意图；
图2为本发明实施例中采用物联网采集数据处理装置进行物联网采集数据处理的流程图；
图3为本发明实施例中物联网采集数据处理装置的架构与执行的示意图；
图4为本发明实施例中物联网采集数据处理方法的流程图；
图5为本发明实施例中物联网采集数据处理系统的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
图1为本发明实施例中物联网采集数据处理装置的示意图，如图1所示，该装置包括：
规则同步模块，用于对预先配置的数据处理规则进行预编译，将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中，所述数据处理规则包括触发前置条件和目标操作；
规则匹配模块，用于基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，所述采集数据是在物联网接入网关处采集的；
规则执行模块，用于在获得适配成功的数据处理规则后，执行适配成功的数据处理规则中的目标操作。
在本发明实施例中，规则同步模块对预先配置的数据处理规则进行预编译，并将预编译后的数据处理规则同步至物联网接入网关，使得规则匹配模块可以直接从基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，而不用从数据库中读取这些数据处理规则，从而提高了适配的效率，进而提高了物联网采集数据处理的效率。
具体实施时，物联网采集数据处理装置中的规则匹配模块和规则执行模块是在规则引擎的基础上改进而来的，规则引擎是提供用于业务决策的业务规则定义和存储、规则检索和匹配、操作目标或数据流转触发的应用系统组件，或者是独立提供服务的中间件系统。通过隔离负责业务规则处理与应用系统功能逻辑的代码解耦，使系统支持可插拔的操作流程或数据流转规则自动适配。业务决策的规则可以通过系统预置或自定义配置进行预编译，一条规则通常包含：触发前置条件、目标操作两个组成部分。例如：规则A是(当远程控制路灯照明设备开启触发失败2次，发一个照明设备故障的报警信息到管理人员的手机)，其中的触发前置条件是(连续开启照明失败2次，即系统预设值报警阈值为：失败2次被触发)，目标操作是(发送照明设备故障的报警信息到指定人员的手机)。
在现有技术中，规则的存储需要数据库的支持，可以运行在应用系统的服务端，但设备接入端(如物联网设备网关)运算能力有限，很难将规则的配置、存储和运行移植在设备接入端上，在本发明实施例中，首先对预先配置的数据处理规则进行预编译，上述预编译的过程使得规则可存储至计算性能弱的物联网接入网关中，且由于提前加载至了物联网接入网关的缓存中，使得规则匹配模块可直接读取缓存中的数据处理规则，这样大大提高了适配效率，而不再依赖复杂的数据库。
具体实施时，采集数据的采样特征包括调用频次、接入协议、数据结构、数据类型、采样信息、控制指令、传输数据的大小等。数据处理规则是可以预先配置的，用户通过管理系统或配置工具对数据处理规则进行可视化输入或支持自定义编辑，触发前置条件可以与这些采样特征进行适配，从而确定应该使用哪条规则，操作目标一般与触发前置条件对应，例如，目标操作可以为：执行数据的频次统计、数据解析、采样数据分类、接入终端统计、控制指令组装、接入协议分析、数据流转分析和匹配等。采样数据的一个采样特征可以对应一个或多个数据处理规则，例如，采样特征为：当通过物联网接入网关执行开启照明设备的指令时，同时记录其操作结果和设备状态数据；当采集的温度传感器信号量包含高温或者低温报警时，解析其报警数据并执行级联的终端设备联动；当终端设备的某应用功能被调用超过一定频次时，在一小时内加快该设备数据采样的间隔周期等等；对应的数据处理规则为：“当通过物联网接入网关执行开启路灯照明设备的指令时，记录其操作结果和设备状态数据”，该条数据处理规则可以理解为：判断当前传输的数据是否是开启照明设备的指令，如果是则按照数据流转规则将该指令流转到对应终端设备，并存储操作结果和当前设备状态，否则屏蔽掉该数据。
在一实施例中，数据处理规则包括数据组装方式；
规则执行模块具体用于：
在获得适配成功的数据处理规则后，解析所述数据处理规则，获得数据组装方式；
根据数据组装方式，确定目标操作需使用的数据；
基于目标操作需使用的数据，执行所述数据处理规则中的目标操作。
在上述实施例中，目标操作包括数据流转操作，数据流转操作包括数据流转方向，数据组装方式可以是预先配置的数据处理规则中预先定义的，根据数据组装方式，确定目标操作需使用的数据即组装在要目标操作中使用的数据。通过上述数据组装方式，实现了灵活使用数据处理规则，给目标操作执行提供了更多的操作方式。
在一实施例中，数据处理规则包括数据源，所述数据源采用事件消息队列的订阅主题来标识，所述事件消息队列用于存储采集数据的采样特征。
在上述实施例中，若一个数据处理规则1包括数据源1，数据源1用事件消息队列的订阅主题(Topic)来标识，例如为x，那么可以根据x查找到数据处理规则1，和对应的事件消息队列。
在一实施例中，规则同步模块具体用于：
对预先配置的数据处理规则进行预编译时，生成数据处理规则与数据源的事件消息队列的订阅主题的索引关联关系；
将预编译后的数据处理规则和对应的索引关联关系同步至物联网接入网关，并加载至物联网接入网关的缓存中。
在上述实施例中，就是在预编译时，除了生成预编译后的数据处理规则，还生成数据处理规则与数据源的事件消息队列的订阅主题的索引关联关系，该索引关联关系有利于后续规则匹配模块进行采样特征的匹配。
在一实施例中，规则匹配模块具体用于：
根据数据处理规则和对应的索引关联关系，确定待适配的事件消息队列；
基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对待适配的事件消息队列中的采集数据的采样特征进行数据处理规则的适配。
在上述实施例中，实现了对特定订阅主题的数据处理规则的适配，从而提高了数据处理规则的适配效率，同时实现了按需定制，即按照用户感兴趣的订阅主题，适配数据处理规则。
在一实施例中，数据处理规则包括多个目标操作，所述多个目标操作之间存在执行顺序关系；
规则执行模块具体用于：在获得适配成功的数据处理规则后，按照多个目标操作之间的执行顺序关系，执行适配成功的数据处理规则中的目标操作。
在上述实施例中，执行顺序关系包括并行执行、串行执行、定时执行等多种，这些目标操作之间的执行顺序关系可以是在配置数据处理规则的同时定义的，也支持后续更改，从而满足不同业务的需求。
在一实施例中，所述触发前置条件、数据组装方式和数据源采用Avitor表达式求值语句来表示。
在上述实施例中，Aviator是一个高性能、轻量级的java语言实现的表达式求值引擎，相比于Groovy、JRuby的笨重，Aviator非常小，加上依赖包也才450K,不算依赖包的话只有70K。Aviator的实现思路与其他轻量级的求值器很不相同，其他求值器一般都是通过解释的方式运行，而Aviator则是直接将表达式编译成Java字节码，交给JVM去执行。简单来说，Aviator的定位是介于Groovy这样的重量级脚本语言和IKExpression这样的轻量级表达式引擎之间。文本格式的Avitor表达式求值语句支持大部分运算操作符，包括算术操作符、关系运算符、逻辑操作符、正则匹配操作符(＝～)、三元表达式？:，并且支持操作符的优先级和括号强制优先级。文本格式的Avitor表达式求值语句支持函数调用和自定义函数文本格式的Avitor表达式求值语句支持正则表达式匹配，类似Ruby、Perl的匹配语法，并且支持类Ruby的$digit指向匹配分组。文本格式的Avitor表达式求值语句支持自动类型转换，当执行操作的时候，会自动判断操作数类型并做相应转换，无法转换即抛异常。文本格式的Avitor表达式求值语句支持传入变量，支持类似a.b.c的嵌套变量访问。综合上述特性，采用文本格式的Avitor表达式求值语句表示的数据处理规则能够对复杂数据结构的采样数据进行处理；支持表达式求值，例如：支持这样的表达式规则：当AVG(5分钟内采集温度超过20度的次数/天)＝25时，即在当天5分钟内采集温度超过20度的次数平均值统计是否达到25次，执行XXX步骤。
在一实施例中，所述装置还包括规则定义模块，用于：
接收用户采用JSON格式的数据结构表示的数据处理规则。
具体实施时，数据处理规则的内容包括多个数据项和对应的属性，这些数据项和对应的属性都可以采用JSON格式的数据结构。JSON是一种轻量级文本格式的数据交换协议，独立于其他协议语言，其结构简单、存储方便，但本发明实施例也可以采用其他协议语言的数据结构，例如：XML、Thrift、自定义数据结构等。相关变化例均应落入本发明的保护范围。
本发明实施例提出的物联网采集数据处理支持在系统运行过程中动态配置和实时加载用户新增或变更的业务规则，即插即用、实时生效。上述数据项的字段类型和属性通常是不同的，例如：一个路灯开启时发送当前状态的事件消息，相关的JSON数据结构可能是{开关状态：“开”}，而查询一个充电桩可用电量信息时，相关的JSON数据结构可能是{剩余电量：“4000”，设备是否异常：“否”}。数据处理规则需要支持复杂的数据结构和数据项及其属性的可配置，并且能够对存储的规则进行快速检索、组合和匹配。
具体实施时，物联网采集数据处理装置一般部署于服务端，但由于通过规则同步模块将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中，使得物联网采集数据处理装置处理物联网采集数据的效率非常高。
下面给出一具体实施例，来说明本发明实施例提出的物联网采集数据处理装置的具体应用。
在本实施例中，图2为本发明实施例中采用物联网采集数据处理装置进行物联网采集数据处理的流程图，如图2所示，首先采用规则定义模块接收用户采用JSON格式的数据结构表示的数据处理规则，所述JSON格式的数据结构包括规则名称、Avitor表达式求值语句和目标操作，具体结构如下：
Figure BDA0002310759860000081
本实施例中，数据处理规则的触发前置条件、数据源和数据组装方式均使用文本格式的语句如Avitor的表达式求值语句，但不局限于此，也可以使用其他文本格式的语句。例如，也可以使用SQL语句直接进行数据库操作。
下面为用Avitor表达式求值语句表示数据处理规则的内容的示例：
语句：
EXECUTE“(LAMBDA(dev_event_msgs.x，dev_event_msgs.y,，dev_event_msgs.z)->x+y+z end)；
AVG(dev_event_msgs.d)dev_event_msgs.b>15.5；
(LAMBDA(dev_event_msgs.id)->devId end)；”
SOURCE“/DATA_TOPIC/DATA_UPLOAD”
上述语句为ruleEl，即Avitor表达式求值语句；该语句的SOURCE部分对应于数据源，EXECUTE部分对应于触发前置条件和数据组装方式。Avitor表达式求值语句的EXECUTE可以在词法分析器上快速运行，其中：
SOURCE部分的“/DATA_TOPIC/DATA_UPLOAD”，表示事件消息队列的订阅主题，也就是说，这条规则针对Topic为“/DATA_TOPIC/DATA_UPLOAD”的数据上传事件消息队列，其他事件消息队列不用匹配。
EXECUTE部分的”dev_event_msgs.b>15.5”，表示SOURCE部分指定的采样数据和操作指令等事件消息队列有事件消息来了进行的条件判断，其条件是：数据项dev_event_msgs下属性b的值大于15.5。
EXECUTE部分的“AVG(dev_event_msgs.d)dev_event_msgs.b>15.5；”，表示从事件消息中提取的数据项dev_event_msgs下属性b的值大于15.5后，对数据项dev_event_msgs下属性d求平均值。
EXECUTE部分的“(LAMBDA(dev_event_msgs.x，dev_event_msgs.y，dev_event_msgs.z)->x+y+z end)”，表示从事件消息中提取的数据项dev_event_msgs下属性x,y,z的和求值或字符串连接求值。
EXECUTE部分的“(LAMBDA(dev_event_msgs.id)->devId end)；”，表示从事件消息中提取的数据项dev_event_msgs下属性id(即接入设备标识)，在表达式执行完毕后需要将哪些数据项和属性组装出来。这些数据项和属性最后可以组装成JSON格式，在执行目标操作过程中使用。
在上述示例的语句中，表示的数据组装方式是：需要提取接入设备标识devId和数据项dev_event_msgs下属性x、y、z、d的值，并且对属性x、y、z的所有值求和或做字符串连接，以及对属性d符合条件的所有值做平均值运算，这里AVG()表示平均值表达式。
本实施例中，数据处理规则中的数据项及其下属属性使用表达式，可以提取数据的任何字段。例如，如果一个接入设备采集数据的采样特征包含如下多级属性：
Figure BDA0002310759860000091
当数据处理规则是“当field1的值大于XX时，执行XXX操作”，可以使用属性表达式：“field1>XX”；
当数据处理规则是“当field2的中间子属性field3的值大于XX时，执行XXX操作”，可以使用属性表达式：“field2[1].field3>XX”。；
当数据处理规则是“当field4中的子属性field5的值大于XX时，数据流转到XXX”，可以使用属性表达式：“field4.field5>XX”。
具体地，上述示例语句中EXECUTE部分都使用JSON格式来表示属性值(在其他实施例中也可以采用XML格式、Thrift格式、自定义格式等其他格式)。例如，JSON PATH(‘dev_event_msgs.b’)意味着查找事件消息内数据项dev_event_msgs下的属性b的值，也可以支持数组以及通配符(index、*、？)；再例如JSON PATH(‘dev_event_msgs[0].b’)表示查找数组dev_event_msgs下标(index)为0的数据项下属性b的值。如果使用通配符(index、*、？)可能得到一个包含多个结果的数组值列表。描述时JSON PATH是可选的，例如dev_event_msgs.b默认等价于EXECUTE JSON PATH(‘dev_event_msgs.b’)属性值的处理，同时兼容属性值批量高效处理。通过合理设计的语法和词法分析器，物联网采集数据处理装置可以支持对Avitor语法的表达式求值语句中属性的动态解析。
数据处理规则中的目标操作可以根据各个业务实际需求来定义，其中一个或多个目标操作可形成一个操作列表，目标操作包括数据流转操作，数据流转操作可以包括多个数据流转方向，具体的结构可以自定义，也可以采用已有的数据结构。例如，数据流转方向定义为{target：’MySQL’，config：’MySQL参数’}，(target：’MySQL’)表示把组装好的数据存储到关系型数据库服务(示例为MySQL)的存储硬件(如硬盘)，(config：’MySQL参数’)表示MySQL数据库的配置参数。
在采用规则定义模块预先配置数据处理规则后，规则同步模块对预先配置的数据处理规则进行预编译时，生成数据处理规则与数据源的事件消息队列的订阅主题的索引关联关系；将预编译后的数据处理规则和对应的索引关联关系同步至物联网接入网关，并加载至物联网接入网关的缓存中。
规则匹配模块根据数据处理规则和对应的索引关联关系，确定待适配的事件消息队列；基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对待适配的事件消息队列中的采集数据的采样特征进行数据处理规则的适配。也就是说，通过事件消息队列的订阅主题达到对数据初步的过滤。
规则执行模块在获得适配成功的数据处理规则后，解析所述数据处理规则，获得数据组装方式；根据数据组装方式，确定目标操作需使用的数据；基于目标操作需使用的数据，按照多个目标操作之间的执行顺序关系，执行适配成功的数据处理规则中的目标操作。值得注意的是，本实施例是在适配之后，再解析数据组装方式并组装得到目标操作需使用的数据，如果未获得适配成功的数据处理规则，则不进行该处理步骤，因而可以降低处理资源的占用率。需要说明的是，有些数据处理规则的目标操作并不需要使用数据，也就无需定义数据组装方式和进行数据组装的处理。
图3为本发明实施例中物联网采集数据处理装置的架构与执行的示意图，如图3所示，各类设备和应用连接至物联网接入网关，进行数据采集，并将采集数据的采样特征存储于事件消息队列；用户可以通过物联网采集数据处理装置的规则定义模块定义数据处理规则，对数据处理规则的定义包括：定义数据处理规则中的Avitor表达式求值语句、规则中的触发前置条件以及数据处理规则的数据源的事件消息队列的订阅主题。规则定义可以使用其它方式，例如JRules或Drools的规则定义(JRules和Drools都是开源业务规则引擎)，但比Avitor表达式求值语句学习成本高，且仅针对Java语言。如果使用JRules或Drools实现，那么规则的解析不能使用Avitor表达式求值语句编译，而是使用JRules和Drools的专用规则解析。
在采用规则定义模块完成数据处理规则的预先配置后，物联网采集数据处理装置的规则同步模块对预先配置的数据处理规则进行预编译，将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中。
图3中，物联网接入网关向物联网采集数据处理装置(可位于服务端)发送事件消息，当有事件消息推送时，物联网采集数据处理装置首先提取事件消息所在事件消息队列的订阅主题，规则匹配模块进行适配，如果获得适配成功的数据处理规则，则执行下一步，否则不对该事件消息进行处理。
如果事件消息的内容本身是JSON格式的文本，规则引擎将其直接转换为JSON对象，例如{‘device’：‘照明1’,info：{‘status’：1,’level’：45}}，表示接入终端设备为照明设备，属性status的值为1，即状态为开启，属性level的值为45级，即亮度级别45。否则，可将全部数据项转换为普通文本并使用JSON格式：{data：’解析后的字符串’}。
规则执行模块获得适配成功的数据处理规则后，解析所述数据处理规则，所述数据规则为预编译后的数据处理规则，使用预编译的Avitor表达式求值语句，这些预编译后的数据处理规则通常是一个词法分析器(例如Antlr)组装的结果，在规则匹配模块中判断了Avitor语句EXECUTE部分定义的触发前置条件或表达式求值语句是否满足，和普通Avitor语句不一样的是EXECUTE里面的取值来源是JSON的表达式求值语句，例如：”EXECUTE…device_threshold.c>5”,按照上述示例，该触发前置条件成立时返回true；如果EXECUTE是true的话，规则执行模块再解析基于Avitor语法的表达式求值语句EXECUTE部分的内容，例如：”EXECUTE…AVG(level),status”，表示提取status值和属性level的值，并对level的值做平均值运算，解析后组装JSON格式的数据：{‘AVG(level)’：35,‘status’：1}，组装的数据将用于后续的目标操作。
执行目标操作。假设数据处理规则定义了两个目标操作：目标操作一是将组装的数据存储到数据库；目标操作二是将组装的数据转发到另外接入设备的指定队列Topic。这两个数据处理规则的目标操作的执行顺序关系是并行执行，物联网采集数据处理装置使用多线程并行或者多进程隔离执行。如果两个目标操作为顺序执行，即目标操作二依赖前置步骤目标操作一，则先执行目标操作一并确定目标操作一执行完成后，再执行目标操作二。
本发明实施例至少具有以下优点：
一，数据处理规则采用文本格式的Avitor表达式求值语句定义，取代了编程式的代码逻辑判断。如可以采用Avitor表达式求值语句：EXECUTE…SOURCE“Event MessageTopic”，即“EXECUTE El-condition”，其中，EL是表达式的英文缩写，condition表示条件，用Avitor表达式求值语句取代了编程式的代码逻辑判断。具有以下效果：
(1)属性过滤可以使用Avitor表达式求值语句，例如当AVG(属性1的值)＝50时，执行XXX步骤；
(2)数据处理规则在存储时的存储结构是一个文本格式的Avitor表达式求值语句(基于Avitor语法的表达式求值语句)，可以存放在服务端，也可以存放在物联网接入网关(物联网终端设备接入端)，无需数据库的支持。也可以通过服务端配置，实时同步到物联网接入网关去加载运行，使得上述规则在物联网接入网关等参边缘计算场景也可以运行。例如，“当公园傍晚天黑了，如果当前环境亮度不足预设阈值则自动开路灯和照明设备”，这个规则可以在一个接入网关设备，例如，公园园区内网触发和执行，无需服务端判断触发前置条件。
(3)Avitor表达式求值语句简单易于学习，同时扩展性良好。而且本实施例的语句定义比传统的语句扩展支持了JSON格式语句。
二，数据处理规则中的数据项及其属性使用Avitor表达式求值语句，可以提取数据的任何字段。
三，数据处理规则的适配效率提升，特别的，在物联网海量事件消息的高并发环境下使用时，数据处理规则的适配效率得到显著提升。
(1)本实施例在规则同步模块中，对预先配置的数据处理规则进行预编译时，生成数据处理规则与数据源的事件消息队列的订阅主题的索引关联关系，将预编译后的数据处理规则和对应的索引关联关系同步至物联网接入网关，并加载至物联网接入网关的缓存中，接收到事件消息经后经订阅主题的隔离过滤可实现后续的快速适配，无关事件消息无需解析。
(2)通过使用词法分析器，快速运行Avitor表达式求值语句的EXECUTE条件，用于后续步骤的数据，每个步骤可以实现异步解耦，支持并行处理。
(3)从物联网接入网关的缓存获得预编译后的数据处理规则执行快速高效，这个过程没有数据库IO等造成性能瓶颈的操作，提升了处理性能。
四，一条数据处理规则的多个步骤配置执行顺序关系，可以配置为前置依赖即串行执行，也可以配置为并行执行，进一步提升执行效率，并保证执行成功。
综上所述，在本发明实施例中提出的装置中，规则同步模块，用于对预先配置的数据处理规则进行预编译，将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中，所述数据处理规则包括触发前置条件和目标操作；规则匹配模块，用于基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，所述采集数据是在物联网接入网关处采集的；规则执行模块，用于在获得适配成功的数据处理规则后，执行适配成功的数据处理规则中的目标操作。在上述过程中，规则同步模块对预先配置的数据处理规则进行预编译，并将预编译后的数据处理规则同步至物联网接入网关，使得规则匹配模块可以直接从基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，而不用从数据库中读取这些数据处理规则，从而提高了适配的效率，进而提高了物联网采集数据处理的效率。
基于同样的发明构思，本发明实施例还提供了一种物联网采集数据处理方法，如下面的实施例所述。由于这些解决问题的原理与物联网采集数据处理装置相似，因此方法的实施可以参见装置的实施，重复之处不在赘述。
图4为本发明实施例中物联网采集数据处理方法的流程图，如图4所示，该方法包括：
步骤401，对预先配置的数据处理规则进行预编译，将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中，所述数据处理规则包括触发前置条件和目标操作；
步骤402，基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，所述采集数据是在物联网接入网关处采集的；
步骤403，在获得适配成功的数据处理规则后，执行适配成功的数据处理规则中的目标操作。
在一实施例中，数据处理规则包括数据组装方式；
在获得适配成功的数据处理规则后，执行适配成功的数据处理规则中的目标操作，包括：
在获得适配成功的数据处理规则后，解析所述数据处理规则，获得数据组装方式；
根据数据组装方式，确定目标操作需使用的数据；
基于目标操作需使用的数据，执行所述数据处理规则中的目标操作。
在一实施例中，数据处理规则包括数据源，所述数据源采用事件消息队列的订阅主题来标识，所述事件消息队列用于存储采集数据的采样特征。
在一实施例中，对预先配置的数据处理规则进行预编译，将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中，包括：
对预先配置的数据处理规则进行预编译时，生成数据处理规则与数据源的事件消息队列的订阅主题的索引关联关系；
将预编译后的数据处理规则和对应的索引关联关系同步至物联网接入网关，并加载至物联网接入网关的缓存中。
在一实施例中，基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，包括：
根据数据处理规则和对应的索引关联关系，确定待适配的事件消息队列；
基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对待适配的事件消息队列中的采集数据的采样特征进行数据处理规则的适配。
在一实施例中，数据处理规则包括多个目标操作，所述多个目标操作之间存在执行顺序关系；
在获得适配成功的数据处理规则后，执行适配成功的数据处理规则中的目标操作，包括：
在获得适配成功的数据处理规则后，按照多个目标操作之间的执行顺序关系，执行适配成功的数据处理规则中的目标操作。
在一实施例中，所述触发前置条件、数据组装方式和数据源采用Avitor表达式求值语句来表示。
在一实施例中，所述方法还包括接收用户采用JSON格式的数据结构表示的数据处理规则。
综上所述，在本发明实施例提出的方法中，对预先配置的数据处理规则进行预编译，将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中，所述数据处理规则包括触发前置条件和目标操作；基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，所述采集数据是在物联网接入网关处采集的；在获得适配成功的数据处理规则后，执行适配成功的数据处理规则中的目标操作。在上述过程中，对预先配置的数据处理规则进行预编译，并将预编译后的数据处理规则同步至物联网接入网关，使得规则匹配模块可以直接从基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，而不用从数据库中读取这些数据处理规则，从而提高了适配的效率，进而提高了物联网采集数据处理的效率。
本发明实施例还提出一种物联网采集数据处理系统。
图5为本发明实施例中物联网采集数据处理系统的示意图，如图5所示，该系统包括：
物联网采集数据处理装置，采集数据获得模块，其中，
采集数据获得模块，用于获得物联网接入网关的采集数据。
具体实施时，物联网接入网关可以为物联网终端设备接入端。
综上所述，在本发明实施例提出的系统中，物联网采集数据处理装置的规则同步模块用于对预先配置的数据处理规则进行预编译，将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中，所述数据处理规则包括触发前置条件和目标操作；规则匹配模块，用于基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，所述采集数据是在物联网接入网关处采集的；规则执行模块，用于在获得适配成功的数据处理规则后，执行适配成功的数据处理规则中的目标操作。在上述过程中，规则同步模块对预先配置的数据处理规则进行预编译，并将预编译后的数据处理规则同步至物联网接入网关，使得规则匹配模块可以直接从基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，而不用从数据库中读取这些数据处理规则，从而提高了适配的效率，进而提高了物联网采集数据处理的效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种物联网采集数据处理装置，其特征在于，包括：
规则同步模块，用于对预先配置的数据处理规则进行预编译，将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中，所述数据处理规则包括触发前置条件和目标操作；
规则匹配模块，用于基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，所述采集数据是在物联网接入网关处采集的；
规则执行模块，用于在获得适配成功的数据处理规则后，执行适配成功的数据处理规则中的目标操作。
2.如权利要求1所述的物联网采集数据处理装置，其特征在于，数据处理规则包括数据组装方式；
规则执行模块具体用于：
在获得适配成功的数据处理规则后，解析所述数据处理规则，获得数据组装方式；
根据数据组装方式，确定目标操作需使用的数据；
基于目标操作需使用的数据，执行所述数据处理规则中的目标操作。
3.如权利要求1所述的物联网采集数据处理装置，其特征在于，数据处理规则包括数据源，所述数据源采用事件消息队列的订阅主题来标识，所述事件消息队列用于存储采集数据的采样特征。
4.如权利要求3所述的物联网采集数据处理装置，其特征在于，规则同步模块具体用于：
对预先配置的数据处理规则进行预编译时，生成数据处理规则与数据源的事件消息队列的订阅主题的索引关联关系；
将预编译后的数据处理规则和对应的索引关联关系同步至物联网接入网关，并加载至物联网接入网关的缓存中。
5.如权利要求4所述的物联网采集数据处理装置，其特征在于，规则匹配模块具体用于：
根据数据处理规则和对应的索引关联关系，确定待适配的事件消息队列；
基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对待适配的事件消息队列中的采集数据的采样特征进行数据处理规则的适配。
6.如权利要求1所述的物联网采集数据处理装置，其特征在于，数据处理规则包括多个目标操作，所述多个目标操作之间存在执行顺序关系；
规则执行模块具体用于：在获得适配成功的数据处理规则后，按照多个目标操作之间的执行顺序关系，执行适配成功的数据处理规则中的目标操作。
7.如权利要求1至6任一项所述的物联网采集数据处理装置，其特征在于，所述触发前置条件、数据组装方式和数据源采用Avitor表达式求值语句来表示。
8.如权利要求7所述的物联网采集数据处理装置，其特征在于，还包括规则定义模块，用于：
接收用户采用JSON格式的数据结构表示的数据处理规则。
9.一种物联网采集数据处理方法，其特征在于，包括：
对预先配置的数据处理规则进行预编译，将预编译后的数据处理规则同步至物联网接入网关，并加载至物联网接入网关的缓存中，所述数据处理规则包括触发前置条件和目标操作；
基于物联网接入网关的缓存中的数据处理规则的触发前置条件，对采集数据的采样特征进行数据处理规则的适配，所述采集数据是在物联网接入网关处采集的；
在获得适配成功的数据处理规则后，执行适配成功的数据处理规则中的目标操作。
10.一种物联网采集数据处理系统，其特征在于，包括权利要求1至8任一项所述的物联网采集数据处理装置，采集数据获得模块，其中，
采集数据获得模块，用于获得物联网接入网关的采集数据。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求9所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求9所述方法的计算机程序。
CN201911257735.1A 2019-12-10 2019-12-10 物联网采集数据处理装置、方法及系统 Pending CN110995846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911257735.1A CN110995846A (zh) 2019-12-10 2019-12-10 物联网采集数据处理装置、方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911257735.1A CN110995846A (zh) 2019-12-10 2019-12-10 物联网采集数据处理装置、方法及系统

Publications (1)

Publication Number Publication Date
CN110995846A true CN110995846A (zh) 2020-04-10

Family

ID=70091899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911257735.1A Pending CN110995846A (zh) 2019-12-10 2019-12-10 物联网采集数据处理装置、方法及系统

Country Status (1)

Country Link
CN (1) CN110995846A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111770182A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 数据推送方法和装置
CN111897807A (zh) * 2020-07-01 2020-11-06 拉扎斯网络科技（上海）有限公司 一种数据处理方法以及策略引擎系统
CN112199206A (zh) * 2020-08-28 2021-01-08 杭州数云信息技术有限公司 基于事件机制模板对实时流事件配置化处理方法及系统
CN112333292A (zh) * 2021-01-06 2021-02-05 苏州光格设备有限公司 一种电力物联网关边缘计算方法
CN112559808A (zh) * 2020-12-17 2021-03-26 北京百度网讯科技有限公司 数据处理方法、装置以及电子设备
CN112738216A (zh) * 2020-12-28 2021-04-30 北京金山云网络技术有限公司 一种设备适配方法、装置、设备和计算机可读存储介质
CN112948479A (zh) * 2021-04-16 2021-06-11 深圳市今天国际物流技术股份有限公司 一种基于aviator数据结构之间相互转换方法
CN113341900A (zh) * 2021-06-24 2021-09-03 昆山罗亿智能科技有限公司 一种零代码配置的工业设备数据采集系统
CN113434228A (zh) * 2021-06-21 2021-09-24 青岛海尔科技有限公司 页面的请求方法、装置、存储介质及电子装置
CN113688284A (zh) * 2021-10-26 2021-11-23 湖北亿咖通科技有限公司 车联网业务数据的处理方法、装置、电子设备和存储介质
CN113765777A (zh) * 2021-11-08 2021-12-07 通号通信信息集团有限公司 设备控制方法、消息中转方法、设备、可读介质和物联网
CN113973121A (zh) * 2020-07-06 2022-01-25 腾讯科技（深圳）有限公司 物联网数据处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140053070A1 (en) * 2012-06-05 2014-02-20 Dimensional Insight Incorporated Guided page navigation
CN106685815A (zh) * 2017-01-04 2017-05-17 上海建坤信息技术有限责任公司 一种多协议硬件采集网关系统
CN108399176A (zh) * 2017-02-07 2018-08-14 阿里巴巴集团控股有限公司 一种基于规则的数据处理方法及规则引擎装置
CN109450786A (zh) * 2018-12-25 2019-03-08 上海上实龙创智慧能源科技股份有限公司 一种基于规则引擎的边缘网关
CN109889551A (zh) * 2019-04-16 2019-06-14 湖南树华环保科技有限公司 一种智能硬件接入的物联网云平台的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140053070A1 (en) * 2012-06-05 2014-02-20 Dimensional Insight Incorporated Guided page navigation
CN106685815A (zh) * 2017-01-04 2017-05-17 上海建坤信息技术有限责任公司 一种多协议硬件采集网关系统
CN108399176A (zh) * 2017-02-07 2018-08-14 阿里巴巴集团控股有限公司 一种基于规则的数据处理方法及规则引擎装置
CN109450786A (zh) * 2018-12-25 2019-03-08 上海上实龙创智慧能源科技股份有限公司 一种基于规则引擎的边缘网关
CN109889551A (zh) * 2019-04-16 2019-06-14 湖南树华环保科技有限公司 一种智能硬件接入的物联网云平台的方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111770182A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 数据推送方法和装置
CN111770182B (zh) * 2020-06-30 2022-05-31 北京百度网讯科技有限公司 数据推送方法和装置
CN111897807A (zh) * 2020-07-01 2020-11-06 拉扎斯网络科技（上海）有限公司 一种数据处理方法以及策略引擎系统
CN113973121A (zh) * 2020-07-06 2022-01-25 腾讯科技（深圳）有限公司 物联网数据处理方法、装置、电子设备及存储介质
CN112199206A (zh) * 2020-08-28 2021-01-08 杭州数云信息技术有限公司 基于事件机制模板对实时流事件配置化处理方法及系统
CN112199206B (zh) * 2020-08-28 2023-12-26 杭州数云信息技术有限公司 基于事件机制模板对实时流事件配置化处理方法及系统
CN112559808A (zh) * 2020-12-17 2021-03-26 北京百度网讯科技有限公司 数据处理方法、装置以及电子设备
CN112559808B (zh) * 2020-12-17 2023-07-25 北京百度网讯科技有限公司 数据处理方法、装置以及电子设备
CN112738216A (zh) * 2020-12-28 2021-04-30 北京金山云网络技术有限公司 一种设备适配方法、装置、设备和计算机可读存储介质
CN112333292B (zh) * 2021-01-06 2021-05-04 苏州光格科技股份有限公司 一种电力物联网关边缘计算方法
CN112333292A (zh) * 2021-01-06 2021-02-05 苏州光格设备有限公司 一种电力物联网关边缘计算方法
CN112948479A (zh) * 2021-04-16 2021-06-11 深圳市今天国际物流技术股份有限公司 一种基于aviator数据结构之间相互转换方法
CN113434228A (zh) * 2021-06-21 2021-09-24 青岛海尔科技有限公司 页面的请求方法、装置、存储介质及电子装置
CN113341900A (zh) * 2021-06-24 2021-09-03 昆山罗亿智能科技有限公司 一种零代码配置的工业设备数据采集系统
CN113688284A (zh) * 2021-10-26 2021-11-23 湖北亿咖通科技有限公司 车联网业务数据的处理方法、装置、电子设备和存储介质
CN113765777A (zh) * 2021-11-08 2021-12-07 通号通信信息集团有限公司 设备控制方法、消息中转方法、设备、可读介质和物联网

Similar Documents

Publication Publication Date Title
CN110995846A (zh) 物联网采集数据处理装置、方法及系统
US11582123B2 (en) Distribution of data packets with non-linear delay
US10061858B2 (en) Method and apparatus for processing exploding data stream
KR101079570B1 (ko) 검색 웹 서비스
US20120137276A1 (en) Processing of expressions
CN115373977A (zh) 实时数据流编程中模式驱动反应的组合
CN110457178A (zh) 一种基于日志采集分析的全链路监控告警方法
CN108399176A (zh) 一种基于规则的数据处理方法及规则引擎装置
WO2013170587A1 (zh) 一种多媒体问答系统及方法
US11704313B1 (en) Parallel branch operation using intermediary nodes
CN109815283A (zh) 一种异构数据源可视化查询方法
CN108509501A (zh) 一种查询处理方法、服务器及计算机可读存储介质
US11347695B2 (en) Clustered search head configuration synchronization
US11886844B1 (en) Updating reusable custom functions across playbooks
CN110858192A (zh) 一种日志查询方法和系统、日志排查系统和查询终端
CN114830080B (zh) 数据分发流程配置方法及装置、电子设备、存储介质
CN114338746A (zh) 一种用于物联网设备数据收集的分析预警方法及系统
CN108520052A (zh) 慢查询信息检索方法、装置、服务器及可读存储介质
Lu et al. The design and implementation of configurable news collection system based on web crawler
Tao et al. Facilitating Twitter data analytics: Platform, language and functionality
CN112732663A (zh) 一种日志信息处理方法及装置
CN114830615A (zh) 数据分发系统及数据分发方法
KR101055552B1 (ko) 이기종 센서 네트워크의 데이터 통합 센서 네트워크 미들웨어 시스템
WO2023092981A1 (zh) 流式数据处理方法、规则插件、流式数据处理模块及系统
CN108810095A (zh) 一种新闻推送方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200410

WD01 Invention patent application deemed withdrawn after publication