CN111177178A

CN111177178A - 一种数据处理方法及相关设备

Info

Publication number: CN111177178A
Application number: CN201911225044.3A
Authority: CN
Inventors: 刘真余; 王亚晨
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2019-12-03
Filing date: 2019-12-03
Publication date: 2020-05-19
Anticipated expiration: 2039-12-03
Also published as: CN111177178B

Abstract

本申请实施例提供了一种数据处理方法及相关设备，可以提高对物联网设备数据的查询效率，降低查询时延。该方法包括:获取结构化查询语言SQL语句，所述SQL语句为所述目标设备对应的SQL语句；对所述SQL语句进行预处理，得到目标SQL语句；根据所述目标SQL语句对目标边缘数据库进行查询，以得到所述SQL语句对应的目标数据，所述目标边缘数据库为云端服务器对应的至少两个边缘数据库中的一个，且所述目标设备与所述目标边缘数据库相对应；根据所述目标数据生成所述SQL语句对应的目标查询结果；输出所述目标查询结果。

Description

一种数据处理方法及相关设备

技术领域

本申请涉及物联网领域，尤其涉及一种数据处理方法及相关设备。

背景技术

目前存储设备数据主要有两种方式，一种是设备通过网络上传到应用服务器或云端，一种是数据暂时存储在设备端，积累到一定的数据量后打包上传到应用服务器或云端。

存储在应用服务器主要采用关系型数据库和时序数据库，存储在设备端的主要采用嵌入式数据库。数据库主要提供数据的存储与业务查询功能，物联网场景的业务主要包括执行规则引擎流程、滑动窗口查询、异常数据分析、自动报表等，因此对时序数据的分组聚合查询有很高的要求。

关系型数据库对时序数据类型的分组、排序、聚合查询效率较低，查询耗时长。当数据量越大，查询越慢，导致业务延时越大，普通时序数据库消耗CPU和内存大，嵌入式数据库对物联网设备的高并发写入支持较差。

发明内容

本申请提供了一种数据处理方法及相关设备，可以提高物联网中设备的设备数据的查询效率，降低查询时延。

本申请实施例第一方面提供一种数据处理方法，应用于物联网系统，包括：

获取结构化查询语言SQL语句，所述SQL语句为所述目标设备对应的SQL语句，所述目标设备为所述物联网系统中的设备；

对所述SQL语句进行预处理，得到目标SQL语句；

根据所述目标SQL语句对目标边缘数据库进行查询，以得到所述SQL语句对应的目标数据，所述目标边缘数据库为云端服务器对应的至少两个边缘数据库中的一个，且所述目标设备与所述目标边缘数据库相对应；

根据所述目标数据生成所述SQL语句对应的目标查询结果；

输出所述目标查询结果。

可选地，所述方法还包括：

实时获取所述目标设备对应的包含时序的目标设备数据；

将所述目标设备数据按照第一预设规则存储至所述目标边缘数据库。

可选地，所述目标边缘数据库包含磁盘存储区，所述将所述目标设备数据按照第一预设规则存储至所述目标边缘数据库包括：

将所述目标设备数据按照数据块格式以及时间关键字递增排列的方式存储至所述磁盘存储区，其中，所述磁盘存储区中的每个数据块按列存储，且相同类型的设备数据存储在所述磁盘存储区中的同一个数据区域。

可选地，所述目标边缘数据库包含内存存储区，所述将所述目标设备数据按照预设规则存储至所述目标边缘数据库包括：

将所述目标设备数据存储至日志缓存区，所述日志缓存区为所述内存存储区中的第一特定缓存区域；

当达到第一预设条件时，将所述日志缓存区中的设备数据存储至所述磁盘存储区。

可选地，所述方法还包括：

将所述目标设备数据存储至目标缓存区，所述目标缓存区还存储有所述云端服务器下发的所述目标设备的配置信息，所述日志缓存区为所述内存存储区中的第二特定缓存区域；

当达到第二预设条件时，将所述目标设备的配置信息发送至所述目标设备。

可选地，所述根据所述目标SQL语句对目标边缘数据库进行查询，以得到所述SQL语句对应的目标数据包括：

根据所述目标SQL语句对所述日志缓存区进行查询；

当所述日志缓存区中未查询到所述目标数据时，根据所述目标SQL语句对所述磁盘存储区进行查询，得到所述目标数据。

可选地，所述对所述SQL语句进行预处理，得到目标SQL语句包括：

对所述SQL语句进行词法解析，得到N个词法单元，其中，N为大于或等于1的正整数；

对目标词法单元进行语法解析，以生成抽象语法树，所述目标词法单元为所述N个词法单元中的任意一个；

基于所述抽象语法树以及目标元数据对SQL语句进行语义检查，得到M个执行SQL语句，所述目标元数据与所述目标边缘数据库相对应，M为大于或等于1的正整数；

通过预设算法对所述M个执行SQL语句进行计算，得到所述目标SQL语句，所述目标SQL语句为所述M个执行SQL语句中执行成本最低的SQL语句。

可选地，所述方法还包括：

按照第二预设规则将所述磁盘存储区中存储的所述目标设备的设备数据发送至所述云端服务器，以使得所述云端服务器对所述目标设备的设备数据进行处理，得到处理结果，并返回所述处理结果至所述目标缓存区。

本申请实施例第二方面提供了一种数据处理装置，应用于物联网系统，包括：

获取单元，用于获取结构化查询语言SQL语句，所述SQL语句为所述目标设备对应的SQL语句，所述目标设备为所述物联网系统中的设备；

SQL优化单元，用于对所述SQL语句进行预处理，得到目标SQL语句；

查询单元，用于根据所述目标SQL语句对目标边缘数据库进行查询，以得到所述SQL语句对应的目标数据，所述目标边缘数据库为云端服务器对应的至少两个边缘数据库中的一个，且所述目标设备与所述目标边缘数据库相对应；

生成单元，用于根据所述目标数据生成所述SQL语句对应的目标查询结果；

输出单元，用于输出所述目标查询结果。

可选地，所述获取单元，还用于实时获取所述目标设备对应的包含时序的目标设备数据；

所述数据处理装置还包括：

存储单元，用于将所述目标设备数据按照第一预设规则存储至所述目标边缘数据库。

可选地，所述目标边缘数据库包含磁盘存储区，所述存储单元具体用于：

可选地，所述目标边缘数据库包含内存存储区，所述存储单元还具体用于：

可选地，所述存储单元还用于：

所述输出单元，还用于当达到第二预设条件时，将所述目标设备的配置信息发送至所述目标设备。

可选地，所述查询单元具体用于：

根据所述目标SQL语句对所述日志缓存区进行查询；

可选地，所述SQL优化单元具体用于：

可选地，所述存储单元还用于：

本申请实施例第三方面提供了一种计算机装置，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述程序代码由所述处理器加载并执行以实现上述各方面所述的数据处理方法的步骤。

本申请实施例第四方面提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述各方面所述的数据处理方法的步骤。

综上所述，可以看出，本申请中，在对物联网中的设备数据进行查询时，优化了查询SQL语句，得到执行成本最低的目标SQL语句，且由于该物联网中的设备的设备数据是在目标边缘数据库进行存储，这样在通过目标SQL语句进行对目标边缘数据库查询时，可以提高查询效率，降低查询时延。

附图说明

图1为本申请实施例提供的物联网的一个网络架构示意图：

图2为本申请实施例提供的物联网的另一网络架构示意图：

图3为本申请实施例提供的数据处理方法的流程示意图；

图4为本申请实施例提供的抽象语法树的结构示意图；

图5为本申请提供的目标边缘数据库的磁盘存储区的数据存储结构示意图；

图6为本申请实施例提供的设备数据写入预写日志的流程示意图；

图7为本申请实施例提供的物联网的另一网络架构示意图；

图8为本申请实施例提供的数据处理装置的虚拟结构示意图；

图9为本申请实施例提供的服务器的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征向量可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。

请参阅图1，图1为本申请实施例提供的物联网的一个网络架构图，包括：

物联网设备101、网络102、物联网应用服务器103，物联网设备101将传感器数据通过网络102直接上传到物联网应用服务器103，对于海量的物联网设备需要较大的带宽。物联网服务器管理所有物联网设备的设备数据的整个生命周期，清洗、转换、预处理后入库，数据处理出现异常将有可能引发整个系统崩溃。

物联网数据对分组、聚合查询有很高的要求，如果传感器意外传输了一次异常值(如天气温度数值达到60摄氏度)，为避免误报，物联网服务器将最新几次上传的天气温度数值的均值或中位数作为监测依据，基于行存储的数据库对分组、聚合查询支持较差。由于，设备数据随时间增加，所有的设备数据都会存储在设备数据库，随着时间的推移，设备数据库存储的数据量越来越大，在对设备数据库进行查询时，时延也越来越大。

有鉴于此，本申请实施例提供了一种“云-边-端”的边缘计算方案将物联网中物联网设备的设备数据的生命周期管理放在分布的边缘端，满足业务处理低时延要求。同时，将设备数据在边缘数据库中按列存储方式，对设备数据能够实现高吞吐的读写，为海量设备数据提供分组、排序、聚合高效查询能力，保障物联网应用实时业务决策。

请参阅图2，图2为本申请实施例提供的物联网的另一网络架构图，包括：

物联网设备201(可以为风扇、洗衣机、微波炉等等设备，当然也还可以包括其他的设备，例如电灯以及热水器等等，具体不做限定)、边缘网关202、边缘端203、计算网关204以及云端服务器205，边缘端203通过边缘网关202与物联网设备201建立通信连接，边缘端203通过计算网关204与云端服务器205建立通信连接，边缘端203与终端物联网设备201通过边缘网络网关202传输数据，边缘端203通过计算网关204将物联网数据发送至云端服务器205，并接收云端服务器205根据物联网数据确定的优化结果。具体的，边缘端203获取结构化查询语言SQL语句，该SQL语句为目标设备对应的SQL语句，目标设备为物联网设备中的一个设备，例如是风扇，对SQL语句进行预处理，得到目标SQL语句，并根据目标SQL语句对目标边缘数据库进行查询，以得到SQL语句对应的目标数据，目标边缘数据库为云端服务器205对应的至少两个边缘数据库中的一个，且目标设备与目标边缘数据库相对应；根据目标数据生成SQL语句对应的目标查询结果；输出目标查询结果。由于该目标边缘数据库为云端服务器对应的至少两个边缘数据库中的一个，且目标边缘数据库与目标设备相对应，保证物联网设备对应的设备数据进行存储，这样首先对SQL语句进行优化处理，且将物联网设备的设备数据进行存储，在物联网设备进行数据查询时，可以提高查询效率，减少查询延时。

需要说明的是，为适应边缘端203的资源局限，边缘端203对应的物联网边缘数据库应占内存小，符合ACID安全可靠，支持SQL优化，提供多种索引方法以及紧凑的压缩存储。提供各语言的API客户端(如.NET，C/C++，Java，Go等)调用，支持部署在Linux操作系统、Windows操作系统以及MacOS操作系统。边缘计算网关204与云端服务器205离线情况下，能够将物联网设备的设备数据存储在边缘端203，保障边缘区域的自治。与云端服务器重新连接后，进行数据更新，以保证数据面和控制面的一致性。

还需要说明的是，ACID为事务的原子性(Atomicity)、事务的一致性(Consistency)、独立性(Isolation)以及持久性(Durability)。

事务的原子性(Atomicity)：是指一个事务要么全部执行，要么不执行，也就是说一个事务不可能只执行了一半就停止了。比如从取款机取钱，这个事务可以分成两个步骤：1划卡，2出钱，不可能划了卡，而钱却没出来。这两步必须同时完成，要么就不完成；

事务的一致性(Consistency)：是指事务的运行并不改变数据库中数据的一致性。例如，完整性约束了a+b＝10，一个事务改变了a，那么b也应该随之改变；

独立性(Isolation)：事务的独立性也有称作隔离性，是指两个以上的事务不会出现交错执行的状态。因为这样可能会导致数据不一致；

持久性(Durability)：事务的持久性是指事务执行成功以后，该事务对数据库所作的更改便是持久的保存在数据库之中，不会无缘无故的回滚。

下面从数据处理装置的角度对本申请实施例提供的数据处理方法进行说明，该数据处理装置可以为服务器，也可以为服务器中的服务单元，具体不做限定。

请参阅图3，图3为本申请实施例提供的数据处理方法的流程示意图，该数据处理方法应用于物联网系统，包括：

301、获取结构化查询语言SQL语句。

本实施例中，数据处理装置可以获取结构化查询语言(Structured QueryLanguage，SQL)语句，该SQL语句为目标设备对应的SQL语句，该目标设备为物联网系统中的设备，此处具体不限定获取SQL语句的方式，例如可以是目标设备对应的应用程序可以接收用户发送的指令，例如用户要求查询空调2019年11月26日的温度平均值，此时，目标设备的应用程序可以根据该指令生成对应的SQL语句，并发送至数据处理装置，当然也还可以有其他获取SQL语句的方式，具体不做限定。

302、对SQL语句进行预处理，得到目标SQL语句。

本实施例中，数据处理装置在得到SQL语句之后，可以对SQL语句进行优化处理，得到目标SQL语句。

在一个实施例中，对SQL语句进行预处理，得到目标SQL语句包括：

对SQL语句进行词法解析，得到N个词法单元，其中，N为大于或等于1的正整数；

对目标词法单元进行语法解析，以生成抽象语法树，目标词法单元为N个词法单元中的任意一个；

基于抽象语法树以及目标元数据对SQL语句进行语义检查，得到M个执行SQL语句，目标元数据与目标边缘数据库相对应，M为大于或等于1的正整数；

通过预设算法对M个执行SQL语句进行计算，得到目标SQL语句，目标SQL语句为M个执行SQL语句中执行成本最低的SQL语句。

本实施例中，可以对SQL语句进行词法解析，得到N个词法单元，也就是说可以将SQL语句拆分为一个个不可再分的词法单元(Token)，主要的Token类型包括关键字、标识符、字面量、运算符和分界符等几种，每次读取一个字符，如果当前字符与之前的字符所属分类不一致，即完成一个词法单元的词法解析。

对目标词法单元进行语法解析，生成抽象语法树，请参阅图4，图4为本申请实施例提供的抽象语法树的结构示意图，也就是说每次获取一个目标词法单元，判断该目标词法单元是否符合SQL语句的撰写规则，如果满足规则，则对该目标词法单元进行提取和匹配，并置于该图4中的抽象语法树下，提取目标词法单元的类型，如果是关键字则置于401下，如果是表则置于402下，如果是限制条件，则置于403下，添加对应的信息，之后，继续下一个词法单元的提取和匹配，直至所有的词法单元均提取和匹配完毕；若不满足规则，则发出提示信息以通知用户规则错误，并结束对该词法单元的解析。在完成对N个词法单元的解析之后，最终生如图4所示的抽象语法树AST(Abstract Syntax Tree)。可以理解的是，图4中对应的AST仅为举例说明，并不代表对其的限定。

基于抽象语法树以及目标元数据对SQL语句进行语义检查，得到M个执行SQL语句，在得到抽象语法树之后，可以确定该目标边缘数据库对应的目标元数据，并通过该抽象语法树以及目标元数据对SQL语句进行语义检查，主要是进行表实体、表属性、实体与实体关系、实体属性关系等的查询，例如查该表是否存在，最后完成逻辑SQL语句到执行SQL语句的转换工作，得到M个执行SQL语句。

最后，通过预设算法对M个执行SQL语句进行特征计算，得到目标SQL语句，主要目的是裁剪无用的条件，例如同一个执行SQL语句，包含两个查询条件，其中一个查询条件为字段大于1，另一个查询条件为该字段还要大于2，此时要把大于2的查询条件删除，并通过关系代数算子(如Project、Join或Aggregation等)计算SQL的特征和成本估算，选择成本最低的执行SQL语句执行。

303、根据目标SQL语句对目标边缘数据库进行查询，以得到SQL语句对应的目标数据。

本实施例中，在得到目标SQL语句之后，可以根据目标SQL语句对目标边缘数据库进行查询，以得到SQL语句对应的目标数据，其中，该目标边缘数据库为云端服务器对应的至少两个边缘数据库中的一个，且目标设备与目标边缘数据库相对应。也就是说，目标边缘数据库中存储的是目标设备对应的设备数据，例如温度、压力、湿度等设备数据，另外，该云端服务器对应有至少两个边缘数据库，物联网设备与边缘数据库的对应方式，可以提前进行设定，例如物联网设备包括冰箱、空调、风扇、洗衣机以及电磁炉，A边缘数据库对应冰箱以及空调，B边缘数据库对应风扇、洗衣机以及电磁炉，当然也还可以是其他的对应方式，如按照数据类型进行对应，如所有包含温度的数据存储在A边缘数据库，所有压力数据存储在B数据库等等，具体不做限定。这样在物联网的物联网设备从边缘数据库查询数据时，直接从与该物联网设备对应的边缘数据库进行查询，例如该物联网设备为冰箱，则直接从冰箱对应的边缘数据库进行查询，可以得到对应的设备数据。

在一个实施例中，数据处理装置可以实时获取目标设备对应的包含时序的目标设备数据；

将目标设备数据按照第一预设规则存储至目标边缘数据库。

本实施例中，数据处理装置可以实时获取目标设备对应的包含时序的目标设备数据，并将该目标设备数据按照第一预设规则存储至目标边缘数据。该目标边缘数据包含磁盘存储区，也就是说，数据处理装置可以将目标设备数据按照数据块格式以及时间关键字递增排列的方式存储至磁盘存储器，其中，该磁盘存储区中的每个数据块按列存储，且相同类型的设备数据存储在同一个存储区域。下面结合图5进行说明，图5为本申请提供的目标边缘数据库的磁盘存储区的数据存储结构示意图：

501为物联网设备与磁盘存储区的数据库的连接方式，可以是Java数据库连接(Java Database Connectivity，JDBC)，也可以是开放数据库连接(Open DatabaseConnectivity，ODBC)，当然也还可以是其他的数据库连接方式，具体不做限定。

502为SQL解析器，用于对物联网设备发送的查询SQL语句进行解析，上述已经对查询SQL语句的解析方式进行具体说明，此处不再赘述。

503为物联网设备的设备数据在磁盘存储区中的存储文件，物联网设备的设备数据(物联网设备上传的设备如压力，温度、湿度等数据)经过边缘网关在边缘端的磁盘存储区上按时间顺序依次写入存储文件；为支持高并发高吞吐的多维查询和聚合分析，同一个设备表(可以理解的是，一个设备对应至少一个设备表，例如温度表中包含目标时间段(例如2019年11月1日至2019年11月10日)的温度数据)在同一时间范围内的数据都存放在同一文件组中。物联网设备的设备数据在存储文件中按块存储，按时间主键递增排列。每个数据块按列存储，同类型的数据存放在同一存储区域，提供simple 8B、LZ4等压缩方法，节省存储空间。

存储文件由数据库元数据，表元数据，数据块三个部分组成。数据库元数据主要存储数据库(Database，DB)元数据、表(Table)元数据、标签(Tag)元数据以及用户(User)权限元数据等；表元数据主要存储文件头(这里的文件头存储的是数据库的版本信息，如数据到底有多少列，每个数据的开始点以及结束点，这样可以方便快速查找到需要的数据)、列信息、数据索引以及文件页脚等，文件页脚存储了开始索引的位置偏移；持久层的数据块是一系列循环冗余校验(A cyclic redundancy check 32，CRC32)校验值和数据组成的数据对，数据块对存储文件不透明，CRC32主要用于数据块的错误检查，数据块的长度存储在表元数据的索引中，每个索引存储数据块的最小时间、最大时间、数据块所在的存储文件的偏移量等索引数据，这样对于给定的时间戳可高效地确定数据块在存储文件中的位置，以及需要从数据块中读取多少数据，可以达到快速查询的效果。

在一个实施例中，目标边缘数据库包含内存存储区，将目标设备数据按照预设规则存储至目标边缘数据库包括：

将目标设备数据存储至日志缓存区，日志缓存区为内存存储区中的第一特定缓存区域；

当达到第一预设条件时，将日志缓存区中的设备数据存储至磁盘存储区。

本实施例中，在获取到目标设备数据之后，可以首先将目标设备存储至日志缓存区，该日志缓存区为内存存储区中的第一特定缓存区域，如图6所示，将物联网设备601的设备数据写入预写日志(Write Ahead Log，WAL)文件602，该WAL文件存储在日志缓存区603中，当达到第一预设条件时，如缓存区充满或到达约定时间时，将日志缓存区603中的数据直接flush到磁盘存储区中的存储文件604中，存储文件604中存储设备数据的方式上述已经进行详细说明，具体此处不再赘述。

需要说明的是，WAL是数据库中常用的日志算法，为避免每次写入都执行一次写磁盘的操作，WAL采用增加缓存区的方式。等缓存区充满或到达约定时间，执行flush磁盘的操作。如果数据库崩溃，重启后扫描WAL文件，同步更新到数据库中进行恢复。为提高效率，WAL文件提供检查点checkpoint，来定时进行设备数据的更新操作。写入数据库时先对新的数据进行序列化、压缩后写到WAL文件，同时将WAL索引添加到日志缓存区603中。

在一个实施例中，根据目标SQL语句对目标边缘数据库进行查询，以得到SQL语句对应的目标数据包括：

根据目标SQL语句对日志缓存区进行查询；

当日志缓存区中未查询到目标数据时，根据目标SQL语句对磁盘存储区进行查询，得到目标数据。

本实施例中，数据处理装置在请求查询设备数据时，可以先对日志缓存区进行查询，在日志缓存区中未查询到目标数据时，对磁盘存储区进行查询，这样可以提高查询效率。在对日志缓存区进行扫描时，可以通过WAL索引与存储文件索引相结合的方式，以加快WAL文件的读取速度，WAL文件采用固定大小的存储文件，这样只要知道偏移量，就能找到对应的存储文件。

在一个实施例中，将目标设备数据存储至目标缓存区，目标缓存区还存储有云端服务器下发的目标设备的配置信息，日志缓存区为内存存储区中的第二特定缓存区域；

当达到第二预设条件时，将目标设备的配置信息发送至目标设备。

下面结合图7进行说明，图7为本申请实施例提供的物联网的另一网络架构示意图，包括：

物联网设备701、边缘端702以及云端服务器703，其中，物联网设备将目标设备数据上传至边缘端702，边缘端702在内存存储区中设定了第二特定缓存区域，存储目标设备最新上报的设备数据，该目标缓存区即为图7中的7021设备影子，该设备影子包括了期望值和上传值，其中，上传值用于存储目标设备最新上报的设备数据，当目标设备上报数据时，同步刷新上传值；期望值是云端服务器更新目标设备的配置信息，目标设备在线时，期望值立即同步到目标设备，目标设备离线时，期望值暂存于设备影子7021，当达到第二预设条件时(如目标设备上线或目标设备上报设备数据时，当然也还可以是其他的条件，具体不做限定)，期望值同步更新到目标设备，这样可以实现目标设备与目标设备对应的应用程序进行解耦，减少应用程序直接访问目标设备的次数，减轻网络压力。

当边缘端702与云端服务器703网络出现中断时，边缘端702仍可实现区域自治7022和自恢复功能。物联网设备将传感器采集的设备数据上传至到边缘数据库，数据处理装置在边缘端702对设备数据进行预处理，通过边缘业务的规则引擎处理后，如触发业务规则通知给相关人员，执行业务规则的联动，也就是说，设备数据发送至边缘端之后，数据处理装置根据提前定义的业务规则将不同的数据对应不同的操作，例如温度达到30度之后需要打开空调进行降温，同时将窗户关闭，实现了设备与设备之间的联动，同时将即时结果反馈到云端服务器。这样，在边缘端由边缘业务应用负责设备数据的统一调配与联动，实现区域自治。

在一个实施例中，按照第二预设规则将磁盘存储区中存储的目标设备的设备数据发送至云端服务器，以使得云端服务器对目标设备的设备数据进行处理得到处理结果，并返回处理结果目标缓存区。

本实施例中，数据处理装置按照第二预设规则将磁盘存储区中存储的设备数据上传至云端服务器，由云端服务器执行相应的处理，并返回处理结果至目标缓存区。边缘计算(Multi-Access Edge Computing，MEC)是在更靠近物联网设备的边缘端为物联网设备提供更快捷的服务，传统的方式物联网设备直接连接云端服务器，随着云端服务器存储的设备数据越来越多，在查询数据以及使用规则时就变得越来越慢，本申请实施例中，增加了至少两个边缘数据库，对边缘数据库进行分组，例如物联网中包括1万个设备，将1万个设备分成10组，一组对应一个边缘数据库，将触发业务的规则放置于边缘数据库，10个业务规则，同时监听并发，当边缘数据库与云端服务器断网后，并不影响边缘端与物联网设备之间的控制。边缘数据库定时将设备数据传输到云端服务器，支持与云端服务器的断点续传，保证与云端服务器的设备数据一致性；控制面主要包括两层，一是对计算、存储、网络、虚拟化等基础设施资源的控制，云端根据上报的CPU、内存、网络等监控数据动态调整边缘数据库的基础设施资源，执行云端资源调度管理策略(云端服务器把所有边缘端的状态获取到，例如边缘端的磁盘存储区满了、内存存储区满了或者中央处理器达到负载了，则会执行预先定义的一些策略，例如重新新建一个边缘端，用新建的边缘端来存储这些数据)；二是对物联网设备的管理与控制：云端服务器与边缘端对物联网设备的生命周期进行协同管理与控制。其中，云端服务器负责算法、大数据、人工智能(Artificial Intelligence，AI)等耗时分析与价值挖掘，进行模型的训练和升级(云端服务器会进行算法，规则的配置，配置到边缘端，边缘端会进行数据上传)，升级后云端将计算结果(计算结果指的是规则的重新配置，根据边缘数据库上传的设备数据对规则进行重新配置，如优化空调的配置，根据上传的空调的设备数据来优化空调的配置，如什么时候调高温度，什么时候调低温度)发送到边缘端，以优化边缘端的服务，形成一个闭环。

304、根据目标数据生成SQL语句对应的目标查询结果。

本实施例中，数据处理装置在得到目标数据之后，可以根据该目标数据生成SQL语句对应的目标查询结果，例如查询的是过去10小时内，空调的温度平均值，在得到目标数据，也即过去10小时内空调的温度数据之后，对该温度数据进行平均值计算，得到空调在过去10小时内的温度平均值。

305、输出目标查询结果。

本实施例中，在得到目标查询结果之后，可以输出该目标查询结果，例如发送至用户的终端，或者在显示器上进行显示，或者以其他的方式通知用户，具体不做限定。

综上所述，可以看出，本申请中，在对物联网中的设备数据进行查询时，优化了查询SQL语句，得到执行成本最低的目标SQL语句，且由于该物联网中的设备的设备数据是在目标边缘数据库进行存储，这样在通过目标SQL语句对目标边缘数据库进行查询时，可以提高查询效率，降低查询时延。

上面从数据处理方法的方法角度对本申请进行说明，下面从数据处理装置的角度对本申请进行说明。

请参阅图8，图8为本申请实施例提供的一种数据处理装置的虚拟结构示意图，该数据处理装置应用于物联网系统，包括：

获取单元801，用于获取结构化查询语言SQL语句，所述SQL语句为所述目标设备对应的SQL语句，所述目标设备为所述物联网系统中的设备；

SQL优化单元802，用于对所述SQL语句进行预处理，得到目标SQL语句；

查询单元803，用于根据所述目标SQL语句对目标边缘数据库进行查询，以得到所述SQL语句对应的目标数据，所述目标边缘数据库为云端服务器对应的至少两个边缘数据库中的一个，且所述目标设备与所述目标边缘数据库相对应；

生成单元804，用于根据所述目标数据生成所述SQL语句对应的目标查询结果；

输出单元805，用于输出所述目标查询结果。

可选地，所述获取单元801，还用于实时获取所述目标设备对应的包含时序的目标设备数据；

所述数据处理装置还包括：

存储单元806，用于将所述目标设备数据按照第一预设规则存储至所述目标边缘数据库。

可选地，所述目标边缘数据库包含磁盘存储区，所述存储单元806具体用于：

可选地，所述目标边缘数据库包含内存存储区，所述存储单元806还具体用于：

可选地，所述存储单元806还用于：

所述输出单元805，还用于当达到第二预设条件时，将所述目标设备的配置信息发送至所述目标设备。

可选地，所述查询单元803具体用于：

根据所述目标SQL语句对所述日志缓存区进行查询；

可选地，所述SQL优化单元802具体用于：

可选地，所述存储单元806还用于：

图9是本发明实施例提供的一种服务器结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)922(例如，一个或一个以上处理器)和存储器932，一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中，存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器922可以设置为与存储介质930通信，在服务器900上执行存储介质930中的一系列指令操作。

服务器900还可以包括一个或一个以上电源926，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口958，和/或，一个或一个以上操作系统941，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

上述实施例中由数据处理装置所执行的步骤可以基于该图9所示的服务器结构。

本申请实施例还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述所述数据处理方法的步骤。

本申请实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述数据处理方法的步骤。

本申请实施例还提供了一种终端设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，所述程序代码由所述处理器加载并执行以实现上述所述数据处理方法的步骤。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行上述所述数据处理方法的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种数据处理方法，应用于物联网系统，其特征在于，包括：

对所述SQL语句进行预处理，得到目标SQL语句；

根据所述目标数据生成所述SQL语句对应的目标查询结果；

输出所述目标查询结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

实时获取所述目标设备对应的包含时序的目标设备数据；

3.根据权利要求2所述的方法，其特征在于，所述目标边缘数据库包含磁盘存储区，所述将所述目标设备数据按照第一预设规则存储至所述目标边缘数据库包括：

4.根据权利要求3所述的方法，其特征在于，所述目标边缘数据库包含内存存储区，所述将所述目标设备数据按照预设规则存储至所述目标边缘数据库包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求4所述的方法，其特征在于，所述根据所述目标SQL语句对目标边缘数据库进行查询，以得到所述SQL语句对应的目标数据包括：

根据所述目标SQL语句对所述日志缓存区进行查询；

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述对所述SQL语句进行预处理，得到目标SQL语句包括：

8.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：

9.一种数据处理装置，应用于物联网系统，其特征在于，包括：

输出单元，用于输出所述目标查询结果。

10.一种计算机可读存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-8中任一项所述的数据处理方法的步骤。