CN112788054B - 一种物联网数据处理方法、系统及设备 - Google Patents
一种物联网数据处理方法、系统及设备 Download PDFInfo
- Publication number
- CN112788054B CN112788054B CN202110112082.9A CN202110112082A CN112788054B CN 112788054 B CN112788054 B CN 112788054B CN 202110112082 A CN202110112082 A CN 202110112082A CN 112788054 B CN112788054 B CN 112788054B
- Authority
- CN
- China
- Prior art keywords
- data
- service
- primitive
- original
- service primitive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/06—Notations for structuring of protocol data, e.g. abstract syntax notation one [ASN.1]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
- H04L1/1806—Go-back-N protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本说明书提供一种物联网数据处理方法、系统及设备。方法包括：对终端设备发送的原始数据进行抽象化处理，将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据，得到服务原语数据，供云服务基于所述业务描述数据投递所述数据载荷所带数据。由此，当存在新增数据汇聚业务时，可对应调整业务描述数据即可，而无需边缘节点、IOT云平台和租户云平台的重适配，也就是说，本申请基于服务原语数据的抽象描述方式，提升了数据接入效率，且具有普遍适用性和扩展性的优点。
Description
技术领域
本文件涉及物联网技术领域，尤其涉及一种物联网数据处理方法、系统及设备。
背景技术
物联网是指物与物相连形成的网络，它们之间进行信息交换和通信，以实现对物体的智能化识别、定位、跟踪、监控和管理的一种网络。在当前物联网领域中，租户所属边缘节点的部分对低实时要求的数据，有需要汇聚至租户中心云服务进行整体的计算的场景和需求。对于该需求，已有技术一般是采取数据即上报的方案，但当存在新增数据汇聚业务时，需要边缘节点、IOT云平台和租户云平台的重适配，导致接入效率低下、适用性、扩展性差等问题。
因此，需要提供更加高效的物联网数据处理方案。
发明内容
本说明书实施例提供一种物联网数据处理方法，用以提升了物联网数据的接入效率，且具有普遍适用性和扩展性。
本说明书实施例还提供一种物联网数据处理方法，包括：
边缘节点接收终端设备发送的原始数据；
对所述原始数据进行抽象化处理，得到服务原语数据，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；
将所述服务原语数据上报至云服务，由所述云服务基于所述业务描述数据将所述数据载荷所带数据投递至对应的消息队列。
本说明书实施例还提供一种物联网数据处理方法，包括：
云服务接收边缘节点上报的服务原语数据，所述服务原语数据为对终端设备发送的原始数据进行抽象化处理得到的，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；
解析出所述服务原语数据中的业务描述数据；
基于所述业务描述数据，将所述数据载荷所带数据投递对应的消息队列。
本说明书实施例还提供一种物联网数据处理系统，包括：租户边缘节点、IOT云平台和租户云平台，其中：
所述租户边缘节点接收终端设备发送的原始数据；对所述原始数据进行抽象化处理，得到服务原语数据并上报至所述IOT云平台，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；
所述IOT云平台接收边缘节点上报的服务原语数据，所述服务原语数据为对终端设备发送的原始数据进行抽象化处理得到的，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；解析出所述服务原语数据中的业务描述数据；基于所述业务描述数据，将所述数据载荷所带数据投递对应的消息队列；
所述租户云平台响应租户的访问请求，从所述租户对应的消息队列中提取数据并下发给所述租户。
本说明书实施例还提供一种物联网数据处理装置，包括：
接收模块，用于接收终端设备发送的原始数据；
处理模块，用于对所述原始数据进行抽象化处理，得到服务原语数据，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；
上报模块，用于将所述服务原语数据上报至云服务，由所述云服务基于所述业务描述数据将所述数据载荷所带数据投递至对应的消息队列。
本说明书实施例还提供一种物联网数据处理装置，包括：
接收模块，用于接收边缘节点上报的服务原语数据，所述服务原语数据为对终端设备发送的原始数据进行抽象化处理得到的，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；
解析模块，用于解析出所述服务原语数据中的业务描述数据；
投递模块，用于基于所述业务描述数据，将所述数据载荷所带数据投递对应的消息队列。
本说明书实施例还提供一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述的方法的步骤。
本说明书实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行如上述的方法的步骤。
本说明书一个实施例实现了，通过对原始数据进行抽象化处理，以基于服务原语数据的抽象描述方式进行数据上报及投递，可在新增数据汇聚业务时，对应调整业务描述数据即可，提升了数据接入效率，且具有普遍适用性和扩展性的优点。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书提供的一种应用场景的示意图；
图2为本说明书一实施例提供的一种物联网数据处理方法的流程示意图；
图3为本说明书另一实施例提供的一种物联网数据处理方法的流程示意图；
图4为本说明书一实施例提供的物联网数据处理系统的结构示意图；
图5为本说明书一实施例供的数据重发步骤的原理示意图；
图6为本说明书一实施例提供的一种物联网数据处理装置的结构示意图；
图7为本说明书另一实施例提供的一种物联网数据处理装置的结构示意图；
图8为本说明书一实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文件保护的范围。
结合上述背景技术部分的陈述，目前的物联网数据处理方案一般是数据采集即上报，当新增数据汇聚业务时，租户边缘节点、IOT云平台和租户云平台三端都需要针对具体需求进行重新开发适配，带来的接入效率低下、适用性、扩展性差等问题。基于此，本说明书实施例提供了一种物联网数据处理方法，通过对原始数据进行抽象化处理，以基于服务原语数据的抽象描述方式进行数据上报及投递，可在新增数据汇聚业务时，对应调整业务描述数据即可，提升了数据接入效率，且具有普遍适用性和扩展性的优点。
下面结合图1对本说明书的应用场景进行示例性说明：
本场景中包括：用户、设备、边缘节点、云服务及云服务的租户，其中：
用户或者设备产生数据，如用户通过客户端发起相关请求，又如设备按照预设协议自动上报相关数据；边缘节点将接收到的数据上报至云服务，云服务将数据提供给租户。
其中，设备可以为针对任何需要监控、连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息的设备，常见的有监控设备等；云服务可以是指可以提供云服务的云平台等主体；边缘节点是对边缘网关、边缘控制器、边缘服务器等边缘侧多种产品形态的基础共性能力的逻辑抽象，这些产品形态具备边缘侧实时数据分析、本地数据存储、实时网络联接等共性能力。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图2为本说明书一实施例提供的一种物联网数据处理方法的流程示意图，可由图1中的边缘节点执行，参见图2，所述方法具体可以包括如下步骤：
步骤202、边缘节点接收终端设备发送的原始数据；
具体地：原始数据可以是指设备自动上报的数据，也可以是指用户通过操作设备上报的数据。如在停车场场景中，监控设备自动上报进出停车场的车辆数量、各车辆的车辆信息和停留时间信息等。
步骤204、对所述原始数据进行抽象化处理，得到服务原语数据，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；
具体地：预先构建服务原语数据的抽象描述方式，然后基于该抽象描述方式对所述原始数据进行抽象化处理，得到服务原语数据。其中，业务描述数据用于描述原始数据的业务相关信息，如业务分类、业务对象等。
进一步地，考虑到已有技术中数据采集即上传的方案对边缘服务及云端服务的计算资源的使用效率较低，此处引入了数据汇聚整合的步骤，具体可以为：
将服务原语数据存入数据缓冲；当缓冲的数据增量达到预设阈值时，依据增量的服务原语数据组装报文并上报云服务。
即获取到服务原语数据之后，并非直接上传至云服务，而是先将其一一存入本地数据缓冲中进行本地缓冲，并实时检测服务原语数据的增量；当缓冲的服务原语数据的量达到预设阈值(如50条)之后，再整合组装进报文并上报。
基于此，本实施例在抽象描述方式的基础之上，通对服务原语数据进行缓冲整合，可减少大规模采集装置的网络带宽与成本问题，使用边缘算力，解决大规模采集与汇聚问题。
步骤206、将所述服务原语数据上报至云服务，由所述云服务基于所述业务描述数据将所述数据载荷所带数据投递至对应的消息队列。
具体地：将数据汇聚整合的步骤整合的报文进行上报，报文中包括增量的服务原语数据。
另外，考虑到可能由于网络异常等原因导致的数据上报失败的问题，本实施例还提出数据重发机制，该机制可以包括：
所述业务描述数据包括数据ID，所述数据ID为原始数据在边缘节点内的唯一标识；
接收所述云服务返回的数据重发指示，所述数据重发指示为所述云服务检测到边缘节点上报的服务原语数据的数据ID连续性缺失时发送的；响应所述数据重发指示，重发缺失的服务原语数据。
具体地：首先，为每一条原始数据配置一唯一标识，以区分各原始数据，以供服务器作为区分各服务原语数据的唯一标识；当服务器检测到本次上报的多条服务原语数据的数据ID不连续时，如多条服务原语数据的数据ID1和数据ID3之间的数据ID2未被服务器检测到，则说明数据ID2的服务原语数据可能被漏发，由边缘节点重新发送本次上报的多条服务原语数据。
而且，为了提高边缘节点的数据重发的效率，服务器可在数据重发指示中携带云服务上次处理的服务原语数据的数据ID，由边缘节点基于所述上次处理的服务原语数据的数据ID，回滚数据缓冲的偏移量至上次上报处理的偏移量，确定需要重发的服务原语数据并重发。
基于此，本实施例通过将业务描述数据中的数据ID作为检测本次上报的服务原语数据连续性的依据，并在出现数据缺失的情况时，自动进行数据重发、补发，提供高可靠的数据汇聚传输通道，实现了数据汇聚的可靠性传输。
在另一可行实施例中，所述业务描述数据还包括：边缘节点ID、数据业务标识、数据业务对象、操作类型；
其中，所述数据业务标识用于表示所述原始数据的业务分类，该数据可帮助云服务进行数据投递；所述数据业务对象用于表示所述原始数据关联的主体，所述操作类型为对数据进行的操作。
基于此，本实施例通过对原始数据进行抽象化处理，以基于服务原语数据的抽象描述方式进行数据上报及投递，可在新增数据汇聚业务时，对应调整业务描述数据即可，提升了数据接入效率，且具有普遍适用性和扩展性的优点。
图3为本说明书另一实施例提供的一种物联网数据处理方法的流程示意图，所述方法可由图1中的云服务执行，参见图3，所述方法具体可以包括如下步骤：
步骤302、云服务接收边缘节点上报的服务原语数据，所述服务原语数据为对终端设备发送的原始数据进行抽象化处理得到的，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；
其中，所述服务原语数据可以为多条，所述业务描述数据包括数据ID，所述数据ID为原始数据在边缘节点内的唯一标识；
考虑到可能存在服务原语数据漏发的情况，本实施例还提供了服务原语数据漏发检测步骤，具体地：
检测边缘节点本次上报的多条服务原语数据的业务描述数据中的数据ID的连续性；若检测到所述服务原语数据的数据ID不连续，则确定边缘节点本次上报服务原语数据存在缺失，并返回数据重发指示。
而且，为了提高边缘节点的重发效率，云服务返回的所述返回数据重发指示携带云服务上次处理的服务原语数据的数据ID，供边缘节点确定需要重发的服务原语数据。
基于此，本实施例通过将业务描述数据中的数据ID作为检测本次上报的服务原语数据连续性的依据，并在出现数据缺失的情况时，自动指示边缘节点进行数据重发、补发，从而可有效提供高可靠的数据汇聚传输通道，实现了数据汇聚的可靠性传输。
步骤304、解析出所述服务原语数据中的业务描述数据；
步骤306、基于所述业务描述数据，将所述数据载荷所带数据投递对应的消息队列。
其中，所述业务描述数据中还包括数据业务标识，所述数据业务标识用于表示所述原始数据的业务分类；则步骤306具体可以为：
根据所述边缘节点的标识信息(如ID)，确定所述多条服务原语数据中各服务原语数据关联的租户；基于所述数据业务标识，确定各服务原语数据对应的消息主题；将各服务原语数据分别投递至关联的租户的消息队列中的对应消息主题中。
基于此，本实施例通过对原始数据进行抽象化处理，以基于服务原语数据的抽象描述方式进行数据上报及投递，可在新增数据汇聚业务时，对应调整业务描述数据即可，提升了数据接入效率，且具有普遍适用性和扩展性的优点。
图4为本说明书一实施例提供的物联网数据处理系统的结构示意图，参见图4，所述系统包括：租户边缘节点、IOT云平台和租户云平台，其中：
所述租户边缘节点接收终端设备发送的原始数据；对所述原始数据进行抽象化处理，得到服务原语数据并上报至所述IOT云平台，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；
所述IOT云平台接收边缘节点上报的服务原语数据，所述服务原语数据为对终端设备发送的原始数据进行抽象化处理得到的，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；解析出所述服务原语数据中的业务描述数据；基于所述业务描述数据，将所述数据载荷所带数据投递对应的消息队列；
所述租户云平台响应租户的访问请求，从所述租户对应的消息队列中提取数据并下发给所述租户。
更具体地，参见图4，所述租户边缘节点包括边缘数据原语服务、边缘本地缓冲存储装置和增量缓冲数据解析上报模块，IOT平台(即云服务)包括数据汇聚网关、数据汇聚原语服务和消息订阅服务。下面结合图4对图2和图3对应的方法实施例的实现原理进行详细描述：
S1、边缘节点数据产生：边缘节点内设备或人员产生原始的数据，通过边缘原语服务组装成服务原语数据；
具体地：数据汇聚业务基于汇聚数据的特征、可扩展性、可复用性抽象为数据汇聚原语(即服务原语数据)，抽象描述方式如下：
数据ID(DataId):数据在边缘节点内部的唯一标识，具有长度格式限制,具有自增连续性
边缘节点ID(EdgeId)：标识数据汇聚源的ID，具有连续性且具有长度格式限制
数据业务标识(Identifier):标识这个数据业务的分类，具有长度格式限制
数据业务对象(Object):标识这个数据业务作用于那个主体(设备、人员等)，具有长度格式限制
数据载荷(Payload):自定义具体数据内容
操作类型(EventType)：对数据的新增(ADD)、删除(DEL)、修改(UPDATE)等操作。
S2、边缘节点数据本地缓冲：按数据汇聚服务原语映射的缓冲数据格式将原语数据存入固定数据缓冲存储装置；
其中，缓冲数据格式即S1中的抽象描述方式。
S3、增量缓冲数据解析上报模块订阅到边缘本地缓冲装置的数据增量变化,进行边缘计算，依据数据变化信息组装报文并上报云平台。
以上模型是数据汇聚最基本的元数据，不同业务可以基于此模型进行自描述不需要重新开发定义协议，达到高效接入、普遍适用性的目的。
S4、协议批量上报汇聚数据，在数据汇聚网关从请求头部解析出会话id完成认证后，获取到用户身份标识，将请求路由到数据汇聚原语服务，上报接口得到返回进行S5，结合图5，
其中，S5如果返回成功，将进行下一批次数据变化记录的解析。
其中，S5如果返回失败，包括如下情况：
云端数据汇聚原语服务检测数据ID的连续性，发现不连续表示数据有缺失，将返回上次处理的数据ID，边缘增量缓冲数据解析上报模块将回滚缓冲数据解析偏移量至上次上报的处理的偏移量，进行重新上报。
另外，云端处理返回失败的其他情况，边缘增量缓冲数据解析上报模块都将回滚偏移量重新上报。
由此，可实现汇聚的高可靠传输。
S6、上报的数据在数据汇聚原语服务内
数据清洗模块完成对数据的清洗，包括原语语义校验、不可识别的边缘节点ID(EdgeId)，不可识别的数据业务标识(Identifier)等非法数据。然后将数据提交至数据分拆模块进行分拆投递。
S7、数据分拆模块完成以数据业务标识(Identifier)作为消息队列的消息主题投递至消息队列。
S8、租户通过订阅并从消息队列中拉取某一个关心的业务标识(Identifier)的汇聚数据原语还原出具体数据业务进行处理。
至此，完成了从边缘节点至中心云平台的数据汇聚。
结合上述S1-S8，不难看出，本实施例提出的基于数据汇聚抽象描述方法的高可靠数据汇聚方案包括：部署在边缘节点的数据汇聚边缘服务和IOT云平台的服务端数据汇聚服务。
其中，所述数据汇聚边缘服务包括：
边缘数据原语模块服务:批量解析增量变化还原为服务原语。
边缘本地缓冲存储关系数据库：经过抽象为数据汇聚原语的数据边缘存储
边缘增量数据变化解析上报模块：订阅增量关系数据库变化上报数据汇聚数据，依靠连续自增边缘数据唯一标识实现高可靠数据汇聚传输。
所述IOT云平台服务端数据汇聚服务包括：
数据汇聚网关：对数据汇聚上报进行认证&路由
数据汇聚原语服务：包括数据清洗、数据路由、基于连续数据ID检测策略的数据汇聚高可靠保障
消息队列：消息队列存放数据汇聚业务业务标识(Identifier)维度为主题的消息
租户消息订阅服务：租户订阅并从消息队列中拉取某一个关心的业务标识(Identifier)的数据消息进行处理。
基于此可知，本实施例一方面基于数据汇聚服务原语的抽象描述方式，可扰提升了数据汇聚接入效率、具有普遍适用性和扩展性。另一方面，可提供高可靠的数据汇聚传输通道，实现了数据汇聚的可靠性传输。又一方面，可通过边缘存储装置增量数据解析&传输格式，减少大规模采集装置的网络带宽与成本问题，使用边缘算力，解决大规模采集与汇聚问题。
图6为本说明书一实施例提供的一种物联网数据处理装置的结构示意图，参见图6，所述装置具体可以包括：
接收模块601，用于接收终端设备发送的原始数据；
处理模块602，用于对所述原始数据进行抽象化处理，得到服务原语数据，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；
上报模块603，用于将所述服务原语数据上报至云服务，由所述云服务基于所述业务描述数据将所述数据载荷所带数据投递至对应的消息队列。
可选的，装置还包括：
整合模块，用于将服务原语数据存入数据缓冲；当缓冲的数据增量达到预设阈值时，依据增量的服务原语数据组装报文并上报云服务。
可选的，所述业务描述数据包括数据ID，所述数据ID为原始数据在边缘节点内的唯一标识；
则装置还包括：
数据重发模块，用于接收所述云服务返回的数据重发指示，所述数据重发指示为所述云服务检测到边缘节点上报的服务原语数据的数据ID连续性缺失时发送的；响应所述数据重发指示，重发缺失的服务原语数据。
可选的，所述数据重发指示携带云服务上次处理的服务原语数据的数据ID；
则所述数据重发模块，具体用于：
基于所述上次处理的服务原语数据的数据ID，回滚数据缓冲的偏移量至上次上报处理的偏移量，确定需要重发的服务原语数据并重发。
可选的，所述业务描述数据包括：边缘节点ID、数据业务标识、数据业务对象、操作类型；
其中，所述数据业务标识用于表示所述原始数据的业务分类，所述数据业务对象用于表示所述原始数据关联的主体，所述操作类型为对数据进行的操作。
基于此，本实施例通过对原始数据进行抽象化处理，以基于服务原语数据的抽象描述方式进行数据上报及投递，可在新增数据汇聚业务时，对应调整业务描述数据即可，提升了数据接入效率，且具有普遍适用性和扩展性的优点。
图7为本说明书另一实施例提供的一种物联网数据处理装置的结构示意图，参见图7，所述装置具体可以包括：
接收模块701，用于接收边缘节点上报的服务原语数据，所述服务原语数据为对终端设备发送的原始数据进行抽象化处理得到的，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；
解析模块702，用于解析出所述服务原语数据中的业务描述数据；
投递模块703，用于基于所述业务描述数据，将所述数据载荷所带数据投递对应的消息队列。
可选的，所述服务原语数据为多条，所述业务描述数据包括数据ID，所述数据ID为原始数据在边缘节点内的唯一标识；
则装置还包括：
数据缺失检测模块，用于检测边缘节点本次上报的多条服务原语数据的业务描述数据中的数据ID的连续性；若检测到所述服务原语数据的数据ID不连续，则确定边缘节点本次上报服务原语数据存在缺失，并返回数据重发指示。
可选的，所述返回数据重发指示携带云服务上次处理的服务原语数据的数据ID，供边缘节点确定需要重发的服务原语数据。
可选的，所述业务描述数据中还包括数据业务标识，所述数据业务标识用于表示所述原始数据的业务分类；
其中，所述投递模块703，具体用于：
根据所述边缘节点的标识信息，确定所述多条服务原语数据中各服务原语数据关联的租户；基于所述数据业务标识，确定各服务原语数据对应的消息主题；将各服务原语数据分别投递至关联的租户的消息队列中的对应消息主题中。
基于此，本实施例通过对原始数据进行抽象化处理，以基于服务原语数据的抽象描述方式进行数据上报及投递，可在新增数据汇聚业务时，对应调整业务描述数据即可，提升了数据接入效率，且具有普遍适用性和扩展性的优点。
另外，对于上述装置实施方式而言，由于其与方法实施方式基本相似，所以描述的比较简单，相关之处参见方法实施方式的部分说明即可。而且，应当注意的是，在本说明书的装置的各个部件中，根据其要实现的功能而对其中的部件进行了逻辑划分，但是，本说明书不受限于此，可以根据需要对各个部件进行重新划分或者组合。
图8为本说明书一实施例提供的一种电子设备的结构示意图，参见图8，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成物联网数据处理装置。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
网络接口、处理器和存储器可以通过总线系统相互连接。总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器可能包含高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器。
处理器，用于执行所述存储器存放的程序，并具体执行：
边缘节点接收终端设备发送的原始数据；
对所述原始数据进行抽象化处理，得到服务原语数据，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；
将所述服务原语数据上报至云服务，由所述云服务基于所述业务描述数据将所述数据载荷所带数据投递至对应的消息队列。
或者，
云服务接收边缘节点上报的服务原语数据，所述服务原语数据为对终端设备发送的原始数据进行抽象化处理得到的，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；
解析出所述服务原语数据中的业务描述数据；
基于所述业务描述数据，将所述数据载荷所带数据投递对应的消息队列。
上述如本说明书图6或7所示实施例揭示的物联网数据处理装置或管理者(Master)节点执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
物联网数据处理装置还可执行图2-5示出的方法，并实现管理者节点执行的方法。
基于相同的发明创造，本说明书实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行图2-5对应的实施例提供的物联网数据处理装置。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (9)
1.一种物联网数据处理方法，其特征在于，包括：
边缘节点接收终端设备发送的原始数据；
对所述原始数据进行抽象化处理，得到服务原语数据，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；所述业务描述数据为通过解析所述服务原语数据得到；
将所述服务原语数据存入数据缓冲，当缓冲的数据增量达到预设阈值时，依据增量的所述服务原语数据组装报文并上报至云服务，由所述云服务基于所述业务描述数据将所述数据载荷所带数据投递至对应的消息队列；
所述业务描述数据中还包括数据业务标识，所述数据业务标识用于表示所述原始数据的业务分类；所述基于所述业务描述数据将所述数据载荷所带数据投递至对应的消息队列，包括：根据所述边缘节点的标识信息，确定多条服务原语数据中各服务原语数据关联的租户；基于所述数据业务标识，确定各所述服务原语数据对应的消息主题；将各所述服务原语数据分别投递至关联的租户的消息队列中的对应消息主题中。
2.根据权利要求1所述的方法，其特征在于，所述业务描述数据包括数据ID，所述数据ID为原始数据在边缘节点内的唯一标识；
则方法还包括：
接收所述云服务返回的数据重发指示，所述数据重发指示为所述云服务检测到边缘节点上报的服务原语数据的数据ID连续性缺失时发送的；
响应所述数据重发指示，重发缺失的服务原语数据。
3.根据权利要求2所述的方法，其特征在于，所述数据重发指示携带云服务上次处理的服务原语数据的数据ID；
则所述重发缺失的服务原语数据，包括：
基于所述上次处理的服务原语数据的数据ID，回滚数据缓冲的偏移量至上次上报处理的偏移量，确定需要重发的服务原语数据并重发。
4.根据权利要求1所述的方法，其特征在于，所述业务描述数据包括：边缘节点ID、数据业务标识、数据业务对象、操作类型；
其中，所述数据业务标识用于表示所述原始数据的业务分类，所述数据业务对象用于表示所述原始数据关联的主体，所述操作类型为对数据进行的操作。
5.一种物联网数据处理方法，其特征在于，包括：
云服务接收边缘节点上报的服务原语数据，所述服务原语数据为对终端设备发送的原始数据进行抽象化处理得到的，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；所述业务描述数据为通过解析所述服务原语数据得到；
解析出所述服务原语数据中的业务描述数据；
基于所述业务描述数据，将所述数据载荷所带数据投递对应的消息队列；
所述业务描述数据中还包括数据业务标识，所述数据业务标识用于表示所述原始数据的业务分类；所述基于所述业务描述数据，将所述数据载荷所带数据投递至对应的消息队列，包括：根据所述边缘节点的标识信息，确定多条服务原语数据中各服务原语数据关联的租户；基于所述数据业务标识，确定各所述服务原语数据对应的消息主题；将各所述服务原语数据分别投递至关联的租户的消息队列中的对应消息主题中。
6.根据权利要求5所述的方法，其特征在于，所述服务原语数据为多条，所述业务描述数据包括数据ID，所述数据ID为原始数据在边缘节点内的唯一标识；
则方法还包括：
检测边缘节点本次上报的多条服务原语数据的业务描述数据中的数据ID的连续性；
若检测到所述服务原语数据的数据ID不连续，则确定边缘节点本次上报服务原语数据存在缺失，并返回数据重发指示。
7.根据权利要求6所述的方法，其特征在于，所述返回数据重发指示携带云服务上次处理的服务原语数据的数据ID，供边缘节点确定需要重发的服务原语数据。
8.一种物联网数据处理系统，其特征在于，包括：租户边缘节点、IOT云平台和租户云平台，其中：
所述租户边缘节点接收终端设备发送的原始数据；对所述原始数据进行抽象化处理，得到服务原语数据并将所述服务原语数据存入数据缓冲，当缓冲的数据增量达到预设阈值时，依据增量的所述服务原语数据组装报文并上报至所述IOT云平台，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；所述业务描述数据为通过解析所述服务原语数据得到；
所述IOT云平台接收边缘节点上报的服务原语数据，所述服务原语数据为对终端设备发送的原始数据进行抽象化处理得到的，所述抽象化处理用于将所述原始数据的内容封装至数据载荷中并生成所述原始数据的业务描述数据；解析出所述服务原语数据中的业务描述数据；基于所述业务描述数据，将所述数据载荷所带数据投递对应的消息队列；
所述业务描述数据中还包括数据业务标识，所述数据业务标识用于表示所述原始数据的业务分类；所述基于所述业务描述数据将所述数据载荷所带数据投递至对应的消息队列，包括：根据所述边缘节点的标识信息，确定多条服务原语数据中各服务原语数据关联的租户；基于所述数据业务标识，确定各所述服务原语数据对应的消息主题；将各所述服务原语数据分别投递至关联的租户的消息队列中的对应消息主题中；
所述租户云平台响应租户的访问请求，从所述租户对应的消息队列中提取数据并下发给所述租户。
9.一种电子设备，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110112082.9A CN112788054B (zh) | 2021-01-27 | 2021-01-27 | 一种物联网数据处理方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110112082.9A CN112788054B (zh) | 2021-01-27 | 2021-01-27 | 一种物联网数据处理方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112788054A CN112788054A (zh) | 2021-05-11 |
| CN112788054B true CN112788054B (zh) | 2022-08-02 |
Family
ID=75758320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110112082.9A Active CN112788054B (zh) | 2021-01-27 | 2021-01-27 | 一种物联网数据处理方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112788054B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115858133B (zh) * | 2023-03-01 | 2023-05-02 | 北京仁科互动网络技术有限公司 | 批量数据的处理方法、装置、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2155775A1 (en) * | 1994-09-20 | 1996-03-21 | Arun Narayan Netravali | Computer Network Gateway |
| US7542472B1 (en) * | 1999-11-17 | 2009-06-02 | Nokia Corporation | Data transmission |
| CN104391692A (zh) * | 2014-11-10 | 2015-03-04 | 上海交通大学 | 用于读写psd-bpa数据文件的面向对象编程方法 |
| CN104660709A (zh) * | 2015-03-12 | 2015-05-27 | 国家电网公司 | 一种基于iec61850的用电数据采集系统及其工作方法 |
| WO2015159266A1 (en) * | 2014-04-17 | 2015-10-22 | Cmc S.R.L. | Managing method of a plurality of physical layer transceivers and device implementing the method |
| CN109495547A (zh) * | 2018-10-26 | 2019-03-19 | 北京车和家信息技术有限公司 | 车辆信号采集方法、装置以及云端服务器和车辆 |
| CN110417713A (zh) * | 2018-04-28 | 2019-11-05 | 广东亿迅科技有限公司 | 一种基于物联网的设备数据传输方法及装置 |
| CN110716974A (zh) * | 2019-09-29 | 2020-01-21 | 宜通世纪物联网研究院(广州)有限公司 | 物联网设备与平台的动态交互方法、系统及存储介质 |
| CN112148499A (zh) * | 2019-06-27 | 2020-12-29 | 腾讯科技（北京）有限公司 | 数据上报方法、装置、计算机设备及介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009133544A1 (en) * | 2008-05-02 | 2009-11-05 | Markport Limited | A messaging device and server system |
| CN102571717A (zh) * | 2010-12-17 | 2012-07-11 | 中国移动通信集团福建有限公司 | 基于原语的m2m终端通信方法和系统 |
| WO2016196947A1 (en) * | 2015-06-05 | 2016-12-08 | Convida Wireless, Llc | Method and appparatus of interworking m2m and iot devices and applications with different service layers |
| WO2017117345A1 (en) * | 2015-12-30 | 2017-07-06 | Convida Wireless, Llc | Semantics based content specification of iot data |
| CN108268529B (zh) * | 2016-12-30 | 2020-12-29 | 亿阳信通股份有限公司 | 一种基于业务抽象和多引擎调度的数据汇总方法和系统 |
-
2021
- 2021-01-27 CN CN202110112082.9A patent/CN112788054B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2155775A1 (en) * | 1994-09-20 | 1996-03-21 | Arun Narayan Netravali | Computer Network Gateway |
| EP0705012B1 (en) * | 1994-09-20 | 2004-06-09 | AT&T Corp. | Computer network gateway |
| US7542472B1 (en) * | 1999-11-17 | 2009-06-02 | Nokia Corporation | Data transmission |
| WO2015159266A1 (en) * | 2014-04-17 | 2015-10-22 | Cmc S.R.L. | Managing method of a plurality of physical layer transceivers and device implementing the method |
| CN104391692A (zh) * | 2014-11-10 | 2015-03-04 | 上海交通大学 | 用于读写psd-bpa数据文件的面向对象编程方法 |
| CN104660709A (zh) * | 2015-03-12 | 2015-05-27 | 国家电网公司 | 一种基于iec61850的用电数据采集系统及其工作方法 |
| CN110417713A (zh) * | 2018-04-28 | 2019-11-05 | 广东亿迅科技有限公司 | 一种基于物联网的设备数据传输方法及装置 |
| CN109495547A (zh) * | 2018-10-26 | 2019-03-19 | 北京车和家信息技术有限公司 | 车辆信号采集方法、装置以及云端服务器和车辆 |
| CN112148499A (zh) * | 2019-06-27 | 2020-12-29 | 腾讯科技（北京）有限公司 | 数据上报方法、装置、计算机设备及介质 |
| CN110716974A (zh) * | 2019-09-29 | 2020-01-21 | 宜通世纪物联网研究院(广州)有限公司 | 物联网设备与平台的动态交互方法、系统及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于车联网远程驾驶的虚拟资源智能协同管理技术;彭新玉等;《电信科学》;20200420(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112788054A (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111245916B (zh) | 基于微服务网关的服务调用方法、服务编排方法及装置 | |
| CN108062243B (zh) | 执行计划的生成方法、任务执行方法及装置 | |
| KR102167613B1 (ko) | 메시지 푸시 방법 및 장치 | |
| CN110633442A (zh) | 一种推送方法、装置及电子设备 | |
| CN111930598B (zh) | 基于区块链和大数据分析的信息处理方法及大数据平台 | |
| CN115174472B (zh) | 一种消息转发处理方法及相关装置 | |
| CN114024972A (zh) | 一种长连接通信方法、系统、装置、设备及存储介质 | |
| CN112788054B (zh) | 一种物联网数据处理方法、系统及设备 | |
| CN113687958A (zh) | 数据处理方法、系统、计算机设备和存储介质 | |
| CN109618187B (zh) | 一种视频数据的获取方法及装置 | |
| CN106612263B (zh) | 一种用于处理应用访问请求的方法与设备 | |
| CN113890891A (zh) | 一种能源云网的数据共享交互方法和装置 | |
| CN115729683A (zh) | 任务处理方法、装置、系统、计算机设备和存储介质 | |
| CN105516271A (zh) | 业务处理系统、业务处理方法及装置 | |
| US11777852B1 (en) | System and method for web service atomic transaction (WS-AT) affinity routing | |
| CN116016644A (zh) | 业务请求处理方法、网络设备及计算机可读存储介质 | |
| CN114915656A (zh) | 一种车联网终端接入方法、装置、存储介质及电子设备 | |
| CN111552907A (zh) | 消息处理方法、装置、设备和存储介质 | |
| WO2022222698A1 (zh) | 建立连接的方法、装置、存储介质及服务器 | |
| CN113986955B (zh) | 业务链的确定方法、装置、电子设备及介质 | |
| CN116244099B (zh) | 嵌入式系统内进程通讯方法、装置、电子设备和存储介质 | |
| CN113411382B (zh) | 一种基于网络设备f5的实时数据采集系统及方法 | |
| WO2023220948A1 (en) | Method, apparatus and system for configurable data collection for networked data analytics and management | |
| CN111131427B (zh) | 一种基于中心域的跨域协同系统及实现方法 | |
| US20230284009A1 (en) | Data Processing Method, Data Processing Apparatus, Electronic Device And computer Readable Storage Medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |