CN113472779A - 一种数据处理方法和装置 - Google Patents
一种数据处理方法和装置 Download PDFInfo
- Publication number
- CN113472779A CN113472779A CN202110735646.4A CN202110735646A CN113472779A CN 113472779 A CN113472779 A CN 113472779A CN 202110735646 A CN202110735646 A CN 202110735646A CN 113472779 A CN113472779 A CN 113472779A
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- internet
- things
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000013499 data model Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000001960 triggered effect Effects 0.000 claims abstract description 12
- 238000012795 verification Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013075 data extraction Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 9
- 238000007726 management method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012067 mathematical method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004887 air purification Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种数据处理方法和装置，涉及物联网技术领域。该方法的一具体实施方式包括：获取物联网设备上报的设备数据；根据所述物联网设备对应的设备类型，调用预先建立的与所述设备类型对应的数据模型；基于所述数据模型，从所述设备数据中提取所述物联网设备对应的属性信息或所述物联网设备触发的事件信息；相对应地存储所述设备类型、所述属性信息或所述事件信息。该实施方式实现了对不同种类物联网设备数据的自动化采集及标准化处理。
Description
技术领域
本发明涉及物联网技术领域，尤其涉及一种数据处理方法和装置。
背景技术
随着物联网技术的发展，越来越多的企业或用户依赖于所采集的物联网设备数据对物联网设备本身或者业务进行监督管理，因而物联网设备数据的采集或处理日益重要。
目前，常用的物联网设备数据的采集方法主要有以下两种：基于物联网设备的接口进行数据采集；基于公用的物联网云平台进行数据采集。在实现本发明过程中，发明人发现现有技术中至少存在如下问题：基于物联网设备的接口进行数据采集时，需要适配不同种类或者不同厂商提供的物联网设备接口，操作复杂且成本高；基于物联网云平台进行数据采集时，由于物联网设备数据需要先上报至公用的云平台，无法保证数据的隐私性及安全性。
发明内容
有鉴于此，本发明实施例提供了一种数据处理方法和装置，能够在获取到物联网设备上报的设备数据之后，调用不同种类的物联网设备对应的数据模型，进而基于数据模型实现了对不同种类物联网设备数据的自动化采集及标准化处理。
为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，包括：
获取物联网设备上报的设备数据；
根据所述物联网设备对应的设备类型，调用预先建立的与所述设备类型对应的数据模型；
基于所述数据模型，从所述设备数据中提取所述物联网设备对应的属性信息或所述物联网设备触发的事件信息；
相对应地存储所述设备类型、所述属性信息或所述事件信息。
可选地，基于下述步骤建立所述数据模型：
根据所述设备类型，确定与所述设备类型对应的一个或多个属性及一个或多个事件；
根据所述物联网设备对应的业务场景，确定所述属性或所述事件对应的校验信息；
根据所述属性、所述事件、所述校验信息生成所述数据模型。
可选地，还包括：
根据所述数据模型所指示的校验信息，对所提取的属性信息或事件信息进行验证，以在验证通过的情况下相对应地存储所述设备类型、所述属性信息或所述事件信息。
可选地，所述属性对应的校验信息包括下述一种或多种：属性名称、属性标识、属性值是否可空、属性值类型、属性值的取值范围、属性值对应的字符长度；
所述事件对应的校验信息包括下述一种或多种：事件名称、事件标识、事件内容的取值范围、事件内容的类型、事件内容是否可空、时间内容对应的字符长度。
可选地，所述数据模型为JSON Schema；所上报的设备数据为JSON格式。
可选地，还包括：将一个或多个物联网设备上报的设备数据存储至一个消息队列，以从所述消息队列中获取所述物联网设备上报的设备数据。
可选地，在结构化存储系统中相对应地存储所述设备类型、所述属性信息或所述事件信息。
可选地，所述结构化存储系统为分布式文件系统或消息队列。
可选地，所述物联网设备通过下述任意一种方式上报所述设备数据：SDK、MQTT协议、HTTP协议、CoAP协议。
为实现上述目的，根据本发明实施例的另一个方面，提供了一种数据处理装置，包括：设备数据获取模块、数据模型调用模块、数据提取模块、数据存储模块；其中，
所述设备数据获取模块，用于获取物联网设备上报的设备数据；
所述数据模型调用模块，用于根据所述物联网设备对应的设备类型，调用预先建立的与所述设备类型对应的数据模型；
所述数据提取模块，用于基于所述数据模型，从所述设备数据中提取所述物联网设备对应的属性信息或所述物联网设备触发的事件信息；
所述数据存储模块，用于相对应地存储所述设备类型、所述属性信息或所述事件信息。
可选地，所述数据模型调用模块，还用于基于下述步骤建立所述数据模型：
根据所述设备类型，确定与所述设备类型对应的一个或多个属性及一个或多个事件；
根据所述物联网设备对应的业务场景，确定所述属性或所述事件对应的校验信息；
根据所述属性、所述事件、所述校验信息生成所述数据模型。
可选地，所述数据提取模块，还用于，根据所述数据模型所指示的校验信息，对所提取的属性信息或事件信息进行验证，以在验证通过的情况下相对应地存储所述设备类型、所述属性信息或所述事件信息。
可选地，所述属性对应的校验信息包括下述一种或多种：属性名称、属性标识、属性值是否可空、属性值类型、属性值的取值范围、属性值对应的字符长度；
所述事件对应的校验信息包括下述一种或多种：事件名称、事件标识、事件内容的取值范围、事件内容的类型、事件内容是否可空、时间内容对应的字符长度。
可选地，所述数据模型为JSON Schema；所上报的设备数据为JSON格式。
可选地，所述设备数据获取模块，还用于将一个或多个物联网设备上报的设备数据存储至一个消息队列，以从所述消息队列中获取所述物联网设备上报的设备数据。
可选地，所述数据存储模块，用于在结构化存储系统中相对应地存储所述设备类型、所述属性信息或所述事件信息。
在一种可选的实施方式中，所述结构化存储系统为分布式文件系统或消息队列。
在一种可选的实施方式中，所述物联网设备通过下述任意一种方式上报所述设备数据：SDK、MQTT协议、HTTP协议、CoAP协议。
为实现上述目的，根据本发明实施例的再一个方面，提供了一种用于数据处理的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的数据处理方法中任一所述的方法。
为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的数据处理方法中任一所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：通过在获取到物联网设备上报的设备数据之后，调用与物联网设备的设备类型对应的数据模型，并基于数据模型从设备数据中提取属性信息及事件信息的方式，实现了对不同种类物联网设备数据的自动化采集及标准化处理，既不需要适配不同种类物联网设备的接口，也不需要将数据上传至公共的物联网云平台，提高了数据采集的效率，保证了数据的隐私性及安全性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的数据数理方法的主要流程的示意图；
图2是根据本发明实施例的数据模型的构建方法的主要流程的示意图；
图3是根据本发明实施例的另一数据数理方法的主要流程的示意图；
图4是根据本发明实施例的数据处理装置的主要模块的示意图；
图5是本发明实施例可以应用于其中的示例性系统架构图；
图6是适于用来实现本发明实施例的物联网设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的数据处理方法的主要流程的示意图，如图1所示，该数据处理方法具体可以包括的步骤如下：
步骤S101，获取物联网设备上报的设备数据。
其中，物联网设备可以是入物联网的任何智能设备，包括但不限于冰箱、洗衣机、电视、音响、手环、头盔、空调、空气净化器、插座、插排等等。设备数据则包括但不限于用于对物联网设的状态进行数字化描述的属性信息，以及物联网设备因感知到变化或者接收到控制指令而触发的事件。具体地，以物联网设备为空气质量传感器为例进行说明，则属性信息包括当前温度、空气湿度等属性对应的属性名称或属性标识以及具体的属性值；事件信息则包括因电池电量过低而触发的低电量预警事件、空气湿度过大而触发的加湿暂停事件等，对应的事件名称或者事件标识分别为电池低电量、空气湿度过大，事件内容则分别为预警、加湿暂停等。
在一种可选的实施方式中，所述物联网设备通过下述任意一种方式上报所述设备数据：SDK、MQTT协议、HTTP协议、CoAP协议。更进一步地，物联网设备可以通过本发明实施例提供的数据处理装置对应的SDK或则规范向数据处理装置上报自身的属性信息，同时，通过MQTT协议、HTTP协议、CoAP协议等任意一种物联网通信协议向数据处理装置上报事件信息等。
其中，MQTT协议是由IBM开发的一个即时通讯的协议，是为大量计算能力有限且工作在低带宽、不可靠网络的远程传感器和控制设备通讯而设计的一种协议，MQTT协议的优势是可以支持所有平台，它几乎可以把所有的联网物品和互联网连接起来。CoAP协议是IETF的CoRE工作组提出的一种基于UDP的协议，且CoAP是6LowPAN协议栈中的应用层协议，基于REST(表述性状态传递)架构风格，支持与REST进行交互，因而用户可以像使用HTTP协议一样用CoAP协议来访问物联网设备。
在一种可选的实施方式中，还包括：将一个或多个物联网设备上报的设备数据存储至一个消息队列，以从所述消息队列中获取所述物联网设备上报的设备数据。
可以理解的是，物联网设备种类繁多、数量巨大，因而会产生海量的设备数据，但是由于物联网设备产生数据的稀疏性，即一个物联网设备隔很长一段时间才上报一条设备数据，若不同的物联网设备使用不同的消息队列存储设备数据，则极可能产生消息队列繁多而数据稀少的问题，且对应的消息队列管理、数据解析复杂性增加，需要消耗更多资源。因此，通过仅使用一个消息队列存储所有物联网设备上报的设备数据，然后再从消息队列获取设备数据进行处理的方式，既实现了对稀疏的设备数据的缓冲，又保证了所获取的设备数据的即时性，同时还降低了消息队列的管理维护成本。
步骤S102，根据所述物联网设备对应的设备类型，调用预先建立的与所述设备类型对应的数据模型。
其中，设备类型可以由设备名称、设备标识或者设备所对应的三级类目决定，如以物联网设备分别为美的变频空调、格力变频空调为例，则二者对应的设备类型均为空调。
在一种可选的实施方式中，所述数据模型为JSON Schema；所上报的设备数据为JSON格式。其中，JSON Schema定义了一套词汇和规则，这套词汇和规则用来定义JSON元数据，且元数据也是通过JSON数据形式表达的。JSON元数据定义了JSON数据需要满足的规范，规范包括成员、结构、类型、约束等。
在一种可选的实施方式中，基于下述步骤建立所述数据模型：根据所述设备类型，确定与所述设备类型对应的一个或多个属性及一个或多个事件；根据所述物联网设备对应的业务场景，确定所述属性或所述事件对应的校验信息；根据所述属性、所述事件、所述校验信息生成所述数据模型。
步骤S103，基于所述数据模型，从所述设备数据中提取所述物联网设备对应的属性信息或所述物联网设备触发的事件信息。
在一种可选的实施方式中，还包括：根据所述数据模型所指示的校验信息，对所提取的属性信息或事件信息进行验证，以在验证通过的情况下相对应地存储所述设备类型、所述属性信息或所述事件信息。
更进一步地，所述属性对应的校验信息包括下述一种或多种：属性名称、属性标识、属性值是否可空、属性值类型、属性值的取值范围、属性值对应的字符长度；所述事件对应的校验信息包括下述一种或多种：事件名称、事件标识、事件内容的取值范围、事件内容的类型、事件内容是否可空、时间内容对应的字符长度。
具体地，以物联网设备为加湿器、属性为湿度为例进行说明，则可以预先设定湿度的对应的取值范围(如0-10)、取值类型为整数等校验信息，所从设备数据中提取的湿度等属性信息进行验证，若湿度取值不在0-10之内或取值不是整数，则校验不通过，即所上报的湿度数据不规范或者质量不高，直接过滤掉而不进行存储以备用。如此，通过预先设定的校验信息对所提取的数据进行验证的方式，进一步规范了数据，保证了数据质量。
步骤S104，相对应地存储所述设备类型、所述属性信息或所述事件信息。
在一种可选的实施方式中，在结构化存储系统中相对应地存储所述设备类型、所述属性信息或所述事件信息。更具体地，所述结构化存储系统为分布式文件系统或消息队列。如此，通过对物联网设备对应的属性信息以及事件信息的结构化存储，进行一步实现了对物联网设备数据的标准化管理，以便于后续进行统计分析，并基于统计分析的结果对物联网设备本身进行监控，或对于物联网系统、物联网网络等进行管理维护。
基于上述实施例，通过在获取到物联网设备上报的设备数据之后，调用与物联网设备的设备类型对应的数据模型，并基于数据模型从设备数据中提取属性信息及事件信息的方式，实现了对不同种类物联网设备数据的自动化采集及标准化处理，既不需要适配不同种类物联网设备的接口，也不需要将数据上传至公共的物联网云平台，提高了数据采集的效率，保证了数据的隐私性及安全性。此外，通过仅使用一个消息队列存储所有物联网设备上报的设备数据，然后再从消息队列获取设备数据进行处理的方式，既实现了对稀疏的设备数据的缓冲，又保证了所获取的设备数据的即时性，同时还降低了消息队列的管理维护成本
参见图2，在上述实施例的基础上，本发明实施例提供了一种数据模型的构建方法，该方法具体可以包括的步骤如下：
步骤S201，根据所述设备类型，确定与所述设备类型对应的一个或多个属性及一个或多个事件。
以物联网设备为不同型号、不同厂商生产的空气净化器为例，则对于这类物联网设备，可以基于实际需求列举其可能的属性及事件，如温度、湿度、PM2.5等，低电量报警、湿度过低预警、湿度过高暂停加湿等。
步骤S202，根据所述物联网设备对应的业务场景，确定所述属性或所述事件对应的校验信息。
其中，业务场景则是指物联网设备的实际应用场景，比如空气净化、空气质量监控、车辆检测、运动数据采集、呼吸检测等。可以理解的是，同一物联网设备因其所在区域或者业务场景的不同，同一属性值对应的取值范围也可能不同；进一步，不同种类的物联网设备可能具有相同的属性或事件，如此空调、智能手环等均具有温度这一属性，空调、空气净化器均可具有低电量事件，但是其对应的相同属性或者事件的取值范围等不尽相同。因此，在实际的执行过程中，需要根据物联网设备的实际业务场景确定属性或事件对应的取值范围、取值类型等校验信息。
进一步地，以空调、智能手环对应的温度这一属性为例进行说明：由于人体正常温度范围为36～37℃，因而智能手环的温度对应的取值范围这一校验信息可设置为36～37℃；而最适宜活动的室内温度为18～30℃，因而空调对应的温度取值范围则可以设置为18～30℃。
步骤S203，根据所述属性、所述事件、所述校验信息生成所述数据模型。
具体地，在物联网设备可采用JSON格式上报包含有属性信息、事件信息的设备数据的情况下，可基于JSON Schema生成数据模型，以定义物联网设备对一个或多个属性及事件，具体示例如下：
参见图3，在上述实施例的基础上，本发明实施例提供了另一种数据处理方法，该方法具体可以包括的步骤如下：
步骤S301，获取物联网设备上报的设备数据。
步骤S302，将一个或多个物联网设备上报的设备数据存储至一个消息队列，以从所述消息队列中获取所述物联网设备上报的设备数据。
步骤S303，根据所述物联网设备对应的设备类型，调用预先建立的与所述设备类型对应的数据模型。
步骤S304，基于所述数据模型，从所述设备数据中提取所述物联网设备对应的属性信息或所述物联网设备触发的事件信息。
步骤S305，根据所述数据模型所指示的校验信息，对所提取的属性信息或事件信息进行验证。
步骤S306，在验证通过的情况下相对应地存储所述设备类型、所述属性信息或所述事件信息。
基于上述实施例，通过将多个物联网设备上报的设备数据存储至一个消息队列的方式，避免了设备数据的稀疏性；通过采用数据模型从设备数据中提取属性信息以及事件信息的方式，实现了对不同种类物联网设备数据的自动化采集以及标准化处理；通过数据模型中定义的校验信息对所提取的属性信息以及事件信息进行校验的方式，进一步提高了数据的质量。
参见图4，在上述实施例的基础上，本发明实施例提供了一种数据处理装置400，其特征在于，包括：设备数据获取模块401、数据模型调用模块402、数据提取模块403、数据存储模块404；其中，
所述设备数据获取模块401，用于获取物联网设备上报的设备数据；
所述数据模型调用模块402，用于根据所述物联网设备对应的设备类型，调用预先建立的与所述设备类型对应的数据模型；
所述数据提取模块403，用于基于所述数据模型，从所述设备数据中提取所述物联网设备对应的属性信息或所述物联网设备触发的事件信息；
所述数据存储模块404，用于相对应地存储所述设备类型、所述属性信息或所述事件信息。
在一种可选的实施方式中，所述数据模型调用模块402，还用于，
基于下述步骤建立所述数据模型：
根据所述设备类型，确定与所述设备类型对应的一个或多个属性及一个或多个事件；
根据所述物联网设备对应的业务场景，确定所述属性或所述事件对应的校验信息；
根据所述属性、所述事件、所述校验信息生成所述数据模型。
在一种可选的实施方式中，所述数据提取模块403，还用于，
根据所述数据模型所指示的校验信息，对所提取的属性信息或事件信息进行验证，以在验证通过的情况下相对应地存储所述设备类型、所述属性信息或所述事件信息。
在一种可选的实施方式中，所述属性对应的校验信息包括下述一种或多种：属性名称、属性标识、属性值是否可空、属性值类型、属性值的取值范围、属性值对应的字符长度；
所述事件对应的校验信息包括下述一种或多种：事件名称、事件标识、事件内容的取值范围、事件内容的类型、事件内容是否可空、时间内容对应的字符长度。
在一种可选的实施方式中，所述数据模型为JSON Schema；所上报的设备数据为JSON格式。
在一种可选的实施方式中，所述设备数据获取模块401，还用于，将一个或多个物联网设备上报的设备数据存储至一个消息队列，以从所述消息队列中获取所述物联网设备上报的设备数据。
在一种可选的实施方式中，所述数据存储模块404，用于在结构化存储系统中相对应地存储所述设备类型、所述属性信息或所述事件信息。
在一种可选的实施方式中，所述结构化存储系统为分布式文件系统或消息队列。
在一种可选的实施方式中，所述物联网设备通过下述任意一种方式上报所述设备数据：SDK、MQTT协议、HTTP协议、CoAP协议。
图5示出了可以应用本发明实施例的数据处理方法或数据处理装置的示例性系统架构500。
如图5所示，系统架构500可以包括物联网设备501、502、503，网络504和服务器505。网络504用以在物联网设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
物联网备501、502、503可通过网络504向服务器505上报设备数据。物联网设备501、502、503上可以安装有各种传感器，如温度传感器、湿度传感器、红外传感器等。
物联网设备501、502、503可以是具有显示屏并且进行设备数据设备的各种电子设备，包括但不限于智能手环、智能冰箱、空调、加湿器、插排等等。
服务器505可以是提供各种服务的服务器，例如对物联网设备501、502、503所上报的设备数据进行处理。
需要说明的是，本发明实施例所提供的数据处理方法一般由服务器505执行，相应地，数据处理装置一般设置于服务器505中。
应该理解，图5中的物联网设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的物联网设备、网络和服务器。
下面参考图6，其示出了适于用来实现本发明实施例的物联网设备的计算机系统600的结构示意图。图6示出的物联网设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括设备数据获取模块、数据模型调用模块、数据提取模块、数据存储模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，设备数据获取模块还可以被描述为“用于获取物联网设备上报的设备数据的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取物联网设备上报的设备数据；根据所述物联网设备对应的设备类型，调用预先建立的与所述设备类型对应的数据模型；基于所述数据模型，从所述设备数据中提取所述物联网设备对应的属性信息或所述物联网设备触发的事件信息；相对应地存储所述设备类型、所述属性信息或所述事件信息。
根据本发明实施例的技术方案，通过在获取到物联网设备上报的设备数据之后，调用与物联网设备的设备类型对应的数据模型，并基于数据模型从设备数据中提取属性信息及事件信息的方式，实现了对不同种类物联网设备数据的自动化采集及标准化处理，既不需要适配不同种类物联网设备的接口，也不需要将数据上传至公共的物联网云平台，提高了数据采集的效率，保证了数据的隐私性及安全性。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (12)
1.一种数据处理方法，其特征在于，包括：
获取物联网设备上报的设备数据；
根据所述物联网设备对应的设备类型，调用预先建立的与所述设备类型对应的数据模型；
基于所述数据模型，从所述设备数据中提取所述物联网设备对应的属性信息或所述物联网设备触发的事件信息；
相对应地存储所述设备类型、所述属性信息或所述事件信息。
2.根据权利要求1所述的数据处理方法，其特征在于，基于下述步骤建立所述数据模型：
根据所述设备类型，确定与所述设备类型对应的一个或多个属性及一个或多个事件；
根据所述物联网设备对应的业务场景，确定所述属性或所述事件对应的校验信息；
根据所述属性、所述事件、所述校验信息生成所述数据模型。
3.根据权利要求2所述的数据处理方法，其特征在于，还包括：
根据所述数据模型所指示的校验信息，对所提取的属性信息或事件信息进行验证，以在验证通过的情况下相对应地存储所述设备类型、所述属性信息或所述事件信息。
4.根据权利要求3所述的数据处理方法，其特征在于，
所述属性对应的校验信息包括下述一种或多种：属性名称、属性标识、属性值是否可空、属性值类型、属性值的取值范围、属性值对应的字符长度；
所述事件对应的校验信息包括下述一种或多种：事件名称、事件标识、事件内容的取值范围、事件内容的类型、事件内容是否可空、时间内容对应的字符长度。
5.根据权利要求2所述的数据处理方法，其特征在于，
所述数据模型为JSON Schema；
所上报的设备数据为JSON格式。
6.根据权利要求1所述的数据处理方法，其特征在于，还包括：
将一个或多个物联网设备上报的设备数据存储至一个消息队列，以从所述消息队列中获取所述物联网设备上报的设备数据。
7.根据权利要求1所述的数据处理方法，其特征在于，在结构化存储系统中相对应地存储所述设备类型、所述属性信息或所述事件信息。
8.根据权利要求7所述的数据处理方法，其特征在于，
所述结构化存储系统为分布式文件系统或消息队列。
9.根据权利要求1所述的数据处理方法，其特征在于，
所述物联网设备通过下述任意一种方式上报所述设备数据：SDK、MQTT协议、HTTP协议、CoAP协议。
10.一种数据处理装置，其特征在于，包括：设备数据获取模块、数据模型调用模块、数据提取模块、数据存储模块；其中，
所述设备数据获取模块，用于获取物联网设备上报的设备数据；
所述数据模型调用模块，用于根据所述物联网设备对应的设备类型，调用预先建立的与所述设备类型对应的数据模型；
所述数据提取模块，用于基于所述数据模型，从所述设备数据中提取所述物联网设备对应的属性信息或所述物联网设备触发的事件信息；
所述数据存储模块，用于相对应地存储所述设备类型、所述属性信息或所述事件信息。
11.一种用于数据处理的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110735646.4A CN113472779A (zh) | 2021-06-30 | 2021-06-30 | 一种数据处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110735646.4A CN113472779A (zh) | 2021-06-30 | 2021-06-30 | 一种数据处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113472779A true CN113472779A (zh) | 2021-10-01 |
Family
ID=77876439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110735646.4A Pending CN113472779A (zh) | 2021-06-30 | 2021-06-30 | 一种数据处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113472779A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115474000A (zh) * | 2022-08-16 | 2022-12-13 | 支付宝(杭州)信息技术有限公司 | 数据处理方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111901144A (zh) * | 2020-06-19 | 2020-11-06 | 深圳奇迹智慧网络有限公司 | 物联网设备的交互方法、装置、计算机设备和存储介质 |
| CN112947646A (zh) * | 2021-03-03 | 2021-06-11 | 浪潮云信息技术股份公司 | 一种环境监测预警系统及方法 |
| CN112948373A (zh) * | 2021-01-26 | 2021-06-11 | 浙江吉利控股集团有限公司 | 一种物联网设备数据处理方法、装置、设备及存储介质 |
-
2021
- 2021-06-30 CN CN202110735646.4A patent/CN113472779A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111901144A (zh) * | 2020-06-19 | 2020-11-06 | 深圳奇迹智慧网络有限公司 | 物联网设备的交互方法、装置、计算机设备和存储介质 |
| CN112948373A (zh) * | 2021-01-26 | 2021-06-11 | 浙江吉利控股集团有限公司 | 一种物联网设备数据处理方法、装置、设备及存储介质 |
| CN112947646A (zh) * | 2021-03-03 | 2021-06-11 | 浪潮云信息技术股份公司 | 一种环境监测预警系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115474000A (zh) * | 2022-08-16 | 2022-12-13 | 支付宝(杭州)信息技术有限公司 | 数据处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110351257B (zh) | 一种分布式物联网安全接入系统 | |
| CN111314339B (zh) | 数据传输方法及装置 | |
| CN108337127B (zh) | 应用性能监控方法、系统、终端及计算机可读存储介质 | |
| CN112769897A (zh) | 边缘计算消息的同步方法、装置、电子设备及存储介质 | |
| CN112671697B (zh) | 综合监控系统的数据处理方法、装置和系统 | |
| CN110858192A (zh) | 一种日志查询方法和系统、日志排查系统和查询终端 | |
| CN110620699B (zh) | 消息到达率确定方法、装置、设备和计算机可读存储介质 | |
| CN113225339B (zh) | 网络安全监测方法、装置、计算机设备及存储介质 | |
| CN111338247A (zh) | 一种基于物联网的模拟控制系统及方法 | |
| CN113918357A (zh) | 业务处理方法及装置、存储介质、电子设备 | |
| CN116594836A (zh) | 一种基于云原生的多云异构资源统一监控方法及装置 | |
| CN113472779A (zh) | 一种数据处理方法和装置 | |
| CN116032911A (zh) | 一种基于websocket的物联网大屏实时监控系统 | |
| CN116257754A (zh) | 一种数据处理方法及装置 | |
| CN115883677A (zh) | 一种智能网关处理消防物联设备通信异构数据的方法 | |
| CN111741355B (zh) | 用于推送信息的方法、装置和系统 | |
| CN110995486B (zh) | 一种基于物联网的智能硬件设备监控系统 | |
| CN112019406B (zh) | 流量监控方法、装置、电子设备和计算机可读介质 | |
| CN115220131A (zh) | 气象数据质检方法及系统 | |
| CN114756301A (zh) | 日志处理方法、装置和系统 | |
| CN107682432A (zh) | 基于Spark的数据处理系统和方法 | |
| CN112866332A (zh) | 基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其存储介质 | |
| CN107295087B (zh) | 一种实现网系间数据聚合的系统及方法 | |
| CN116071892B (zh) | 基于5g+iot的局地灾害性天气预警物联网发布方法 | |
| CN117729060B (zh) | 一种预警信息群发决策方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211001 |