CN115114339B - 基于物联网平台的数据管理方法及数据管理系统 - Google Patents
基于物联网平台的数据管理方法及数据管理系统 Download PDFInfo
- Publication number
- CN115114339B CN115114339B CN202211028772.7A CN202211028772A CN115114339B CN 115114339 B CN115114339 B CN 115114339B CN 202211028772 A CN202211028772 A CN 202211028772A CN 115114339 B CN115114339 B CN 115114339B
- Authority
- CN
- China
- Prior art keywords
- data
- query request
- query
- service module
- internet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及物联网和大数据技术领域,具体公开了一种基于物联网平台的数据管理方法及数据管理系统,包括:与采集装置建立第一通信连接,所述采集装置能够采集设备的关键参数;获取所述设备的关键参数,并对所述设备的关键参数进行数据处理,得到处理数据;将所述处理数据进行存储;与应用端建立第二通信连接,接收应用端的数据查询请求,并根据所述数据查询请求将所述处理数据中的对应查询内容反馈至所述应用端,其中所述第一通信连接和所述第二通信连接均包括SDK通信接口。本发明提供的基于物联网平台的数据管理方法能够提高数据仓库的扩展性。
Description
技术领域
本发明涉及物联网和大数据技术领域,尤其涉及一种基于物联网平台的数据管理方法及基于物联网平台的数据管理系统。
背景技术
现有技术中,数据仓库在对外提供服务时,主要是通过数据仓库的分层调用实现,这样提供的数据服务接口方式和数据都比较单一,扩展性不强,无法满足物联网(Internetof Things,简称IoT)平台的多种用户场景的需求。
因此,如何提供一种扩展性强的数据管理方式成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种基于物联网平台的数据管理方法及基于物联网平台的数据管理系统,解决相关技术中存在的数据仓库对外扩展性不强的问题。
作为本发明的第一个方面,提供一种基于物联网平台的数据管理方法,其中,包括:
与采集装置建立第一通信连接,所述采集装置能够采集设备的关键参数;
获取所述设备的关键参数,并对所述设备的关键参数进行数据处理,得到处理数据;
将所述处理数据进行存储;
与应用端建立第二通信连接,接收应用端的数据查询请求,并根据所述数据查询请求将所述处理数据中的对应查询内容反馈至所述应用端,
其中所述第一通信连接和所述第二通信连接均包括SDK通信接口。
进一步地,根据所述数据查询请求将所述处理数据中的对应查询内容反馈至所述应用端,包括:
判断所述数据查询请求的数据格式类型,其中所述数据查询请求的数据格式类型包括标准格式和SDK自定义格式;
若所述数据查询请求的数据格式类型为标准格式,则调用数仓数据服务模块执行查询功能,并向所述应用端反馈数仓数据服务模块的查询内容;
若所述数据查询请求的数据格式类型为SDK自定义格式,则调用数据中转服务模块执行查询功能,并向所述应用端反馈数据中转服务模块的查询内容。
进一步地,判断所述数据查询请求的数据格式类型,包括:
根据数据结构判断所述数据查询请求的数据格式类型;
若所述数据查询请求的数据格式类型符合标准数据结构,则确定所述数据查询请求的数据格式类型为标准格式;
若所述数据查询请求的数据格式类型符合自定义数据结构,则确定所述数据查询请求的数据格式类型为SDK自定义格式。
进一步地,所述数据中转服务模块执行查询功能,包括:
所述数据中转服务模块根据自定义数据结构对所述处理数据中的元数据进行处理组织,获得查询结果;
将所述查询结果按照自定义数据结构反馈至应用端。
进一步地,所述SDK自定义格式包括:JSON、XML、TXT、CSV、YAML、HTML和二进制中的任意一种。
进一步地,所述第一通信连接的通信接口包括MQTT、HTTP、CoAP和SDK通信接口。
作为本发明的另一个方面,提供一种基于物联网平台的数据管理系统,其中,包括:
接口模块,能够与采集装置建立第一通信连接,所述采集装置能够采集设备的关键参数;
数据处理模块,能够获取所述设备的关键参数,并对所述设备的关键参数进行数据处理,得到处理数据;
数仓模块,能够将所述处理数据进行存储;
数仓服务模块,能够与应用端建立第二通信连接,接收应用端的数据查询请求,并根据所述数据查询请求将所述处理数据中的对应查询内容反馈至所述应用端,
其中所述第一通信连接和所述第二通信连接均包括SDK通信接口。
进一步地,所述数据处理模块包括:
数据处理中心模块,用于获取所述设备的关键参数;
IoT平台服务模块,用于对所述设备的关键参数进行数据处理,得到处理数据。
进一步地,所述数仓服务模块包括:数仓数据服务模块和数据中转服务模块,所述数仓数据服务模块用于在所述数据查询请求的数据格式类型为标准格式时执行查询功能,所述数据中转服务模块用于在所述数据查询请求的数据格式类型为SDK自定义格式时执行查询功能。
进一步地,所述采集装置包括传感器装置。
本发明提供的基于物联网平台的数据管理方法,通过集成SDK能够弥补数仓数据服务单一以及扩展性差的问题,在进行数据查询请求处理时,可以根据不同的数据查询请求的数据结构类型选择与之对应的服务模块进行数据查询,且由于采用SDK自定义格式能够更加灵活自定义数据格式,通过数据服务接口供用户调用,满足多种用户场景需求。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。
图1为本发明提供的基于物联网平台的数据管理方法的流程图。
图2为本发明提供的基于物联网平台的数据管理系统的结构框图。
图3为本发明提供的基于物联网平台的数据管理系统的具体工作过程示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包括,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中提供了一种基于物联网平台的数据管理方法,图1是根据本发明实施例提供的基于物联网平台的数据管理方法的流程图,如图1所示,包括:
S100、与采集装置建立第一通信连接,所述采集装置能够采集设备的关键参数;
在本发明实施例中,具体所述采集装置可以为传感器装置。例如,该基于物联网平台的数据管理方法具体的应用场景可以为,对锅炉企业的数据进行管理,则采集装置具体可以为温湿度传感器、水压传感器等,设备在该实施例中即为锅炉房中的锅炉设备。
因此,与采集装置建立第一通信连接具体可以理解为,与多种类型的传感器建立第一通信连接。
在本发明实施例中,所述第一通信连接的通信接口包括MQTT、HTTP、CoAP和SDK通信接口。
通过设置SDK通信接口,可以接收用户自定义的数据结构数据。
应当理解的是,在本发明实施例中,以设备为锅炉为例,所述设备的关键参数具体可以为温度、湿度、水压等。
S200、获取所述设备的关键参数,并对所述设备的关键参数进行数据处理,得到处理数据;
在本发明实施例中,对所述设备的关键参数进行数据处理具体可以理解为,将所述设备的温湿度数据等进行数据格式等的转换,以满足数据的存储要求等。
S300、将所述处理数据进行存储;
在本发明实施例中,将处理后的设备的关键参数进行存储,具体可以理解为,将处理后的设备的关键参数存储在数仓中。
S400、与应用端建立第二通信连接,接收应用端的数据查询请求,并根据所述数据查询请求将所述处理数据中的对应查询内容反馈至所述应用端,
其中所述第一通信连接和所述第二通信连接均包括SDK通信接口。
在本发明实施例中,由于应用端的数据格式类型不同,在查询所述数仓中的数据时的方式也有所不同。
具体地,根据所述数据查询请求将所述处理数据中的对应查询内容反馈至所述应用端,包括:
判断所述数据查询请求的数据格式类型,其中所述数据查询请求的数据格式类型包括标准格式和SDK自定义格式;
若所述数据查询请求的数据格式类型为标准格式,则调用数仓数据服务模块执行查询功能,并向所述应用端反馈数仓数据服务模块的查询内容;
若所述数据查询请求的数据格式类型为SDK自定义格式,则调用数据中转服务模块执行查询功能,并向所述应用端反馈数据中转服务模块的查询内容。
应当理解的是,通过判断数据查询请求的数据格式类型,确定执行查询功能的服务模块,即,当所述数据查询请求的数据格式类型为标准格式时,数仓数据服务模块执行查询功能,当所述查询请求的数据格式类型为SDK自定义格式时,数据中转服务模块执行查询功能。
在本发明实施例中,判断所述数据查询请求的数据格式类型,包括:
根据数据结构判断所述数据查询请求的数据格式类型;
若所述数据查询请求的数据格式类型符合标准数据结构,则确定所述数据查询请求的数据格式类型为标准格式;
若所述数据查询请求的数据格式类型符合自定义数据结构,则确定所述数据查询请求的数据格式类型为SDK自定义格式。
应当理解的是,通过判断数据查询请求的数据结构确定数据查询请求的数据格式类型,并在确定了数据格式类型之后,采用对应的处理方式对查询请求进行处理。
在本发明实施例中,所述数据中转服务模块执行查询功能,包括:
所述数据中转服务模块根据自定义数据结构对所述处理数据中的元数据进行处理组织,获得查询结果;
将所述查询结果按照自定义数据结构反馈至应用端。
应当理解的是,所述应用端具体可以为用户移动端app,也可以为用户PC端app,或者为其他应用端。
在本发明实施例中,所述SDK自定义格式包括:JSON、XML、TXT、CSV、YAML、HTML和二进制中的任意一种。
综上,本发明实施例提供的基于物联网平台的数据管理方法,通过集成SDK能够弥补数仓数据服务单一以及扩展性差的问题,在进行数据查询请求处理时,可以根据不同的数据查询请求的数据结构类型选择与之对应的服务模块进行数据查询,且由于采用SDK自定义格式能够更加灵活自定义数据格式,通过数据服务接口供用户调用,满足多种用户场景需求。
作为本发明的另一实施例,提供一种基于物联网平台的数据管理系统10,其中,如图2所示,包括:
接口模块100,能够与采集装置建立第一通信连接,所述采集装置能够采集设备的关键参数;
数据处理模块200,能够获取所述设备的关键参数,并对所述设备的关键参数进行数据处理,得到处理数据;
数仓模块300,能够将所述处理数据进行存储;
数仓服务模块400,能够与应用端建立第二通信连接,接收应用端的数据查询请求,并根据所述数据查询请求将所述处理数据中的对应查询内容反馈至所述应用端,
其中所述第一通信连接和所述第二通信连接均包括SDK通信接口。
进一步具体地,所述数据处理模块包括:
数据处理中心模块,用于获取所述设备的关键参数;
IoT平台服务模块,用于对所述设备的关键参数进行数据处理,得到处理数据。
进一步具体地,所述数仓服务模块包括:数仓数据服务模块和数据中转服务模块,所述数仓数据服务模块用于在所述数据查询请求的数据格式类型为标准格式时执行查询功能,所述数据中转服务模块用于在所述数据查询请求的数据格式类型为SDK自定义格式时执行查询功能。
在本发明实施例中,通过集成SDK,SDK提供返回自定义数据格式,例如:JSON、XML、TXT、CSV、YAML、HTML、二进制等;同时SDK还提供数据模板功能,通过数据模板用户可以自己组织自己想要的数据结构,SDK底层会调用数据中转服务,数据中转服务会根据用户自定义数据结构对元数据进行处理组织,最终按照用户自定义数据结构返回给用户,简化了用户调用标准接口处理数据的操作。
进一步具体地,如图3所示,根据数据模板编写自定义数据结构(例如修改返回属性的名称),调用SDK的相关方法传入自定义数据结构数据和接口返回数据格式;SDK调用数据中转服务,查询相关元数据,对元数据进行处理,按照用户自定义数据结构组织数据;数据结构组织完成,调用相关方法,按照用户自定的数据格式,对数据进行再次处理,然后按照指定数据格式返回;最后用户应用端接收到查询的数据。
关于本发明实施例提供的基于物联网平台的数据管理系统的具体工作原理可以参照前文的基于物联网平台的数据管理方法的描述,此处不再赘述。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。
Claims (7)
1.一种基于物联网平台的数据管理方法,其特征在于,包括:
与采集装置建立第一通信连接,所述采集装置能够采集设备的关键参数;
获取所述设备的关键参数,并对所述设备的关键参数进行数据处理,得到处理数据;
将所述处理数据进行存储;
与应用端建立第二通信连接,接收应用端的数据查询请求,并根据所述数据查询请求将所述处理数据中的对应查询内容反馈至所述应用端,
其中所述第一通信连接和所述第二通信连接均包括SDK通信接口;
根据所述数据查询请求将所述处理数据中的对应查询内容反馈至所述应用端,包括:
判断所述数据查询请求的数据格式类型,其中所述数据查询请求的数据格式类型包括标准格式和SDK自定义格式;
若所述数据查询请求的数据格式类型为标准格式,则调用数仓数据服务模块执行查询功能,并向所述应用端反馈数仓数据服务模块的查询内容;
若所述数据查询请求的数据格式类型为SDK自定义格式,则调用数据中转服务模块执行查询功能,并向所述应用端反馈数据中转服务模块的查询内容;
其中,判断所述数据查询请求的数据格式类型,包括:
根据数据结构判断所述数据查询请求的数据格式类型;
若所述数据查询请求的数据格式类型符合标准数据结构,则确定所述数据查询请求的数据格式类型为标准格式;
若所述数据查询请求的数据格式类型符合自定义数据结构,则确定所述数据查询请求的数据格式类型为SDK自定义格式;
所述数据中转服务模块执行查询功能,包括:
所述数据中转服务模块根据自定义数据结构对所述处理数据中的元数据进行处理组织,获得查询结果;
将所述查询结果按照自定义数据结构反馈至应用端。
2.根据权利要求1所述的基于物联网平台的数据管理方法,其特征在于,所述SDK自定义格式包括:JSON、XML、TXT、CSV、YAML、HTML和二进制中的任意一种。
3.根据权利要求1所述的基于物联网平台的数据管理方法,其特征在于,所述第一通信连接的通信接口包括MQTT、HTTP、CoAP和SDK通信接口。
4.一种基于物联网平台的数据管理系统,用于实现权利要求1至3中任意一项所述的基于物联网平台的数据管理方法,其特征在于,包括:
接口模块,能够与采集装置建立第一通信连接,所述采集装置能够采集设备的关键参数;
数据处理模块,能够获取所述设备的关键参数,并对所述设备的关键参数进行数据处理,得到处理数据;
数仓模块,能够将所述处理数据进行存储;
数仓服务模块,能够与应用端建立第二通信连接,接收应用端的数据查询请求,并根据所述数据查询请求将所述处理数据中的对应查询内容反馈至所述应用端,
其中所述第一通信连接和所述第二通信连接均包括SDK通信接口。
5.根据权利要求4所述的基于物联网平台的数据管理系统,其特征在于,所述数据处理模块包括:
数据处理中心模块,用于获取所述设备的关键参数;
IoT平台服务模块,用于对所述设备的关键参数进行数据处理,得到处理数据。
6.根据权利要求4所述的基于物联网平台的数据管理系统,其特征在于,所述数仓服务模块包括:数仓数据服务模块和数据中转服务模块,所述数仓数据服务模块用于在所述数据查询请求的数据格式类型为标准格式时执行查询功能,所述数据中转服务模块用于在所述数据查询请求的数据格式类型为SDK自定义格式时执行查询功能。
7.根据权利要求4所述的基于物联网平台的数据管理系统,其特征在于,所述采集装置包括传感器装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211028772.7A CN115114339B (zh) | 2022-08-26 | 2022-08-26 | 基于物联网平台的数据管理方法及数据管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211028772.7A CN115114339B (zh) | 2022-08-26 | 2022-08-26 | 基于物联网平台的数据管理方法及数据管理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115114339A CN115114339A (zh) | 2022-09-27 |
CN115114339B true CN115114339B (zh) | 2022-12-13 |
Family
ID=83335409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211028772.7A Active CN115114339B (zh) | 2022-08-26 | 2022-08-26 | 基于物联网平台的数据管理方法及数据管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115114339B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107577805A (zh) * | 2017-09-26 | 2018-01-12 | 华南理工大学 | 一种面向日志大数据分析的业务服务系统 |
CN108377207A (zh) * | 2018-05-19 | 2018-08-07 | 济南浪潮高新科技投资发展有限公司 | 一种物联网平台设备接入和配置方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110012015B (zh) * | 2019-04-09 | 2021-04-13 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于区块链的物联网数据共享方法及系统 |
US11796368B2 (en) * | 2021-02-04 | 2023-10-24 | Chengdu Qinchuan Iot Technology Co., Ltd. | Methods and systems for measuring energy of natural gas based on Internet of Things |
-
2022
- 2022-08-26 CN CN202211028772.7A patent/CN115114339B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107577805A (zh) * | 2017-09-26 | 2018-01-12 | 华南理工大学 | 一种面向日志大数据分析的业务服务系统 |
CN108377207A (zh) * | 2018-05-19 | 2018-08-07 | 济南浪潮高新科技投资发展有限公司 | 一种物联网平台设备接入和配置方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115114339A (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101395838B (zh) | 数据同步方法、系统和装置 | |
CN101388887B (zh) | 一种网络服务的处理方法和系统 | |
CN100355242C (zh) | 设备管理系统、设备管理终端以及网络设备 | |
CN111224797B (zh) | 一种设备接入方法、装置及电子设备 | |
CN101410802A (zh) | 系统管理装置 | |
CN110688201B (zh) | 一种日志管理方法及相关设备 | |
CN111356182A (zh) | 一种资源的调度、处理方法及装置 | |
CN115114339B (zh) | 基于物联网平台的数据管理方法及数据管理系统 | |
KR20070052038A (ko) | 개방형 모바일 비즈니스 지원 시스템의 api 제공 방법 | |
CN114741261A (zh) | 一种分布式链路追踪方法、装置、设备及存储介质 | |
CN111277983A (zh) | 一种rfid中间件、发布订阅系统和数据传输方法 | |
CN110865973B (zh) | 一种数据处理方法及设备和相关装置 | |
CN102368849A (zh) | 智能手机通讯录通过网络进行状态更新的系统及方法 | |
CN100592736C (zh) | 包括不同种类的终端集合的网络的环境管理系统 | |
CN115102999B (zh) | DevOps系统、服务提供方法、存储介质和电子装置 | |
CN116527554A (zh) | 基于服务网格的监测系统、方法、设备及存储介质 | |
CN114079672B (zh) | 一种多功能网关多通道数据智能分配方法及系统 | |
CN113468275B (zh) | 图数据库的数据导入方法和装置、存储介质及电子设备 | |
CN1331036C (zh) | 一种通过移动终端存储数据的方法及移动终端存储装置 | |
CN112667386A (zh) | 任务管理方法和装置、存储介质及电子设备 | |
CN114071652A (zh) | 一种绑定关系的建立方法以及相关设备 | |
CN111325484A (zh) | 一种大数据资产管理系统 | |
CN101729651A (zh) | 通讯装置及利用该通讯装置进行相片分类的方法 | |
JPWO2006040991A1 (ja) | 端末装置、サーバ装置、及びWebサービス提供システム | |
CN113010284B (zh) | 微服务模块的调度方法及装置、存储介质、电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |