CN112699117A - 基于物联网的数据传输系统、数据传输方法、设备及介质 - Google Patents

基于物联网的数据传输系统、数据传输方法、设备及介质 Download PDF

Info

Publication number
CN112699117A
CN112699117A CN202011554526.6A CN202011554526A CN112699117A CN 112699117 A CN112699117 A CN 112699117A CN 202011554526 A CN202011554526 A CN 202011554526A CN 112699117 A CN112699117 A CN 112699117A
Authority
CN
China
Prior art keywords
data
database
format
sensing
format data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011554526.6A
Other languages
English (en)
Inventor
贺礼雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202011554526.6A priority Critical patent/CN112699117A/zh
Publication of CN112699117A publication Critical patent/CN112699117A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols

Abstract

本发明公开了一种基于物联网的数据传输系统、数据传输方法、设备及介质。该系统包括数据服务装置、第一数据库、第二数据库、数据处理装置和多个感测装置，其中：感测装置，用于实时感测各终端设备的参量并输出感测数据至数据处理装置；数据处理装置，用于接收、解析感测数据并将感测数据转换为格式数据；数据服务装置，用于接收格式数据并按照第一预设规则存储在第一数据库、按照第二预设规则存储在第二数据库，并响应于外部设备的请求从第一数据库或第二数据库读取数据并传输至外部设备，其中，第二数据库为关系型数据库，包括多个关联列表。该系统既能够实现大量感测数据的智能化存储，又能够实现对感测数据地快速查询、调用和修改。

Description

基于物联网的数据传输系统、数据传输方法、设备及介质
技术领域
本发明涉及显示技术领域，特别是涉及一种基于物联网的数据传输系统、数据传输方法、设备及介质。
背景技术
随着计算机技术全面融入社会生活，“物联网”产业的飞速发展，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。
日常生活和工作中，每时每刻都在产生着大量的数据，现有技术常采用大容量存储器存储这些繁杂的数据。造成使用所需数据时，由于存储数据较多造成调用、查找困难的问题。
发明内容
为了解决上述问题至少之一，本发明第一个实施例提供一种基于物联网的数据传输系统，包括数据服务装置、第一数据库、第二数据库、数据处理装置和多个感测装置，其中：
所述感测装置，用于实时感测各终端设备的参量并输出感测数据至所述数据处理装置；
所述数据处理装置，用于接收、解析所述感测数据并将所述感测数据转换为格式数据；
所述数据服务装置，用于接收所述格式数据并按照第一预设规则存储在所述第一数据库、按照第二预设规则存储在所述第二数据库，并响应于外部设备的请求从所述第一数据库或第二数据库读取数据并传输至所述外部设备，其中，所述第二数据库为关系型数据库，包括多个关联列表。
进一步的，所述数据服务装置包括控制器，第一存储接口和第二存储接口，其中
所述第一存储接口，用于与所述第一数据库进行数据通信；
所述第二存储接口，用于与所述第二数据库进行数据通信；
所述控制器，配置为：
接收所述格式数据；
根据所述格式数据使用所述第一存储接口将所述格式数据按照感测时间顺序存储在所述第一数据库中，
根据所述格式数据使用所述第二存储接口从所述第二数据库读取与所述格式数据对应的关系数据，
根据所述关系数据对所述格式数据进行数据清洗并按照所述关联列表生成更新数据，
使用所述第二存储接口将所述更新数据存储在所述第二数据库。
进一步的，所述第二数据库包括关系索引表，包括基础参量和与所述基础参量对应的多个关联参量，所述基础参量和各关联参量形成多个关联列表。
进一步的，所述第一数据库为树形结构的分布式数据库，包括根节点、父节点和至少两级子节点，其中
所述根节点为所述终端设备所属的分组；
所述父节点为所述终端设备的类型；
所述两级子节点的第一子节点为所述终端设备；
所述两级子节点的第二子节点为所述终端设备的各个参量。
进一步的，所述数据接收单元，用于遍历预存储的与各终端设备对接的多个格式接口，以接收并解析所述感测数据，确定感测数据的设备标识、将所述感测数据转换为具有统一格式的格式数据并存储所述格式数据，以便于所述数据服务装置使用HTTP接口协议根据所述设备标识读取对应的格式数据；
所述MQTT消息队列，用于接收并发布所述格式数据，以便于所述数据服务装置使用MQTT协议接收所述MQTT消息队列推送的所述格式数据。
进一步的，所述第二数据库为Oracle、DB2、Microsoft SQL Server、MicrosoftAccess、MySQL和PostgerSQL中的一个；
和/或
所述感测装置为传感器或仪表。
本发明第二个实施例提供一种应用于上述数据传输系统的数据服务装置的数据传输方法，包括：
接收所述数据处理装置传输的格式数据，所述格式数据为所述感测装置实时感测的各终端设备的参量的感测数据，并经所述数据处理装置解析并转换的；
将所述格式数据按照第一预设规则存储在所述第一数据库；
将所述格式数据按照第二预设规则存储在所述第二数据库，所述第二数据库为关系型数据库，包括多个关联列表；
响应于外部设备的请求从所述第一数据库或第二数据库读取数据并传输至所述外部设备。
进一步的，所述数据服务装置包括控制器，第一存储接口和第二存储接口，其中所述第一存储接口用于与所述第一数据库进行数据通信，所述第二存储接口用于与所述第二数据库进行数据通信；
所述将所述格式数据按照第一预设规则存储在所述第一数据库进一步包括：根据所述格式数据使用所述第一存储接口将所述格式数据按照感测时间顺序存储在所述第一数据库中；
所述将所述格式数据按照第二预设规则存储在所述第二数据库进一步包括：根据所述格式数据使用所述第二存储接口从所述第二数据库读取与所述格式数据对应的关系数据，根据所述关系数据对所述格式数据进行数据清洗并按照所述关联列表生成更新数据，使用所述第二存储接口将所述更新数据存储在所述第二数据库。
进一步的，所述第一数据库为树形结构的分布式数据库，包括根节点、父节点和至少两级子节点，其中所述根节点为所述终端设备所属的分组，所述父节点为所述终端设备的类型，所述两级子节点的第一子节点为所述终端设备，所述两级子节点的第二子节点为所述终端设备的各个参量，所述根据所述格式数据使用所述第一存储接口将所述格式数据按照感测时间顺序存储在所述第一数据库中进一步包括：将所述格式数据按照感测时间顺序、根节点、父节点、第一子节点和第二子节点存储在所述第一数据库中；
所述第二数据库包括关系索引表，包括基础参量和与所述基础参量对应的多个关联参量，所述基础参量和各关联参量形成多个关联列表，所述根据所述格式数据使用所述第二存储接口从所述第二数据库读取与所述格式数据对应的关系数据，根据所述关系数据对所述格式数据进行数据清洗并按照所述关联列表生成更新数据，使用所述第二存储接口将所述更新数据存储在所述第二数据库进一步包括：将所述更新数据分别存储在各关联列表中。
进一步的，所述数据传输系统的数据处理装置包括数据接收单元和MQTT消息队列，其中，所述数据接收单元用于遍历预存储的与各终端设备对接的多个格式接口，以接收并解析所述感测数据，确定感测数据的设备标识、将所述感测数据转换为具有统一格式的格式数据并存储所述格式数据；所述MQTT消息队列用于接收并发布所述格式数据；所述接收所述数据处理装置传输的格式数据进一步包括：
使用HTTP接口协议根据所述设备标识从所述数据处理装置读取对应的格式数据；
使用MQTT协议接收所述MQTT消息队列推送的所述格式数据。
本发明第三个实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的数据传输方法。
本发明第四个实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的数据传输方法。
本发明的有益效果如下：
本发明针对目前现有的问题，制定一种数据传输系统，通过数据处理装置将大量的感测数据转换为格式数据，通过第一数据库实时存储格式数据的同时，利用关系型的第二数据库实时存储互相关联的格式数据，既能够实现大量感测数据的智能化存储，又能够实现对感测数据地快速查询、调用和修改，具有广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本发明的一个实施例所述数据传输系统系统架构图；
图2示出本发明的一个实施例所述的分布式数据库树形结构图；
图3示出本发明的一个实施例所述PostgerSQL数据库的关系索引表；
图4示出本发明的另一个实施例所述的应用于数据服务装置的数据传输方法的流程图；
图5示出本发明的另一个实施例所述的一种计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
需要说明的是，本文中所述的诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
现有技术，使用大数据技术的物联网的数据传输系统，通过各类传感器获取不同类型的数据，例如：温度、压力、电压、流量、风向风速、海拔经纬度等不同维度的数据。现有的数据传输系统一般采用大容量存储器对上述繁杂的数据进行存储。
但是，这些数据的应用场景不同进一步造成了大量数据的存储格式各不相同，例如，在数据状态上报、数据指令控制、数据添加、数据删除等不同的应用场景下，各数据的数据格式结构不同导致无法以结构化的形式存储。因此，随着物联网及其基础设施的发展，基础的物联网数据存储和查询已经无法满足数据传输系统在不同场景下对大量数据的存储和查询。
发明人提出一种基于物联网的数据传输系统、数据传输方法、计算机设备及可读存储介质以解决上述问题。
如图1所示，本发明第一个实施例提出一种基于物联网的数据传输系统，包括数据服务装置、第一数据库、第二数据库、数据处理装置和多个感测装置，其中：
所述感测装置，用于实时感测各终端设备的参量并输出感测数据至所述数据处理装置；
所述数据处理装置，用于接收、解析所述感测数据并将所述感测数据转换为格式数据；
所述数据服务装置，用于接收所述格式数据并按照第一预设规则存储在所述第一数据库、按照第二预设规则存储在所述第二数据库，并响应于外部设备的请求从所述第一数据库或第二数据库读取数据并传输至所述外部设备，其中，所述第二数据库为关系型数据库，包括多个关联列表。
本实施例中，利用数据处理装置接收各种数据格式的感测数据，并将各感测数据转化为统一格式的格式数据，从而解决不同场景的大量数据的接收和格式处理；同时，通过数据服务装置按照不同存储规则将各应用场景的格式数据存储在第一数据库和关系型的第二数据库，并且设置数据服务装置直接对接外部设备，数据服务装置根据外部设备的请求选择并调用第一数据库或第二数据库的数据，并通过数据清洗实现对存储的数据的增、删、改、查。
本实施例既能够实现大量感测数据的智能化存储，又能够实现对感测数据地快速查询、调用和修改，具有广泛的应用前景。
在本实施例中，感测装置分布在各个应用环境中，实时感测各终端设备的参量，通过对感测装置获取的感测数据进行分析能获得对应终端设备的状态。在一个可选的实施例中，所述感测装置为传感器或仪表。在一个具体示例中，对于风力发电终端设备来说，感测装置可为风向传感器、风力传感器、温度传感器、电流表以及电压表等能实时表征当前风力发电终端设备状态的参数获取装置。本实施例的终端设备可为风力发电终端设备、汽车终端、挖掘机以及旋转门等应用于各个场景中的设施设备。
在本实施例中，数据处理装置接收并解析上述感测数据，将感测数据转换为格式数据。
在一个具体示例中，数据处理装置为IoT平台(Internet of Things，即物联网平台)，一方面，IoT平台具有多种不同协议，能够兼容不同感测装置的输出的多种类型的感测数据，有效接收大量的感测数据，另一方面，IoT平台能够对各种终端设备所产生的大量的业务数据、运行数据、心跳数据等不同功能的感测数据进行转换，将其转换为具有统一格式的格式数据。
在一个可选的实施例中，所述数据处理装置包括数据接收单元和MQTT消息队列，其中：
所述数据接收单元，用于遍历预存储的与各终端设备对接的多个格式接口，以接收并解析所述感测数据，确定感测数据的设备标识、将所述感测数据转换为具有统一格式的格式数据并存储所述格式数据，以便于所述数据服务装置使用HTTP接口协议根据所述设备标识读取对应的格式数据；
所述MQTT消息队列，用于接收并发布所述格式数据，以便于所述数据服务装置使用MQTT协议接收所述MQTT消息队列推送的所述格式数据。
在本实施例中，数据接收单元既能够通过HTTP接口协议获取终端设备的基础信息，例如设备的标识，又能够通过MQTT消息队列输出终端设备实时产生的格式数据至数据服务装置。
本实施例通过数据服务装置与数据处理装置直接对接，由数据服务装置接收所述格式数据并将格式数据存储至第一数据库和第二数据库内，无需终端设备存储对应的众多感测数据，只需进行感测数据的传输即可，从而降低了各终端设备与存储数据之间的耦合性。
进一步的，数据服务装置对数据处理装置的格式数据进行接收和分区存储。在一个可选的实施例中，数据服务装置包括控制器，第一存储接口和第二存储接口，其中
所述第一存储接口，用于与所述第一数据库进行数据通信；
所述第二存储接口，用于与所述第二数据库进行数据通信；
所述控制器，配置为：接收所述格式数据；根据所述格式数据使用所述第一存储接口将所述格式数据按照感测时间顺序存储在所述第一数据库中，根据所述格式数据使用所述第二存储接口从所述第二数据库读取与所述格式数据对应的关系数据，根据所述关系数据对所述格式数据进行数据清洗并按照所述关联列表生成更新数据，使用所述第二存储接口将所述更新数据存储在所述第二数据库。
在本实施例中，数据服务装置根据不同的预设规则将大量的格式数据进行存储。
在一个具体示例中，第一预设规则为按照时间顺序进行存储，控制器使用第一存储接口将接收的全部格式数据按照感测时间顺序进行存储，即将各感测装置采集的感测数据以格式数据的形式按照时间顺序存储在第一数据库中，从而完整保留原始数据，以便于后续问题定位或场景回溯。。
在一个可选的实施例中，所述第一数据库为树形结构的分布式数据库，包括根节点、父节点和至少两级子节点，其中
所述根节点为所述终端设备所属的分组；
所述父节点为所述终端设备的类型；
所述两级子节点的第一子节点为所述终端设备；
所述两级子节点的第二子节点为所述终端设备的各个参量。
在本实施例中，第一数据库可以存储多个不同分组的分布式数据库，为便于索引，分布式数据库包括用于索引的主目录。如图2所示，以发电终端设备为例，主目录包括表征终端设备所属的分组的根节点，例如，发电终端设备的根节点为BOE公司本地内部In或者国家电网sgcc；父节点为风力发电机wf01、水轮发电机wf02或太阳能发电机wf03等类型；第一子节点为所属父节点内的具体标识的终端设备，例如：父节点风力发电机wf01下的第一台风力发电机wt01，父节点水轮发电机wf02下的第一台水轮发电机wt02，父节点太阳能发电机wf03下的第一台太阳能发电机wt03。第二子节点为感测装置感测的终端设备的各个参量，例如，感测第一台风力发电机wt01的风力传感器和风向传感器能够分别获取风力和风速，感测第一台水轮发电机wt02的压力传感器和气压传感器能够分别获取水压和气压，感测第一台太阳能发电机wt03的温度传感器和角度传感器能够分别获取温度和角度。本实施例通过树形结构的分布式数据库，实现大量感测数据的分级分类存储，实现格式数据的快速调用以及便于确定终端设备的异常问题。
在一个具体示例中，当外部设备需向数据服务装置请求查阅历史的格式数据时，数据服务装置调用第一数据库进行查看。
值得说明的是，本实施例的分布式数据库不限于各节点的具体定义，以及不限于子节点的数量，本领域技术人员根据实际应用进行设置，在此不再赘述。
在另一个具体示例中，第二预设规则为按照关联规则将满足关系数据的格式数据存储至第二数据库。例如：当对风力发电设备的格式数据进行存储时，其格式数据为“风力发电设备-风速-5m/s”，则根据该格式数据读取到的关系数据为“设备类型(风力发电设备)-感测参量(风速)-参量属性(5m/s)”，此时，该格式数据满足关系数据，能够存储至第二数据库中。又如：若格式数据为“风力发电设备-风力-3级风”，而对应的关系数据中不存在当前的关联规则，则进一步判断当前的感测参量“风力”是否存在相关联的感测参量，如，风力和风速相关联，则同样将该格式数据按照时间顺序进行存储。
在一个可选的实施例中，所述第二数据库包括关系索引表，包括基础参量和与所述基础参量对应的多个关联参量，所述基础参量和各关联参量形成多个关联列表，本实施例通过利用基础参量和关联参量进行关联形成的关系索引表，将格式数据规范化存储的同时，实现关联数据的实时调用。
在一个可选的实施例中，所述第二数据库为Oracle、DB2、Microsoft SQL Server、Microsoft Access、MySQL和PostgerSQL中的一个。以PostgerSQL数据库为例，如图3所示，记录各传感器的格式数据的基础参量包括：创建人、创建时间、传感器名称以及传感器类型等，其中，更新后的格式数据可以以更新人和更新时间的方式存储在对应的基础参量表中。记录各设备的格式数据的基础参量包括：创建人、创建时间、更新人、更新时间、设备名称以及设备类型等。在一个具体示例中，与设备的基础参量相关联的关联参量包括：经度、纬度以及海拔等。各个基础参量表与对应的关联参量表形成本实施例的关联索引表，关联索引表包括索引表主目录，通过调用关联索引表，能快速地获取关联索引表对应的设备以及传感器的基础参量和关联参量，实现格式数据的规范化存储和及时调用。因此，本实施例通过不同的分类存储方式进行格式数据的存储，一方面格式数据全部存储在第一数据库实现大容量存储；另一方面，与关系数据相关的以及相互关联的格式数据进一步存储至第二数据库，实现格式数据的智能化存储，便于格式数据的快速调用和查询。例如，当外部设备需查询最新的终端设备的格式数据时，数据服务装置根据该请求能够从第二数据库获取实时更新的格式数据，将其输出到外部设备。又如，当外部设备需查询终端设备的历史格式数据时，数据服务装置根据该请求能够从第一数据库获取大量的历史信息，该数据传输系统提高了外部设备对大量格式数据的存储及查询效率，同时实现应用层与数据层的解耦合，使项目的结构分层更加清晰。
在一个具体示例中，在格式数据存储在第二数据库的过程中，还对已存储的格式数据进行清洗、融合和更新处理。清洗和融合能够进一步剔除明显异常的格式数据，更新处理能实现快速响应终端设备应用的项目需求。本实施例的更新处理不仅包括对格式数据的按照时间顺序的实时更新，还包括对格式数据的增加、修改、删除和记录。
在一个具体示例中，当外部设备需向数据服务装置请求查阅最新的格式数据时，数据服务装置调用第二数据库进行查看。
在另一个具体示例中，在风速为5m/s时，风力发电终端设备须达到对应的发电性能，即业务数据，当风速传感器感测到的感测数据发生变化时，为维持原发电性能不变，需对风力发电终端设备的其他参量进行调整，例如：转速参量、阻力参量和角度参量，对于上述更新的参量生成对应的更新数据，并且将其存储在第二数据库的关联列表中。若下一次再出现类似的情况，则直接调用第二数据库的关联列表中的更新数据，就能够快速确定该更新的格式数据对应的各感测装置的状态，从而实现当前的业务要求。
因此，本实施例通过清洗和融合进一步剔除明显异常的格式数据，以及通过对格式数据进行更新，能够实时更新、记录和修改不同业务数据对应的格式数据，便于根据业务要求进行快速查找，及时响应项目需求。
以前述终端设备为风力发电设备例，对该数据传输系统的主要工作流程进行说明：
S1、感测装置实时感测的各终端设备的参量的感测数据并输出至数据处理装置。
在一个具体示例中，感测装置为设置在风力发电设备工作环境中的各种感测该设备工作状态的传感器或仪表。
S2、数据处理装置接收并解析感测数据从而输出格式数据。
数据处理装置通过数据接收单元，遍历预存储的与各终端设备对接的多个格式接口，以接收并解析所述感测数据，确定感测数据的设备标识、将所述感测数据转换为具有统一格式的格式数据并存储所述格式数据。
在一个具体示例中，数据服务装置使用HTTP接口协议根据所述设备标识从所述数据处理装置读取对应的格式数据。
在另一个具体示例中，数据服务装置使用MQTT协议接收所述MQTT消息队列推送的所述格式数据。
S3、数据服务装置接收所述数据处理装置传输的格式数据，将所述格式数据按照第一预设规则存储在所述第一数据库。
在一个可选的实施例中，该步骤S3进一步包括：S31、根据所述格式数据使用所述第一存储接口将所述格式数据按照感测时间顺序存储在所述第一数据库中。
在一个具体示例中，第一数据库为树形结构的分布式数据库，例如本实施例中按照时间顺序存储大量的各种类型的格式数据，方便历史格式数据的调用和查找。
在另一个可选的实施例中，该步骤S31进一步包括：S311、将所述格式数据按照感测时间顺序、根节点、父节点、第一子节点和第二子节点存储在所述第一数据库中。
在本实施例中，格式数据的一个具体形式为感测时间(14:00)-根节点(BOE公司内部)-父节点(风力发电机)-第一子节点(第二台风力发电机)-第二子节点(风力参量)。
S4、数据服务装置进一步将所述格式数据按照第二预设规则存储在所述第二数据库，所述第二数据库为关系型数据库，包括多个关联列表。
在一个可选的实施例中，该步骤S4进一步包括：S41、数据服务装置根据所述格式数据使用所述第二存储接口从所述第二数据库读取与所述格式数据对应的关系数据，根据所述关系数据对所述格式数据进行数据清洗并按照所述关联列表生成更新数据，使用所述第二存储接口将所述更新数据存储在所述第二数据库。
在本实施例中，数据服务装置根据当前最新的格式数据“感测时间(14:00)-根节点(BOE公司内部)-父节点(风力发电机)-第一子节点(第二台风力发电机)-第二子节点(风力参量)”从第二数据库内读取关系数据，在一个具体示例中，如图3所示，根据关系索引表索引的传感器的关系数据为：“创建人A-创建时间13:50-更新人B-更新时间14:00-风力传感器”。若出现格式数据的异常，则将当前格式数据进行数据清洗后，并按照如图3所示的关联列表生成更新数据，数据服务装置使用所述第二存储接口将所述更新数据存储在所述第二数据库中。
在另一个可选的实施例中，该步骤S41进一步包括：S411、将所述更新数据分别存储在各关联列表中。
在一个具体示例中，第二数据库为关系型数据库，例如PostgerSQL，能够规范化的存储大量相关联的、实时更新的格式数据，实现格式数据的智能化存储和实时更新。
S5、响应于外部设备的请求从所述第一数据库或第二数据库读取数据并传输至所述外部设备。
当外部设备需查询该风力发电终端设备的风力传感器感测的最新的风力格式数据时，数据服务装置根据该请求从第二数据库如PostgerSQL中获取实时更新的格式数据，将其输出到外部设备。
在另一具体示例中，外部设备需要对该格式数据进行修改时，如增加、删除、修改时，数据服务装置根据该对应的请求对第二数据库的格式数据进行更新并生成更新后的格式数据。
当外部设备需查询该风力发电终端设备的风力传感器感测的历史的格式数据时，数据服务装置根据该请求从第一数据库如前述的IoT数据库中获取大量的历史信息。
本实施例通过数据服务装置直接对接外部设备，数据服务装置通过外部设备的请求调用第一数据库或第二数据库从而实现数据的增、删、改、查，提高了外部设备对大量格式数据的存储及查询效率，同时实现应用层与数据层的解耦合，使项目的结构分层更加清晰。
因此，本实施例通过数据处理装置将大量的感测数据转换为格式数据，通过第一数据库存储大量的感测数据，同时利用关系型的第二数据库实时存储互相关联的感测数据，既能够实现大量感测数据的智能化存储，又能够实现对感测数据地快速查询、调用和修改，具有广泛的应用前景。
与上述实施例提供的数据传输系统相对应，如图4所示，本申请的一个实施例还提供一种应用于上述数据传输系统中的数据服务装置的数据传输方法，该方法包括：
接收所述数据处理装置传输的格式数据，所述格式数据为所述感测装置实时感测的各终端设备的参量的感测数据，并经所述数据处理装置解析并转换的；
将所述格式数据按照第一预设规则存储在所述第一数据库；
将所述格式数据按照第二预设规则存储在所述第二数据库，所述第二数据库为关系型数据库，包括多个关联列表；
响应于外部设备的请求从所述第一数据库或第二数据库读取数据并传输至所述外部设备。
在一个可选的实施例中，所述数据服务装置包括控制器，第一存储接口和第二存储接口，其中所述第一存储接口用于与所述第一数据库进行数据通信，所述第二存储接口用于与所述第二数据库进行数据通信；
所述将所述格式数据按照第一预设规则存储在所述第一数据库进一步包括：根据所述格式数据使用所述第一存储接口将所述格式数据按照感测时间顺序存储在所述第一数据库中；
所述将所述格式数据按照第二预设规则存储在所述第二数据库进一步包括：根据所述格式数据使用所述第二存储接口从所述第二数据库读取与所述格式数据对应的关系数据，根据所述关系数据对所述格式数据进行数据清洗并按照所述关联列表生成更新数据，使用所述第二存储接口将所述更新数据存储在所述第二数据库。
在一个可选的实施例中，所述第一数据库为树形结构的分布式数据库，包括根节点、父节点和至少两级子节点，其中所述根节点为所述终端设备所属的分组，所述父节点为所述终端设备的类型，所述两级子节点的第一子节点为所述终端设备，所述两级子节点的第二子节点为所述终端设备的各个参量，所述根据所述格式数据使用所述第一存储接口将所述格式数据按照感测时间顺序存储在所述第一数据库中进一步包括：将所述格式数据按照感测时间顺序、根节点、父节点、第一子节点和第二子节点存储在所述第一数据库中；
所述第二数据库包括关系索引表，包括基础参量和与所述基础参量对应的多个关联参量，所述基础参量和各关联参量形成多个关联列表，所述根据所述格式数据使用所述第二存储接口从所述第二数据库读取与所述格式数据对应的关系数据，根据所述关系数据对所述格式数据进行数据清洗并按照所述关联列表生成更新数据，使用所述第二存储接口将所述更新数据存储在所述第二数据库进一步包括：将所述更新数据分别存储在各关联列表中。
在一个可选的实施例中，所述数据传输系统的数据处理装置包括数据接收单元和MQTT消息队列，其中，所述数据接收单元用于遍历预存储的与各终端设备对接的多个格式接口，以接收并解析所述感测数据，确定感测数据的设备标识、将所述感测数据转换为具有统一格式的格式数据并存储所述格式数据；所述MQTT消息队列用于接收并发布所述格式数据；所述接收所述数据处理装置传输的格式数据进一步包括：
使用HTTP接口协议根据所述设备标识从所述数据处理装置读取对应的格式数据；
使用MQTT协议接收所述MQTT消息队列推送的所述格式数据。
本实施例应用于前述数据传输系统的数据传输方法，通过数据处理装置将大量的感测数据转换为格式数据，通过第一数据库存储大量的感测数据，同时利用关系型的第二数据库实时存储互相关联的感测数据，既能够实现大量感测数据的智能化存储，又能够实现对感测数据地快速查询、调用和修改，具有广泛的应用前景。
由于本申请实施例提供的数据传输方法与上述几种实施例提供的数据传输系统相对应，因此在前实施方式也适用于本实施例提供的数据传输方法，在本实施例中不再详细描述。
本发明的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：接收所述数据处理装置传输的格式数据，所述格式数据为所述感测装置实时感测的各终端设备的参量的感测数据，并经所述数据处理装置解析并转换的；将所述格式数据按照第一预设规则存储在所述第一数据库；将所述格式数据按照第二预设规则存储在所述第二数据库，所述第二数据库为关系型数据库，包括多个关联列表；响应于外部设备的请求从所述第一数据库或第二数据库读取数据并传输至所述外部设备。
在实际应用中，所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
如图5所示，本发明的另一个实施例提供的一种计算机设备的结构示意图。图5显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图5中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的应用于数据传输系统的数据服务装置的数据传输方法。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (12)

1.一种基于物联网的数据传输系统，其特征在于，包括数据服务装置、第一数据库、第二数据库、数据处理装置和多个感测装置，其中：
所述感测装置，用于实时感测各终端设备的参量并输出感测数据至所述数据处理装置；
所述数据处理装置，用于接收、解析所述感测数据并将所述感测数据转换为格式数据；
所述数据服务装置，用于接收所述格式数据并按照第一预设规则存储在所述第一数据库、按照第二预设规则存储在所述第二数据库，并响应于外部设备的请求从所述第一数据库或第二数据库读取数据并传输至所述外部设备，其中，所述第二数据库为关系型数据库，包括多个关联列表。
2.根据权利要求1所述的数据传输系统，其特征在于，所述数据服务装置包括控制器，第一存储接口和第二存储接口，其中
所述第一存储接口，用于与所述第一数据库进行数据通信；
所述第二存储接口，用于与所述第二数据库进行数据通信；
所述控制器，配置为：
接收所述格式数据；
根据所述格式数据使用所述第一存储接口将所述格式数据按照感测时间顺序存储在所述第一数据库中，
根据所述格式数据使用所述第二存储接口从所述第二数据库读取与所述格式数据对应的关系数据，
根据所述关系数据对所述格式数据进行数据清洗并按照所述关联列表生成更新数据，
使用所述第二存储接口将所述更新数据存储在所述第二数据库。
3.根据权利要求2所述的数据传输系统，其特征在于，所述第二数据库包括关系索引表，包括基础参量和与所述基础参量对应的多个关联参量，所述基础参量和各关联参量形成多个关联列表。
4.根据权利要求2所述的数据传输系统，其特征在于，所述第一数据库为树形结构的分布式数据库，包括根节点、父节点和至少两级子节点，其中
所述根节点为所述终端设备所属的分组；
所述父节点为所述终端设备的类型；
所述两级子节点的第一子节点为所述终端设备；
所述两级子节点的第二子节点为所述终端设备的各个参量。
5.根据权利要求1所述的数据传输系统，其特征在于，所述数据处理装置包括数据接收单元和MQTT消息队列，其中
所述数据接收单元，用于遍历预存储的与各终端设备对接的多个格式接口，以接收并解析所述感测数据，确定感测数据的设备标识、将所述感测数据转换为具有统一格式的格式数据并存储所述格式数据，以便于所述数据服务装置使用HTTP接口协议根据所述设备标识读取对应的格式数据；
所述MQTT消息队列，用于接收并发布所述格式数据，以便于所述数据服务装置使用MQTT协议接收所述MQTT消息队列推送的所述格式数据。
6.根据权利要求1所述的数据传输系统，其特征在于，
所述第二数据库为Oracle、DB2、Microsoft SQL Server、Microsoft Access、MySQL和PostgerSQL中的一个；
和/或
所述感测装置为传感器或仪表。
7.一种应用于权利要求1所述的数据传输系统的数据服务装置的数据传输方法，其特征在于，包括：
接收所述数据处理装置传输的格式数据，所述格式数据为所述感测装置实时感测的各终端设备的参量的感测数据，并经所述数据处理装置解析并转换的；
将所述格式数据按照第一预设规则存储在所述第一数据库；
将所述格式数据按照第二预设规则存储在所述第二数据库，所述第二数据库为关系型数据库，包括多个关联列表；
响应于外部设备的请求从所述第一数据库或第二数据库读取数据并传输至所述外部设备。
8.根据权利要求7所述的数据传输方法，其特征在于，所述数据服务装置包括控制器，第一存储接口和第二存储接口，其中所述第一存储接口用于与所述第一数据库进行数据通信，所述第二存储接口用于与所述第二数据库进行数据通信；
所述将所述格式数据按照第一预设规则存储在所述第一数据库进一步包括：根据所述格式数据使用所述第一存储接口将所述格式数据按照感测时间顺序存储在所述第一数据库中；
所述将所述格式数据按照第二预设规则存储在所述第二数据库进一步包括：根据所述格式数据使用所述第二存储接口从所述第二数据库读取与所述格式数据对应的关系数据，根据所述关系数据对所述格式数据进行数据清洗并按照所述关联列表生成更新数据，使用所述第二存储接口将所述更新数据存储在所述第二数据库。
9.根据权利要求8所述的数据传输方法，其特征在于，
所述第一数据库为树形结构的分布式数据库，包括根节点、父节点和至少两级子节点，其中所述根节点为所述终端设备所属的分组，所述父节点为所述终端设备的类型，所述两级子节点的第一子节点为所述终端设备，所述两级子节点的第二子节点为所述终端设备的各个参量，所述根据所述格式数据使用所述第一存储接口将所述格式数据按照感测时间顺序存储在所述第一数据库中进一步包括：将所述格式数据按照感测时间顺序、根节点、父节点、第一子节点和第二子节点存储在所述第一数据库中；
所述第二数据库包括关系索引表，包括基础参量和与所述基础参量对应的多个关联参量，所述基础参量和各关联参量形成多个关联列表，所述根据所述格式数据使用所述第二存储接口从所述第二数据库读取与所述格式数据对应的关系数据，根据所述关系数据对所述格式数据进行数据清洗并按照所述关联列表生成更新数据，使用所述第二存储接口将所述更新数据存储在所述第二数据库进一步包括：将所述更新数据分别存储在各关联列表中。
10.根据权利要求7所述的数据传输方法，其特征在于，所述数据传输系统的数据处理装置包括数据接收单元和MQTT消息队列，其中，所述数据接收单元用于遍历预存储的与各终端设备对接的多个格式接口，以接收并解析所述感测数据，确定感测数据的设备标识、将所述感测数据转换为具有统一格式的格式数据并存储所述格式数据；所述MQTT消息队列用于接收并发布所述格式数据；所述接收所述数据处理装置传输的格式数据进一步包括：
使用HTTP接口协议根据所述设备标识从所述数据处理装置读取对应的格式数据；
使用MQTT协议接收所述MQTT消息队列推送的所述格式数据。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求7-10中任一项所述的方法。
12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求7-10中任一项所述的方法。
CN202011554526.6A 2020-12-24 2020-12-24 基于物联网的数据传输系统、数据传输方法、设备及介质 Pending CN112699117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011554526.6A CN112699117A (zh) 2020-12-24 2020-12-24 基于物联网的数据传输系统、数据传输方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011554526.6A CN112699117A (zh) 2020-12-24 2020-12-24 基于物联网的数据传输系统、数据传输方法、设备及介质

Publications (1)

Publication Number Publication Date
CN112699117A true CN112699117A (zh) 2021-04-23

Family

ID=75510019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011554526.6A Pending CN112699117A (zh) 2020-12-24 2020-12-24 基于物联网的数据传输系统、数据传输方法、设备及介质

Country Status (1)

Country Link
CN (1) CN112699117A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115348326A (zh) * 2022-07-28 2022-11-15 国核信息科技有限公司 一种风电全自主巡检系统及其工作方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115348326A (zh) * 2022-07-28 2022-11-15 国核信息科技有限公司 一种风电全自主巡检系统及其工作方法

Similar Documents

Publication Publication Date Title
CN108039959B (zh) 一种数据的态势感知方法、系统及相关装置
US10540458B2 (en) System and method for monitoring photovoltaic power generation
CN110990467B (zh) 一种bim模型格式转换方法及转换系统
CN112540975B (zh) 一种基于petri网的多源异构数据质量检测方法及系统
CN114791846B (zh) 一种针对云原生混沌工程实验实现可观测性的方法
CN112883125A (zh) 一种实体数据处理方法、装置、设备和存储介质
CN113434625B (zh) 专利检索式的代码化方法、设备和存储介质
CN115617888A (zh) 数据导入方法、装置、设备、存储介质及产品
CN112699117A (zh) 基于物联网的数据传输系统、数据传输方法、设备及介质
CN113312539B (zh) 一种检索服务的提供方法、装置、设备和介质
CN112486985A (zh) 一种锅炉数据的查询方法、装置、设备及存储介质
CN111367813A (zh) 决策引擎自动化测试方法、装置、服务器及存储介质
CN111414355A (zh) 一种海上风电场数据监测存储系统及方法、装置
Batista et al. Visual analytics improving data understandability in IoT projects: An overview of the US DOE ARM program data science tools
US20170337644A1 (en) Data driven invocation of realtime wind market forecasting analytics
CN114880308A (zh) 一种基于大数据的元数据处理方法、装置、介质
CN112507053B (zh) 一种可视化系统的建立方法及应用方法
CN110955709B (zh) 一种数据的处理方法、装置及电子设备
CN105809577B (zh) 一种基于规则和组件的电厂信息化数据的分类处理方法
CN112001008A (zh) 一种基于Revit软件的桥梁施工监测数据集成管理系统
US20240031312A1 (en) System and method for establishing channelized communications and resource management
CN113282276B (zh) 一种模型的映射方法和装置
US11494952B1 (en) Efficient integration of data into augmented and virtual reality environments
US20230267467A1 (en) Efficient integration of data into environments
CN117033952A (zh) 一种基于分布式的多数据源采集实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination