CN116107796A - 一种物联网数据管理系统及方法 - Google Patents

一种物联网数据管理系统及方法 Download PDF

Info

Publication number
CN116107796A
CN116107796A CN202310403828.0A CN202310403828A CN116107796A CN 116107796 A CN116107796 A CN 116107796A CN 202310403828 A CN202310403828 A CN 202310403828A CN 116107796 A CN116107796 A CN 116107796A
Authority
CN
China
Prior art keywords
information
internet
things
fault information
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310403828.0A
Other languages
English (en)
Other versions
CN116107796B (zh
Inventor
魏强
杨金龙
王礼节
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Guanxiang Science And Technology Co ltd
Original Assignee
Sichuan Guanxiang Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Guanxiang Science And Technology Co ltd filed Critical Sichuan Guanxiang Science And Technology Co ltd
Priority to CN202310403828.0A priority Critical patent/CN116107796B/zh
Publication of CN116107796A publication Critical patent/CN116107796A/zh
Application granted granted Critical
Publication of CN116107796B publication Critical patent/CN116107796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0775—Content or structure details of the error report, e.g. specific table structure, specific error fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computer And Data Communications (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种物联网数据管理系统及方法，该系统包括信息采集模块、数据分析模块、数据诊断模块和终端模块；信息采集模块用于采集物联网信息，将物联网信息转换为统一格式的标准化文档，并将标准化文档发送至数据分析模块；数据分析模块用于对标准化文档进行分析，生成疑似故障信息；数据诊断模块用于对疑似故障信息进行信息诊断，得到最终故障信息；终端模块用于将最终故障信息发送至计算机。该物联网数据管理系统将物联网数据的管理时效性大大提高，有效提高物联网数据的管理效率。且该系统通用性较好，适用范围广，存储可靠，故障诊断高效，有效解决了物联网数据多维度难以快速诊断的难题。

Description

一种物联网数据管理系统及方法
技术领域
本发明属于数据管理技术领域，具体涉及一种物联网数据管理系统及方法。
背景技术
在物联网高速发展的时代，传感器作为物联网的基础采集设备，其采样数据具有时空特性，而当前的数据管理系统不适合多维度的范围查找，所以对海量传感器采样数据存储、管理和查询的高效性提出了更高的要求。同时，现有的工业数据管理系统对于工业设备的维护通常是常规性维护，主要以时间为单位进行周期性的保养，这导致资源浪费和设备损耗，并且在设备出现运行故障时对故障的性质以及导致故障的原因进行判定，导致处理设备故障时效率低下。
发明内容
本发明为了解决上述问题，提出了一种物联网数据管理系统及方法。
本发明的技术方案是：一种物联网数据管理系统包括信息采集模块、数据分析模块、数据诊断模块和终端模块；
信息采集模块用于采集物联网信息，将物联网信息转换为统一格式的标准化文档，并将标准化文档发送至数据分析模块；
数据分析模块用于对标准化文档进行分析，生成疑似故障信息；
数据诊断模块用于对疑似故障信息进行信息诊断，得到最终故障信息；
终端模块用于将最终故障信息发送至计算机。
进一步地，信息采集模块包括字段提取单元、字段匹配单元和格式整合单元；
字段提取单元用于提取物联网信息中的数值型字段和字符型字段，并对各个字段进行编码，得到各个数值型字段和字符型字段的语义特征向量；
字段匹配单元用于将各个字段的语义特征向量与物联网数据库进行匹配，输出匹配文本；
格式整合单元用于将各个字段对应的匹配文本进行字段合并，得到统一格式的标准化文档。
进一步地，字段匹配单元中，进行匹配的具体方法为：遍历物联网数据库，利用Dice系数法获取物联网数据库中与各个字段相似度最高的 N个匹配文本，将 N个匹配文本对应的相似度进行加权平均，若加权平均后的相似度大于设定阈值，则将 N个匹配文本作为字段匹配单元的输出，否则删除 N个匹配文本中相似度最低的个匹配文本，并再次利用Dice系数法获取最新匹配文本。
进一步地，数据分析模块包括数据来源验证单元、信息生成单元和信息访问单元；
数据来源验证单元用于对物联网信息的来源进行验证；
信息生成单元用于根据验证通过的物联网信息的标准化文档生成疑似故障信息；
信息访问单元用于对疑似故障信息进行查询访问。
进一步地，信息生成单元中，生成疑似故障信息的具体方法为：将标准化文档中首位字节作为报头，将标准化文档序列化，设置随机数；从报头处开始提取标准化文档中的所有字节，并在各个字节位置处增加随机数，得到最新字节位置，将最新字节位置对应的物联网信息添加至标准化文档中对应的文本添加区域内，生成疑似故障信息。
进一步地，信息访问单元中，进行查询访问的具体方法为：在标准化文档中输入查询关键词，从标准化文档的各个字节中提取与查询关键词对应的索引，在预设时间阈值内生成索引表，在标准化文档中根据索引表进行疑似故障信息标注，并将标注的疑似故障信息作为查询访问的结果。
进一步地，数据诊断模块中，进行信息诊断的具体方法为：在物联网数据库中，根据标准化文档的疑似故障信息确定故障标签；构建疑似故障信息和故障标签之间的映射式；基于映射式，根据终端模块接收的请求，生成最终故障信息，并对最终故障信息进行更新。
进一步地，数据诊断模块中，构建疑似故障信息和故障标签之间的映射式的具体方法为：利用SQL连接查询法构建疑似故障信息和故障标签的匹配关联图，并确定疑似故障信息对应的匹配轨迹；若匹配关联图中疑似故障信息对应的匹配轨迹与预设轨迹相同，则疑似故障信息为最终故障信息，并将匹配关联图转换为对应的映射式；若匹配关联图中疑似故障信息对应的匹配轨迹与预设轨迹不同，则利用SQL连接查询法的交叉连接对匹配关联图进行优化，得到最新匹配关联图，确定疑似故障信息对应的最新匹配轨迹，并进行匹配轨迹判断。
本发明的有益效果是：该物联网数据管理系统将物联网数据的管理时效性大大提高，有效提高物联网数据的管理效率。且该系统通用性较好，适用范围广，存储可靠，故障诊断高效，有效解决了物联网数据多维度难以快速诊断的难题。
基于以上系统，本发明还提出一种物联网数据管理方法，包括以下步骤：
S1：利用信息采集模块采集物联网信息，将物联网信息转换为统一格式的标准化文档，并将标准化文档发送至数据分析模块；
S2：利用数据分析模块对标准化文档进行分析，生成疑似故障信息；
S3：利用数据诊断模块对疑似故障信息进行信息诊断，得到最终故障信息；
S4：利用终端模块将最终故障信息发送至计算机。
本发明的有益效果是：该物联网数据管理方法实时获取各类数据，并进行数据诊断，生成故障信息；因此，该方法可以向上提供各类智能业务系统服务和数据服务，向下管理各类数据和硬件资源。
附图说明
图1为物联网数据管理系统的结构图；
图2为物联网数据管理方法的流程图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
如图1所示，本发明提供了一种物联网数据管理系统，包括信息采集模块、数据分析模块、数据诊断模块和终端模块；
信息采集模块用于采集物联网信息，将物联网信息转换为统一格式的标准化文档，并将标准化文档发送至数据分析模块；
数据分析模块用于对标准化文档进行分析，生成疑似故障信息；
数据诊断模块用于对疑似故障信息进行信息诊断，得到最终故障信息；
终端模块用于将最终故障信息发送至计算机。
信息采集模块可通过预设的大数据平台连接各类硬件终端（PMA、EDAT、DMCD、小观、EIR、CMCU、无人机等）及传感器（摄像头、温湿度传感器、红外传感器等）等末端数据采集设备。
在本发明实施例中，信息采集模块包括字段提取单元、字段匹配单元和格式整合单元；
字段提取单元用于提取物联网信息中的数值型字段和字符型字段，并对各个字段进行编码，得到各个数值型字段和字符型字段的语义特征向量；
字段匹配单元用于将各个字段的语义特征向量与物联网数据库进行匹配，输出匹配文本；
格式整合单元用于将各个字段对应的匹配文本进行字段合并，得到统一格式的标准化文档。
在本发明实施例中，字段匹配单元中，进行匹配的具体方法为：遍历物联网数据库，利用Dice系数法获取物联网数据库中与各个字段相似度最高的 N个匹配文本，将 N个匹配文本对应的相似度进行加权平均，若加权平均后的相似度大于设定阈值，则将 N个匹配文本作为字段匹配单元的输出，否则删除 N个匹配文本中相似度最低的个匹配文本，并再次利用Dice系数法获取最新匹配文本。
在本发明实施例中，数据分析模块包括数据来源验证单元、信息生成单元和信息访问单元；
数据来源验证单元用于对物联网信息的来源进行验证；
信息生成单元用于根据验证通过的物联网信息的标准化文档生成疑似故障信息；
信息访问单元用于对疑似故障信息进行查询访问。
在本发明实施例中，信息生成单元中，生成疑似故障信息的具体方法为：将标准化文档中首位字节作为报头，将标准化文档序列化，设置随机数；从报头处开始提取标准化文档中的所有字节，并在各个字节位置处增加随机数，得到最新字节位置，将最新字节位置对应的物联网信息添加至标准化文档中对应的文本添加区域内，生成疑似故障信息。
在本发明实施例中，信息访问单元中，进行查询访问的具体方法为：在标准化文档中输入查询关键词，从标准化文档的各个字节中提取与查询关键词对应的索引，在预设时间阈值内生成索引表，在标准化文档中根据索引表进行疑似故障信息标注，并将标注的疑似故障信息作为查询访问的结果。
在本发明实施例中，数据诊断模块中，进行信息诊断的具体方法为：在物联网数据库中，根据标准化文档的疑似故障信息确定故障标签；构建疑似故障信息和故障标签之间的映射式；基于映射式，根据终端模块接收的请求，生成最终故障信息，并对最终故障信息进行更新。
在本发明实施例中，如图1所示，数据诊断模块中，构建疑似故障信息和故障标签之间的映射式的具体方法为：利用SQL连接查询法构建疑似故障信息和故障标签的匹配关联图，并确定疑似故障信息对应的匹配轨迹；若匹配关联图中疑似故障信息对应的匹配轨迹与预设轨迹相同，则疑似故障信息为最终故障信息，并将匹配关联图转换为对应的映射式；若匹配关联图中疑似故障信息对应的匹配轨迹与预设轨迹不同，则利用SQL连接查询法的交叉连接对匹配关联图进行优化，得到最新匹配关联图，确定疑似故障信息对应的最新匹配轨迹，并进行匹配轨迹判断。
基于以上系统，本发明还提出一种物联网数据管理方法，如图2所示，包括以下步骤：
S1：利用信息采集模块采集物联网信息，将物联网信息转换为统一格式的标准化文档，并将标准化文档发送至数据分析模块；
S2：利用数据分析模块对标准化文档进行分析，生成疑似故障信息；
S3：利用数据诊断模块对疑似故障信息进行信息诊断，得到最终故障信息；
S4：利用终端模块将最终故障信息发送至计算机。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (9)

1.一种物联网数据管理系统，其特征在于，包括信息采集模块、数据分析模块、数据诊断模块和终端模块；
所述信息采集模块用于采集物联网信息，将物联网信息转换为统一格式的标准化文档，并将标准化文档发送至数据分析模块；
所述数据分析模块用于对标准化文档进行分析，生成疑似故障信息；
所述数据诊断模块用于对疑似故障信息进行信息诊断，得到最终故障信息；
所述终端模块用于将最终故障信息发送至计算机。
2.根据权利要求1所述的物联网数据管理系统，其特征在于，所述信息采集模块包括字段提取单元、字段匹配单元和格式整合单元；
所述字段提取单元用于提取物联网信息中的数值型字段和字符型字段，并对各个字段进行编码，得到各个数值型字段和字符型字段的语义特征向量；
所述字段匹配单元用于将各个字段的语义特征向量与物联网数据库进行匹配，输出匹配文本；
所述格式整合单元用于将各个字段对应的匹配文本进行字段合并，得到统一格式的标准化文档。
3.根据权利要求2所述的物联网数据管理系统，其特征在于，所述字段匹配单元中，进行匹配的具体方法为：遍历物联网数据库，利用Dice系数法获取物联网数据库中与各个字段相似度最高的N个匹配文本，将N个匹配文本对应的相似度进行加权平均，若加权平均后的相似度大于设定阈值，则将N个匹配文本作为字段匹配单元的输出，否则删除N个匹配文本中相似度最低的个匹配文本，并再次利用Dice系数法获取最新匹配文本。
4.根据权利要求1所述的物联网数据管理系统，其特征在于，所述数据分析模块包括数据来源验证单元、信息生成单元和信息访问单元；
所述数据来源验证单元用于对物联网信息的来源进行验证；
所述信息生成单元用于根据验证通过的物联网信息的标准化文档生成疑似故障信息；
所述信息访问单元用于对疑似故障信息进行查询访问。
5.根据权利要求4所述的物联网数据管理系统，其特征在于，所述信息生成单元中，生成疑似故障信息的具体方法为：将标准化文档中首位字节作为报头，将标准化文档序列化，设置随机数；从报头处开始提取标准化文档中的所有字节，并在各个字节位置处增加随机数，得到最新字节位置，将最新字节位置对应的物联网信息添加至标准化文档中对应的文本添加区域内，生成疑似故障信息。
6.根据权利要求4所述的物联网数据管理系统，其特征在于，所述信息访问单元中，进行查询访问的具体方法为：在标准化文档中输入查询关键词，从标准化文档的各个字节中提取与查询关键词对应的索引，在预设时间阈值内生成索引表，在标准化文档中根据索引表进行疑似故障信息标注，并将标注的疑似故障信息作为查询访问的结果。
7.根据权利要求1所述的物联网数据管理系统，其特征在于，所述数据诊断模块中，进行信息诊断的具体方法为：在物联网数据库中，根据标准化文档的疑似故障信息确定故障标签；构建疑似故障信息和故障标签之间的映射式；基于映射式，根据终端模块接收的请求，生成最终故障信息，并对最终故障信息进行更新。
8.根据权利要求7所述的物联网数据管理系统，其特征在于，所述数据诊断模块中，构建疑似故障信息和故障标签之间的映射式的具体方法为：利用SQL连接查询法构建疑似故障信息和故障标签的匹配关联图，并确定疑似故障信息对应的匹配轨迹；若匹配关联图中疑似故障信息对应的匹配轨迹与预设轨迹相同，则疑似故障信息为最终故障信息，并将匹配关联图转换为对应的映射式；若匹配关联图中疑似故障信息对应的匹配轨迹与预设轨迹不同，则利用SQL连接查询法的交叉连接对匹配关联图进行优化，得到最新匹配关联图，确定疑似故障信息对应的最新匹配轨迹，并进行匹配轨迹判断。
9.一种物联网数据管理方法，其特征在于，包括以下步骤：
S1：利用信息采集模块采集物联网信息，将物联网信息转换为统一格式的标准化文档，并将标准化文档发送至数据分析模块；
S2：利用数据分析模块对标准化文档进行分析，生成疑似故障信息；
S3：利用数据诊断模块对疑似故障信息进行信息诊断，得到最终故障信息；
S4：利用终端模块将最终故障信息发送至计算机。
CN202310403828.0A 2023-04-17 2023-04-17 一种物联网数据管理系统及方法 Active CN116107796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310403828.0A CN116107796B (zh) 2023-04-17 2023-04-17 一种物联网数据管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310403828.0A CN116107796B (zh) 2023-04-17 2023-04-17 一种物联网数据管理系统及方法

Publications (2)

Publication Number Publication Date
CN116107796A true CN116107796A (zh) 2023-05-12
CN116107796B CN116107796B (zh) 2023-06-20

Family

ID=86264197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310403828.0A Active CN116107796B (zh) 2023-04-17 2023-04-17 一种物联网数据管理系统及方法

Country Status (1)

Country Link
CN (1) CN116107796B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182068A (zh) * 2020-09-30 2021-01-05 重庆市海普软件产业有限公司 一种基于物联网技术的远程故障判断系统及方法
CN113541985A (zh) * 2020-04-14 2021-10-22 中国移动通信集团浙江有限公司 物联网故障诊断方法、模型的训练方法及相关装置
CN114548437A (zh) * 2022-02-21 2022-05-27 青岛明思为科技有限公司 一种基于工业物联网的旋转设备智能运维系统及运维方法
CN114896369A (zh) * 2022-05-24 2022-08-12 华北电力大学 基于增量学习优化的故障录波文件通道名称识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113541985A (zh) * 2020-04-14 2021-10-22 中国移动通信集团浙江有限公司 物联网故障诊断方法、模型的训练方法及相关装置
CN112182068A (zh) * 2020-09-30 2021-01-05 重庆市海普软件产业有限公司 一种基于物联网技术的远程故障判断系统及方法
CN114548437A (zh) * 2022-02-21 2022-05-27 青岛明思为科技有限公司 一种基于工业物联网的旋转设备智能运维系统及运维方法
CN114896369A (zh) * 2022-05-24 2022-08-12 华北电力大学 基于增量学习优化的故障录波文件通道名称识别方法

Also Published As

Publication number Publication date
CN116107796B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111046035B (zh) 数据自动化处理方法、系统、计算机设备及可读存储介质
CN110351301B (zh) 一种http请求双层递进式异常检测方法
CN101794378B (zh) 基于图片编码的垃圾图片过滤方法
CN109150962A (zh) 一种通过关键字快速识别http请求头的方法
CN117251414B (zh) 一种基于异构技术的数据存储及处理方法
CN116842142B (zh) 一种医疗器械智能化检索系统
CN117971598A (zh) 日志存储方法、装置、电子设备及存储介质
CN116610531B (zh) 基于代码探针采集数据埋点及请求图片上传数据的方法
CN116107796B (zh) 一种物联网数据管理系统及方法
CN117763144A (zh) 一种日志异常检测的方法与终端
CN116383335A (zh) 一种面向多源异构电力数据集的集成方法及系统
CN111460088A (zh) 相似文本的检索方法、装置和系统
CN116150371A (zh) 基于shardingJDBC的资产还款计划海量数据处理方法
CN115935042A (zh) 一种基于融合模型的质押资产智能查重方法及系统
CN113657443B (zh) 一种基于soinn网络的在线物联网设备识别方法
CN111695031A (zh) 基于标签的搜索方法、装置、服务器及存储介质
CN114153938A (zh) 一种用于非结构化数据的采集方法及其系统
CN111198879A (zh) 基于智慧社区的业务数据存储方法及系统
CN118193720B (zh) 一种基于端边云协同的敏感文本过滤方法
CN118312524B (zh) 表召回方法、装置、电子设备及介质
CN117221839B (zh) 5g信令识别方法及其系统
CN107506448A (zh) 一种智能电网时标量测数据交换格式的方法及系统
CN118427290A (zh) 日志数据过滤方法、装置、设备、存储介质及产品
CN118733740A (zh) 一种基于大语言模型的轨道交通知识库构建方法及系统
CN116938999A (zh) 一种基于grpc的多方信息传递及状态同步方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant