CN111556098B - 一种基于人工智能的物联网数据的分析系统和分析方法 - Google Patents

一种基于人工智能的物联网数据的分析系统和分析方法 Download PDF

Info

Publication number
CN111556098B
CN111556098B CN202010271795.5A CN202010271795A CN111556098B CN 111556098 B CN111556098 B CN 111556098B CN 202010271795 A CN202010271795 A CN 202010271795A CN 111556098 B CN111556098 B CN 111556098B
Authority
CN
China
Prior art keywords
data
internet
things
unit
mining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010271795.5A
Other languages
English (en)
Other versions
CN111556098A (zh
Inventor
陈瑞
冷迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Bureau Co Ltd
Original Assignee
Shenzhen Power Supply Bureau Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Bureau Co Ltd filed Critical Shenzhen Power Supply Bureau Co Ltd
Priority to CN202010271795.5A priority Critical patent/CN111556098B/zh
Publication of CN111556098A publication Critical patent/CN111556098A/zh
Application granted granted Critical
Publication of CN111556098B publication Critical patent/CN111556098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Emergency Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于人工智能的物联网数据的分析系统，其包括数据采集模块、数据管理模块及主控制模块；所述数据采集模块、数据管理模块及主控制模块通过数据传输总线或各种转换电路及控制电路相互连接实现物联网数据通信。所述数据采集模块包括数据采集单元，数据加密单元，数据传输主单元。所述数据管理模块包括数据运算单元、数据存储单元及数据传输子单元。所述主控制模块包括天线单元、通信控制单元、通信接口单元。本发明还公开了相应的分析方法。实施本发明，具有如下优点：实时处理自动化程度高、系统集成度高以及安全性高。

Description

一种基于人工智能的物联网数据的分析系统和分析方法
技术领域
本发明涉及边缘计算的数据处理领域，具体涉及一种基于人工智能的物联网数据的分析系统和分析方法。
背景技术
随着物联网的发展，物联网的数据量越来越多，数据种类也越来越丰富，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物，基于物联网数据的数据分析可以挖掘出海量物联网数据的潜在价值，从而为社会生产带来可观的收益。随着云时代的来临，大数据也吸引了越来越多的关注。在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。
目前的物联网数据分析服务组织形式主要有两种：其一、提供数据分析计算的基础框架和能力，用户利用系统提供的数据分析计算的基础框架和能力自行实现物联网数据的对接和数据分析应用的开发；其二、提供专用的数据分析接口，用户通过调用特定的数据分析接口，并根据接口要求输入自己想要分析的数据，从而获取最后的数据分析结果。
由于物联网数据分析的重要性，物联网数据分析能力被很多物联网系统所看重，物联网系统也在致力于为开发者提供物联网数据分析服务。网络中的数据资源有可能存在亿万级别的潜在，如何统计和运用这些数据，这就涉及到大数据的信息分析技术。目前物联网系统在采用的上述两种数据分析方式时，虽然能够初步满足用户数据分析的要求，但是上述两种方式仍然存在一些不足之处，例如：（1）、实时处理自动化程度低；（2）、系统集成度低；（3）、安全性低。
发明内容
为了解决上述现有技术中存在的问题，本发明提供一种基于人工智能的物联网数据的分析系统和分析方法，具有实时处理自动化程度高、系统集成度高和安全性高的优点。
本发明解决其技术问题所采用的技术方案为，作为本发明的一方面，提供一种基于人工智能的物联网数据的分析系统，其包括数据采集模块、数据管理模块及主控制模块；所述数据采集模块、数据管理模块及主控制模块通过数据传输总线或各种转换电路及控制电路相互连接实现物联网数据通信；其中：
所述数据采集模块用于自动从网站或特定系统接口采集获得物联网数据，并对采集的数据进行处理，获得处理后的本地物联网数据；且用于对本地物联网数据按预定字节长度进行分块编号，对每块物联网数据进行加密并按编号进行组合，形成加密后的物联网数据；
所述数据管理模块用于接收来自数据采集模块的加密后的物联网数据，并确定对应的数据挖掘算法，并以所述确定的数据挖掘算法对所述加密后的物联网数据进行挖掘分析，并进行存储；
所述主控制模块用于实现所述数据管理模块与外部物联网之间的连接。
优选地，所述数据采集模块进一步包括：数据采集单元、神经网络分析单元、数据加密单元以及数据传输主单元，其中：
所述数据采集单元，用于通过网络爬虫或网站公开API的方式自动从网站上获取物联网数据，或使用特定系统接口的方式采集物联网数据；并对采集的物联网数据进行清洗、转化、提取处理，形成处理后的物联网数据；
所述神经网络分析单元，用于输入所述数据采集单元获得的处理后的物联网数据，并输出物联网数据的匹配程度信息，其中，在所述神经网络中每个连接对应随机产生的权重值；
所述数据加密单元，用于根据所述神经网络分析单元获得的匹配程度信息，将匹配程度高的物联网数据按照预定字节长度均分成多块物联网数据，并分别对每块物联网数据进行编号；按照预设的加密算法对每个编号对应的物联网数据进行加密，将加密后的每块物联网数据按编号进行组合即完成对物联网数据的加密；
所述数据传输主单元，用于将所述数据采集单元采集的物联网数据或所述数据加密单元加密物联网数据，通过有线或者无线的传输方式发送至所述数据管理模块。
优选地，所述数据管理模块进一步包括：包括数据运算单元、数据存储单元、数据传输子单元以及报警处理单元；
所述数据传输子单元，用于通过有线或者无线的传输方式接收所述数据传输主单元生成的加密物联网数据，并将加密物联网数据传输至数据运算单元或数据存储单元；
所述数据运算单元，用于确定所需数据对应的数据挖掘算法，并创建数据挖掘算法对应的数据挖掘执行资源，根据所述数据挖掘执行资源和所述数据挖掘算法，对所述加密数据进行数据挖掘处理；
所述报警处理单元，用于在数据运算单元所获得的数据出现异常数据时，启动异常报警装置，所述异常报警装置为报警灯或报警蜂鸣器；
所述数据存储单元，用于存储所述数据采集模块或所述数据运算单元所获得的物联网数据。
优选地，所述主控制模块包括天线单元、通信控制单元以及通信接口单元；
所述天线单元，用于根据所述通信控制单元的控制，自动连接物联网并对接所述数据管理模块；
所述通信控制单元，其扩展接口连接通信接口单元，通过所述通信接口单元与所述数据管理模块进行连接。
优选地，所述主控制模块的通信接口单元进一步用于显示用户界面，并检测用户在所述用户界面上执行的用于运行工作流的用户操作；所述用户界面中显示有工作流模块显示区域和工作流显示区域，所述创建工作流的用户操作包括用户从所述工作流模块显示区域将工作流模块拖拽至所述工作流显示区域内的拖拽操作。
优选地，所述数据管理模块的数据存储单元为固态硬盘。
作为本发明的另一方面，提供一种基于人工智能的物联网数据的分析方法，其在前述的分析系统中实现，所述方法包括如下步骤：
步骤S10，数据采集单元通过网络爬虫或网站公开API的方式自动从网站上获取物联网数据，或使用特定系统接口的方式采集物联网数据；并对采集的物联网数据进行清洗、转化、提取处理，形成处理后的物联网数据；
步骤S11，将所述数据采集单元获得的处理后的物联网数据传输至神经网络分析单元，并输出物联网数据的匹配程度信息，其中，在所述神经网络中每个连接对应随机产生的权重值；
步骤S12，数据加密单元根据所述神经网络分析单元获得的匹配程度信息，将匹配程度高的物联网数据按照预定字节长度均分成多块物联网数据，并分别对每块物联网数据进行编号；按照预设的加密算法对每个编号对应的物联网数据进行加密，将加密后的每块物联网数据按编号进行组合即完成对物联网数据的加密；
步骤S13，数据传输主单元将数据采集单元采集的物联网数据或数据加密单元加密物联网数据，通过有线或者无线的传输方式发送至数据管理模块；
步骤S14，数据传输子单元通过有线或者无线的传输方式接收数据传输主单元生成的加密物联网数据，并传输至数据管理模块；
步骤S15，所述数据运算单元通过数据传输子单元接收来自数据采集模块的加密物联网数据，确定所述数据对应的数据挖掘算法，并创建数据挖掘算法对应的数据挖掘执行资源，根据所述数据挖掘执行资源和所述数据挖掘算法，对所述加密数据进行数据挖掘处理；
步骤S16，将所述数据采集模块或所述数据运算单元所获得的物联网数据在存储单元中进行存储。
优选地，在所述步骤S15中进一步包括：
在数据运算单元所获得的数据出现异常数据时，启动异常报警装置，所述异常报警装置为报警灯或报警蜂鸣器。
优选地，所述步骤S15进一步包括：
步骤S150，数据传输子单元接收物联网数据，将接收的物联网数据转换为统一xml格式的数据，数据存储单元对物联网数据进行分布式存储；
步骤S151，数据运算单元对物联网数据进行过滤，将重复的冗余物联网数据进行过滤，所述过滤条件包括业务需求或时间范围；
步骤S152，数据运算单元根据处理数据挖掘所采用的训练数据的信息，确定训练数据所包含的属性信息，将训练数据的各个维度统一离散到[0，1]的取值范围；对物联网数据进行关联规则进行数据挖掘，获得物联网关联数据，确定进行模型结果验证的参数；
步骤S153，数据运算单元对数据挖掘模型的算法进行训练，验证模型输出结果；在模型运行中进行监控，包括监控当前任务中的信息、当前任务运行状态、反馈信息以及任务运行历史记录；
步骤S154，对模型输出结果进行输出展示；将数据结果结合形成数据集，并存储在数据存储单元中；将分析结果推送数据传输子单元；
步骤S155，数据存储单元对经过数据挖掘的时空关联数据和物联网设备终端的物联网数据进行存储；其中，数据存储单元对物联网设备终端的物联网数据进行存储时，按照网点编号，存储每个网点的物联网数据。
实施本发明实施例，具有如下的有益效果：
首先，实时处理自动化程度高。用户无需自己采集物联网数据，数据采集单元通过网络爬虫或网站公开API的方式从网站上获取物联网数据，将非结构化数据从网页中抽取出来并以结构化的方式存储为统一的本地物联网数据，或使用特定系统接口的方式采集物联网数据；对采集的物联网数据进行清洗、转化、提取；行统计分析和深度挖掘；以表格、图片和文字的形式进行呈现处理后的物联网数据。适用于设备联动场景，处理及时。
其次，系统集成度高。数据采集模块、数据管理模块及主控制模块通过数据传输总线或各种转换电路及控制电路相互连接实现物联网数据通信；其接口和功能与物联网系统紧密结合的，集成度高，可充分利用系统已有功能，资源利用率大大提高。
另外，安全性高。数据加密单元将匹配程度高的物联网数据按照预定字节长度均分成多块物联网数据，并分别对每块物联网数据进行编号；按照预设的加密算法对每个编号对应的物联网数据进行加密，将加密后的每块物联网数据按编号进行组合即完成对物联网数据的加密，提高了发送数据的安全性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明提供的基于人工智能的物联网数据的分析系统的一个实施例的结构示意图；
图2为本发明提供的基于人工智能的物联网数据的分析方法的一个实施例的主流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
如图1所示，示出了本发明提供的基于人工智能的物联网数据的分析系统的一个实施例的结构示意图。在本实施例中，所述基于人工智能的物联网数据的分析系统，其包括数据采集模块1、数据管理模块2及主控制模块3；所述数据采集模块1、数据管理模块2及主控制模块3通过数据传输总线或各种转换电路及控制电路相互连接实现物联网数据通信；其中：
所述数据采集模块1用于自动从网站或特定系统接口采集获得物联网数据，并对采集的数据进行处理，获得处理后的本地物联网数据；且用于对本地物联网数据按预定字节长度进行分块编号，对每块物联网数据进行加密并按编号进行组合，形成加密后的物联网数据；
所述数据管理模块2用于接收来自数据采集模块的加密后的物联网数据，并确定对应的数据挖掘算法，并以所述确定的数据挖掘算法对所述加密后的物联网数据进行挖掘分析，并进行存储；
所述主控制模块3用于实现所述数据管理模块与外部物联网之间的连接。
更具体地，所述数据采集模块1进一步包括：数据采集单元10、神经网络分析单元11、数据加密单元12以及数据传输主单元13，其中：
所述数据采集单元10，用于通过网络爬虫或网站公开API的方式自动从网站上获取物联网数据，将非结构化数据从网页中抽取出来并以结构化的方式存储为统一的本地物联网数据；或使用特定系统接口的方式采集物联网数据；并对采集的物联网数据进行清洗、转化、提取处理，形成处理后的物联网数据；可以理解的是，所述处理后的物联网数据可以采用诸如表格、图片和文字的形式进行呈现；
所述神经网络分析单元11，用于输入所述数据采集单元获得的处理后的物联网数据，并输出物联网数据的匹配程度信息，其中，在所述神经网络中每个连接对应随机产生的权重值；
所述数据加密单元12，用于根据所述神经网络分析单元获得的匹配程度信息，将匹配程度高的物联网数据按照预定字节长度均分成多块物联网数据，并分别对每块物联网数据进行编号；按照预设的加密算法对每个编号对应的物联网数据进行加密，将加密后的每块物联网数据按编号进行组合即完成对物联网数据的加密；
所述数据传输主单元13，用于将所述数据采集单元采集的物联网数据或所述数据加密单元加密物联网数据，通过有线或者无线的传输方式发送至所述数据管理模块2。
更具体地，所述数据管理模块2进一步包括：包括数据运算单元22、数据存储单元21、数据传输子单元20以及报警处理单元23；
所述数据传输子单元20，用于通过有线或者无线的传输方式接收所述数据传输主单元生成的加密物联网数据，并将加密物联网数据传输至数据运算单元或数据存储单元；
所述数据运算单元22，用于确定所需数据对应的数据挖掘算法，并创建数据挖掘算法对应的数据挖掘执行资源，根据所述数据挖掘执行资源和所述数据挖掘算法，对所述加密数据进行数据挖掘处理；可以理解的是，在本发明中，数据挖掘算法包括至少一种数据挖掘算法，数据挖掘算法用于表示实现数据分析的至少一种数据挖掘算法。创建数据挖掘算法对应的数据挖掘执行资源，数据挖掘执行资源用于表示数据挖掘算法的引用方式；
所述报警处理单元23，用于在数据运算单元所获得的数据出现异常数据时，启动异常报警装置，所述异常报警装置为报警灯或报警蜂鸣器；其中，报警灯可以采用诸如红色LED灯；
所述数据存储单元21，用于存储所述数据采集模块或所述数据运算单元所获得的物联网数据。在一些例子中，所述数据存储单元21为固态硬盘。
更具体地，所述主控制模块3包括天线单元30、通信控制单元31以及通信接口单元32；
所述天线单元30，用于根据所述通信控制单元的控制，自动连接物联网并对接所述数据管理模块；
所述通信控制单元31，其扩展接口连接通信接口单元32，通过所述通信接口单元与所述数据管理模块进行连接。
优选地，所述主控制模块3的通信接口单元32进一步用于显示用户界面，并检测用户在所述用户界面上执行的用于运行工作流的用户操作；所述用户界面中显示有工作流模块显示区域和工作流显示区域，所述创建工作流的用户操作包括用户从所述工作流模块显示区域将工作流模块拖拽至所述工作流显示区域内的拖拽操作。
如图2所示，示出了本发明提供的基于人工智能的物联网数据的分析方法的一个实施例的主流程示意图。在本实施例中，所述基于人工智能的物联网数据的分析方法在图1所述的分析系统中实现，所述方法包括如下步骤：
步骤S10，数据采集单元通过网络爬虫或网站公开API的方式自动从网站上获取物联网数据，或使用特定系统接口的方式采集物联网数据；并对采集的物联网数据进行清洗、转化、提取处理，形成处理后的物联网数据；
步骤S11，将所述数据采集单元获得的处理后的物联网数据传输至神经网络分析单元，并输出物联网数据的匹配程度信息，其中，在所述神经网络中每个连接对应随机产生的权重值；
步骤S12，数据加密单元根据所述神经网络分析单元获得的匹配程度信息，将匹配程度高的物联网数据按照预定字节长度均分成多块物联网数据，并分别对每块物联网数据进行编号；按照预设的加密算法对每个编号对应的物联网数据进行加密，将加密后的每块物联网数据按编号进行组合即完成对物联网数据的加密；
步骤S13，数据传输主单元将数据采集单元采集的物联网数据或数据加密单元加密物联网数据，通过有线或者无线的传输方式发送至数据管理模块；
步骤S14，数据传输子单元通过有线或者无线的传输方式接收数据传输主单元生成的加密物联网数据，并传输至数据管理模块；
步骤S15，所述数据运算单元通过数据传输子单元接收来自数据采集模块的加密物联网数据，确定所述数据对应的数据挖掘算法，并创建数据挖掘算法对应的数据挖掘执行资源，根据所述数据挖掘执行资源和所述数据挖掘算法，对所述加密数据进行数据挖掘处理；
步骤S16，将所述数据采集模块或所述数据运算单元所获得的物联网数据在存储单元中进行存储。
更具体地，在所述步骤S15中进一步包括：
在数据运算单元所获得的数据出现异常数据时，启动异常报警装置，所述异常报警装置为报警灯或报警蜂鸣器。
更具体地，在一个例子，所述步骤S15进一步包括：
步骤S150，数据传输子单元接收物联网数据，将接收的物联网数据转换为统一xml格式的数据，数据存储单元对物联网数据进行分布式存储；
步骤S151，数据运算单元对物联网数据进行过滤，将重复的冗余物联网数据进行过滤，所述过滤条件包括业务需求或时间范围；
步骤S152，数据运算单元根据处理数据挖掘所采用的训练数据的信息，确定训练数据所包含的属性信息，将训练数据的各个维度统一离散到[0，1]的取值范围；对物联网数据进行关联规则进行数据挖掘，获得物联网关联数据，确定进行模型结果验证的参数；
步骤S153，数据运算单元对数据挖掘模型的算法进行训练，验证模型输出结果；在模型运行中进行监控，包括监控当前任务中的信息、当前任务运行状态、反馈信息以及任务运行历史记录；
步骤S154，对模型输出结果进行输出展示；将数据结果结合形成数据集，并存储在数据存储单元中；将分析结果推送数据传输子单元；
步骤S155，数据存储单元对经过数据挖掘的时空关联数据和物联网设备终端的物联网数据进行存储；其中，数据存储单元对物联网设备终端的物联网数据进行存储时，按照网点编号，存储每个网点的物联网数据。
更多细节，可以参考前述对图1的描述，在此不进行详述。
实施本发明实施例，具有如下的有益效果：
首先，实时处理自动化程度高。用户无需自己采集物联网数据，数据采集单元通过网络爬虫或网站公开API的方式从网站上获取物联网数据，将非结构化数据从网页中抽取出来并以结构化的方式存储为统一的本地物联网数据，或使用特定系统接口的方式采集物联网数据；对采集的物联网数据进行清洗、转化、提取；行统计分析和深度挖掘；以表格、图片和文字的形式进行呈现处理后的物联网数据。适用于设备联动场景，处理及时。
其次，系统集成度高。数据采集模块、数据管理模块及主控制模块通过数据传输总线或各种转换电路及控制电路相互连接实现物联网数据通信；其接口和功能与物联网系统紧密结合的，集成度高，可充分利用系统已有功能，资源利用率大大提高。
另外，安全性高。数据加密单元将匹配程度高的物联网数据按照预定字节长度均分成多块物联网数据，并分别对每块物联网数据进行编号；按照预设的加密算法对每个编号对应的物联网数据进行加密，将加密后的每块物联网数据按编号进行组合即完成对物联网数据的加密，提高了发送数据的安全性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于人工智能的物联网数据的分析系统，其特征在于，包括数据采集模块、数据管理模块及主控制模块；所述数据采集模块、数据管理模块及主控制模块通过数据传输总线或各种转换电路及控制电路相互连接实现物联网数据通信，所述数据采集模块进一步包括：数据采集单元、神经网络分析单元、数据加密单元以及数据传输主单元；其中：
所述数据采集模块用于自动从网站或系统接口采集获得物联网数据，并对采集的数据进行处理，获得处理后的本地物联网数据；且用于对本地物联网数据按预定字节长度进行分块编号，对每块物联网数据进行加密并按编号进行组合，形成加密后的物联网数据；
所述数据管理模块用于接收来自数据采集模块的加密后的物联网数据，并确定对应的数据挖掘算法，并以所述确定的数据挖掘算法对所述加密后的物联网数据进行挖掘分析，并进行存储；
所述主控制模块用于实现所述数据管理模块与外部物联网之间的连接；
其中，所述数据管理模块进一步包括：包括数据运算单元、数据存储单元、数据传输子单元以及报警处理单元；
所述数据传输子单元，用于通过有线或者无线的传输方式接收所述数据传输主单元生成的加密物联网数据，并将加密物联网数据传输至数据运算单元或数据存储单元；
所述数据运算单元，用于确定所需数据对应的数据挖掘算法，并创建数据挖掘算法对应的数据挖掘执行资源，根据所述数据挖掘执行资源和所述数据挖掘算法，对所述加密数据进行数据挖掘处理；
所述报警处理单元，用于在数据运算单元所获得的数据出现异常数据时，启动异常报警装置，所述异常报警装置为报警灯或报警蜂鸣器；
所述数据存储单元，用于存储所述数据采集模块或所述数据运算单元所获得的物联网数据；
更具体地，所述数据管理模块采用下述的方式来实现挖掘分析：
数据传输子单元接收物联网数据，将接收的物联网数据转换为统一xml格式的数据，数据存储单元对物联网数据进行分布式存储；
数据运算单元对物联网数据进行过滤，将重复的冗余物联网数据进行过滤，所述过滤的条件包括业务需求或时间范围；
数据运算单元根据处理数据挖掘所采用的训练数据的信息，确定训练数据所包含的属性信息，将训练数据的各个维度统一离散到[0，1]的取值范围；对物联网数据进行关联规则进行数据挖掘，获得物联网关联数据，确定进行模型结果验证的参数；
数据运算单元对数据挖掘模型的算法进行训练，验证模型输出结果；在模型运行中进行监控，包括监控当前任务中的信息、当前任务运行状态、反馈信息对模型输出结果进行输出展示；将数据结果结合形成数据集，并存储在数据存储单元中。
2.如权利要求1所述的分析系统，其特征在于，其中：
所述数据采集单元，用于通过网络爬虫或网站公开API的方式自动从网站上获取物联网数据，或使用系统接口的方式采集物联网数据；并对采集的物联网数据进行清洗、转化、提取处理，形成处理后的物联网数据；
所述神经网络分析单元，用于输入所述数据采集单元获得的处理后的物联网数据，并输出物联网数据的匹配程度信息，其中，在所述神经网络中每个连接对应随机产生的权重值；
所述数据加密单元，用于根据所述神经网络分析单元获得的匹配程度信息，将匹配程度高的物联网数据按照预定字节长度均分成多块物联网数据，并分别对每块物联网数据进行编号；按照预设的加密算法对每个编号对应的物联网数据进行加密，将加密后的每块物联网数据按编号进行组合即完成对物联网数据的加密；
所述数据传输主单元，用于将所述数据采集单元采集的物联网数据或所述数据加密单元加密物联网数据，通过有线或者无线的传输方式发送至所述数据管理模块。
3.根据权利要求2所述的分析系统，其特征在于，所述主控制模块包括天线单元、通信控制单元以及通信接口单元；
所述天线单元，用于根据所述通信控制单元的控制，自动连接物联网并对接所述数据管理模块；
所述通信控制单元，其扩展接口连接通信接口单元，通过所述通信接口单元与所述数据管理模块进行连接。
4.根据权利要求3所述的分析系统，其特征在于，所述主控制模块的通信接口单元进一步用于显示用户界面，并检测用户在所述用户界面上执行的用于运行工作流的用户操作；所述用户界面中显示有工作流模块显示区域和工作流显示区域，所述工作流的用户操作包括用户从所述工作流模块显示区域将工作流模块拖拽至所述工作流显示区域内的拖拽操作。
5.根据权利要求1至4任一项所述的分析系统，其特征在于，所述数据管理模块的数据存储单元为固态硬盘。
6.一种基于人工智能的物联网数据的分析方法，其在如权利要求1至5任一项所述的分析系统中实现，其特征在于，所述方法包括如下步骤：
步骤S10，数据采集单元通过网络爬虫或网站公开API的方式自动从网站上获取物联网数据，或使用系统接口的方式采集物联网数据；并对采集的物联网数据进行清洗、转化、提取处理，形成处理后的物联网数据；
步骤S11，将所述数据采集单元获得的处理后的物联网数据传输至神经网络分析单元，并输出物联网数据的匹配程度信息，其中，在所述神经网络中每个连接对应随机产生的权重值；
步骤S12，数据加密单元根据所述神经网络分析单元获得的匹配程度信息，将匹配程度高的物联网数据按照预定字节长度均分成多块物联网数据，并分别对每块物联网数据进行编号；按照预设的加密算法对每个编号对应的物联网数据进行加密，将加密后的每块物联网数据按编号进行组合即完成对物联网数据的加密；
步骤S13，数据传输主单元将数据采集单元采集的物联网数据或数据加密单元加密物联网数据，通过有线或者无线的传输方式发送至数据管理模块；
步骤S14，数据传输子单元通过有线或者无线的传输方式接收数据传输主单元生成的加密物联网数据，并传输至数据管理模块；
步骤S15，数据运算单元通过数据传输子单元接收来自数据采集模块的加密物联网数据，确定所述数据对应的数据挖掘算法，并创建数据挖掘算法对应的数据挖掘执行资源，根据所述数据挖掘执行资源和所述数据挖掘算法，对所述加密数据进行数据挖掘处理；
步骤S16，将所述数据采集模块或所述数据运算单元所获得的物联网数据在存储单元中进行存储；
其中，所述步骤S15进一步包括：
步骤S150，数据传输子单元接收物联网数据，将接收的物联网数据转换为统一xml格式的数据，数据存储单元对物联网数据进行分布式存储；
步骤S151，数据运算单元对物联网数据进行过滤，将重复的冗余物联网数据进行过滤，所述过滤的条件包括业务需求或时间范围；
步骤S152，数据运算单元根据处理数据挖掘所采用的训练数据的信息，确定训练数据所包含的属性信息，将训练数据的各个维度统一离散到[0，1]的取值范围；对物联网数据进行关联规则进行数据挖掘，获得物联网关联数据，确定进行模型结果验证的参数；
步骤S153，数据运算单元对数据挖掘模型的算法进行训练，验证模型输出结果；在模型运行中进行监控，包括监控当前任务中的信息、当前任务运行状态、反馈信息以及任务运行历史记录；
步骤S154，对模型输出结果进行输出展示；将数据结果结合形成数据集，并存储在数据存储单元中。
7.如权利要求6所述的分析方法，其特征在于，在所述步骤S15中进一步包括：
在数据运算单元所获得的数据出现异常数据时，启动异常报警装置，所述异常报警装置为报警灯或报警蜂鸣器。
CN202010271795.5A 2020-04-08 2020-04-08 一种基于人工智能的物联网数据的分析系统和分析方法 Active CN111556098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010271795.5A CN111556098B (zh) 2020-04-08 2020-04-08 一种基于人工智能的物联网数据的分析系统和分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010271795.5A CN111556098B (zh) 2020-04-08 2020-04-08 一种基于人工智能的物联网数据的分析系统和分析方法

Publications (2)

Publication Number Publication Date
CN111556098A CN111556098A (zh) 2020-08-18
CN111556098B true CN111556098B (zh) 2023-09-15

Family

ID=72002361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010271795.5A Active CN111556098B (zh) 2020-04-08 2020-04-08 一种基于人工智能的物联网数据的分析系统和分析方法

Country Status (1)

Country Link
CN (1) CN111556098B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032464A (zh) * 2021-04-09 2021-06-25 上海玺衡网络科技有限公司 一种基于物联网工程数据智能挖掘分析管理系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077021A (zh) * 2012-12-28 2013-05-01 深圳市彩讯科技有限公司 一种通用的手机软件综合发展数据分析系统及分析方法
CN106296349A (zh) * 2016-08-03 2017-01-04 海南警视者科技开发有限公司 一种多功能管家服务管理系统
WO2017036042A1 (zh) * 2015-08-31 2017-03-09 安一恒通（北京）科技有限公司 信息采集方法和装置
CN108228830A (zh) * 2018-01-03 2018-06-29 广东工业大学 一种数据处理系统
CN108268656A (zh) * 2018-01-31 2018-07-10 合肥和钧正策信息技术有限公司 一种大数据智能云审计方法及系统
CN109344333A (zh) * 2018-11-07 2019-02-15 乐甜人工智能科技(广州)有限公司 一种互联网大数据分析提取方法及系统
CN109522742A (zh) * 2018-10-26 2019-03-26 贵州斯曼特信息技术开发有限责任公司 一种计算机大数据的批处理方法
CN110032680A (zh) * 2019-04-16 2019-07-19 北京网聘咨询有限公司 大数据分析方法及系统
CN110347682A (zh) * 2019-06-26 2019-10-18 安徽亿联网络科技有限公司 一种大数据存储系统集成系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830463B2 (en) * 2016-01-22 2017-11-28 Google Llc Systems and methods for detecting sensitive information leakage while preserving privacy

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077021A (zh) * 2012-12-28 2013-05-01 深圳市彩讯科技有限公司 一种通用的手机软件综合发展数据分析系统及分析方法
WO2017036042A1 (zh) * 2015-08-31 2017-03-09 安一恒通（北京）科技有限公司 信息采集方法和装置
CN106296349A (zh) * 2016-08-03 2017-01-04 海南警视者科技开发有限公司 一种多功能管家服务管理系统
CN108228830A (zh) * 2018-01-03 2018-06-29 广东工业大学 一种数据处理系统
CN108268656A (zh) * 2018-01-31 2018-07-10 合肥和钧正策信息技术有限公司 一种大数据智能云审计方法及系统
CN109522742A (zh) * 2018-10-26 2019-03-26 贵州斯曼特信息技术开发有限责任公司 一种计算机大数据的批处理方法
CN109344333A (zh) * 2018-11-07 2019-02-15 乐甜人工智能科技(广州)有限公司 一种互联网大数据分析提取方法及系统
CN110032680A (zh) * 2019-04-16 2019-07-19 北京网聘咨询有限公司 大数据分析方法及系统
CN110347682A (zh) * 2019-06-26 2019-10-18 安徽亿联网络科技有限公司 一种大数据存储系统集成系统

Also Published As

Publication number Publication date
CN111556098A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN106371975B (zh) 一种运维自动化预警方法和系统
CN109857935B (zh) 一种信息推荐方法及装置
CN106161060B (zh) 数据监控方法和装置
TW201944272A (zh) 基於物聯網的資料獲取系統、方法及可讀存儲介質
CN110347694B (zh) 一种基于物联网的设备监控方法、装置及系统
CN111556098B (zh) 一种基于人工智能的物联网数据的分析系统和分析方法
CN104933127A (zh) 基于MariaDB的跨机房数据库同步设备及方法
CN108134746B (zh) 轨道交通数据的处理方法及装置
CN115801594A (zh) 电力数据通信网的数字孪生模型的构建方法、设备及介质
CN116796015A (zh) 一种可视化多模态数据采集、传输、处理的方法
CN111506769A (zh) 视频文件的处理方法、装置、存储介质及电子装置
CN114841165B (zh) 用户数据分析及展示方法、装置、电子设备及存储介质
CN116614554A (zh) 一种基于物联网设备的数据处理方法及装置
CN113037578B (zh) 设备捆绑口故障告警方法及装置
CN113114718A (zh) 物联网中的数据传输方法和系统及其物联网设备与终端
CN105989032A (zh) 一种海量数据的信息处理方法及装置
CN113568936B (zh) 实时流数据存储方法、装置、终端设备
CN111092753A (zh) 问题定位方法及装置
CN114598624B (zh) 集群监控方法、装置、电子设备及可读存储介质
CN111198707A (zh) 一种基于数据分析对系统软件进行维护的方法及系统
CN111767275B (zh) 数据的处理方法及装置、数据处理系统
CN112367360B (zh) 一种拓展公有云数据处理能力的方法及装置
CN111562982B (zh) 请求数据的处理方法及装置、计算机可读存储介质、电子设备
CN107547226A (zh) 一种对资源集中管理的方法和装置
CN116954860A (zh) 一种文件处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant