CN112235154A - 基于物联网的数据处理方法、系统、装置及介质 - Google Patents

基于物联网的数据处理方法、系统、装置及介质 Download PDF

Info

Publication number
CN112235154A
CN112235154A CN202010940812.XA CN202010940812A CN112235154A CN 112235154 A CN112235154 A CN 112235154A CN 202010940812 A CN202010940812 A CN 202010940812A CN 112235154 A CN112235154 A CN 112235154A
Authority
CN
China
Prior art keywords
data
things
internet
neural network
data packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010940812.XA
Other languages
English (en)
Inventor
许美明
刘博厚
刘凯明
邓培基
张晓婷
许荣庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Anshitong Information Technology Co ltd
Original Assignee
Guangzhou Anshitong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Anshitong Information Technology Co ltd filed Critical Guangzhou Anshitong Information Technology Co ltd
Priority to CN202010940812.XA priority Critical patent/CN112235154A/zh
Publication of CN112235154A publication Critical patent/CN112235154A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明的提供了基于物联网的数据处理方法、系统、装置及介质，方法包括获取设备的注册信息，根据注册信息构建网络长连接；通过网络长连接获取设备的传感数据，将传感数据进行结构化处理得到数据包；根据第一预设阈值对数据包进行提取得到第一数据集，获取异常数据的数据包，通过机器学习模型进行故障预测，得到故障预测结果；方法可实现连接的复用，省去重复创建连接的耗时，提高了数据交换的效率；具有讲稿的动态扩展能力，保证了高可用性；方法还通过机器学习对故障数据进行预测，既能进行故障判别又能避免故障数据的误报，也突破了单点故障的性能瓶颈，可广泛应用于物联网技术领域。

Description

基于物联网的数据处理方法、系统、装置及介质
技术领域
本发明属于物联网技术领域，尤其是基于物联网的数据处理方法、系统、装置及介质。
背景技术
物联网(The Internet of Things，IOT)是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。随着物联网的关联技术领域的不断扩大，面对愈渐庞大的数据量级，物联网网关数据的收集以及实时处理面临巨大的挑战。一方面，在面对高并发时，要求物联网网关具有高可靠性；另一方面，面对各种监测终端上传的各种数据格式的传感数据，要求物联网网关同样具有高可用性。
然而，当前的物联网网关的架构，难以解决大量异构终端设备的接入，以及无法对采集故障数据的进行自动识别或分析，造成故障的误报，导致单点故障容易形成物联网网关的可靠性的瓶颈问题。
发明内容
有鉴于此，为至少部分解决上述技术问题之一，本发明实施例目的在于提供一种高可用、高可靠的基于物联网的数据处理方法，同时本发明的实施例还提供可以对应实现基于物联网的数据处理方法的系统、装置及介质。
第一方面，本发明实施例提供了基于物联网的数据处理方法，其包括以下步骤：
获取设备的注册信息，根据注册信息构建网络长连接；
通过网络长连接获取设备的传感数据，将传感数据进行结构化处理得到数据包；
根据第一预设阈值对数据包进行提取得到第一数据集，其中，第一数据集中的数据包中数据标记为异常数据；
获取异常数据的数据包，通过机器学习模型进行故障预测，得到故障预测结果；
根据预测结果对异常数据的数据包进行关联分析，将预测结果以及关联分析结果进行可视化展示。
在本发明的一些实施例中，获取设备的注册信息，根据注册信息构建网络长连接这一步骤，其具体包括：根据注册信息以及服务器负载对设备进行IP地址分配，并将IP地址返回至设备。
在本发明的一些实施例中，通过网络长连接获取设备的传感数据这一步骤，其具体包括：
根据预设周期对设备进行轮询，并发送传感数据采集指令；
根据传感数据采集指令，返回传感数据。
在本发明的一些实施例中，将传感数据进行结构化处理得到数据包这一步骤，其具体包括：根据过滤规则，对传感数据进行过滤；过滤规则包括以下至少之一：协议过滤、IP地址过滤、端口过滤；
根据过滤后的传感数据的流量信息进行缺失值填充，得到数据包。
在本发明的一些实施例中，获取异常数据的数据包，通过机器学习模型进行故障预测，得到故障预测结果这一步骤中，机器学习模型为TensorFlow神经网络模型；得到TensorFlow神经网络模型步骤包括：
获取设备的历史异常数据，根据历史异常数据构建得到训练集和测试集，
根据训练集训练得TensorFlow神经网络得到第一神经网络模型；
根据测试集对第一神经网络模型进行参数优化，得到训练完成的TensorFlow神经网络模型。
在本发明的一些实施例中，根据训练集训练得TensorFlow神经网络得到第一神经网络模型这一步骤，其具体包括：
解析异常数据的数据包得到多维数据，根据多维数组确定数据对象；
封装数据对象的运算得到操作流，根据数据对象和操作流构建第一神经网络模型，第一神经网络模型包括由数据对象以及操作流组合得到的数据流图。
第二方面，本发明的技术方案还提供基于物联网的数据处理系统，包括链路层、应用层、数据层以及可视化层，其中：
链路层，用于获取设备的注册信息，根据注册信息构建网络长连接；
应用层，用于通过网络长连接获取设备的传感数据，将传感数据进行结构化处理得到数据包；以及根据第一预设阈值对数据包进行提取得到第一数据集，第一数据集中的数据包中数据标记为异常数据；并获取异常数据的数据包，通过机器学习模型进行故障预测，得到故障预测结果，根据预测结果对异常数据的数据包进行关联分析；
可视化层，用于将预测结果以及关联分析结果进行可视化展示；
数据层，用于缓存数据以及存储数据。
第三方面，本发明的技术方案还提供基于物联网的数据处理装置，其包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当至少一个程序被至少一个处理器执行，使得至少一个处理器实现第一方面中的基于物联网的数据处理方法。
第四方面，本发明的技术方案还提供了一种存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现如第一方面中的方法。
本发明的优点和有益效果将在下面的描述中部分给出，其他部分可以通过本发明的具体实施方式了解得到：
本发明实施例所提供的基于物联网的数据处理方法，通过网络长连接获取设备的传感数据，可实现连接的复用省去重复创建连接的耗时，提高了数据交换的效率；将传感数据进行结构化处理能够快速处理大量异构终端上传的传感数据，具有讲稿的动态扩展能力，保证了高可用性；方法还通过机器学习对故障数据进行预测，既能进行故障判别又能避免故障数据的误报，也突破了单点故障的性能瓶颈。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于物联网的数据处理方法的步骤流程图；
图2为本发明实施例基于物联网的数据处理装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在第一方面，如图1所示，本发明实施例提供了基于物联网的数据处理方法，其主要包括步骤S01-S05：
S01、获取设备的注册信息，根据注册信息构建网络长连接；具体地，在本实施例中，通过TCP(Transmission Control Protocol)协议完成双向通信，TCP协议在完成真正的读写操作之前，服务器(server)与设备终端(client)之间必须建立一个连接，当读写操作完成后，双方不再需要这个连接时可以释放这个连接，连接的建立通过设备的注册信息，完成设备终端和服务器端的三次握手，释放则需要四次挥手，所以每个连接的建立都是需要资源消耗和时间消耗。本实施例为省去较多的TCP建立和关闭的操作，减少浪费，节约时间，通过TCP长连接进行双向通信，即在建立连接后，根据关闭连接的关闭指令关闭连接，在保持连接期间可进行多次数据传输。在一些其他实施例中，可以以终端设备为颗粒度，限制每个终端设备的最大长连接书，避免恶意连接导致服务器端的服务受损。
此外，在一些实施例中，在根据注册信息构建网络长连接这一过程中，还可以根据注册信息以及服务器负载对设备进行IP地址分配，并将IP地址返回至设备。具体地，完成设置通信网络的TCP长连接，将注册信息发送至服务器，由服务器完成网络IP分配，计算网络服务器的虚拟网络地址VIP，并通过服务器中的负载均衡器LVS(Linux Virtual Server)分配至负载较小的IP分配服务器，通过IP分配服务器获取闲置的通信网关服务器的IP地址，再次发送注册信息至目标通信网关服务器实现长连接。当目标通信网关服务出现连接超时采集器再次切换至VIP，将连接切换至可用的通信网关服务器上，从而实现通信网关的高可用性。
S02、通过网络长连接获取设备的传感数据，将传感数据进行结构化处理得到数据包；具体地，在实施例中，对物联网设备上运行的应用使用Wireshark进行抓取，得到流量数据包Pcap文件，针对Pcap头文件信息与加密方式的不同进行应用流量的归属分类，针对Pcap头文件信息与加密方式的不同进行应用流量的归属分类。在实施例中，Pcap数据包文件包括：文件头、数据包头以及数据帧；数据包头包括时间戳高位、时间戳低位、数据区长度以及离线数据长度。其中，文件头还包括主要版本号；次要版本号；当地的标准事件，本实施例中设置为全0；时间戳的精度；最大的存储长度，其用于设置所抓获的数据包的最大长度；链路类型，解析数据包首先要判断它的LinkType，实施例中的值为1，即以太网。数据包头中的时间戳高位，精确到秒，这是Unix系统的时间戳，捕获数据包的时间是根据这个值来设定；时间戳低位，能够精确到微秒；当前数据区的长度，即抓取到的数据帧长度，由此可以得到下一个数据帧的位置；离线数据长度，网路中实际数据帧的长度，不大于当前数据区的长度。数据帧是链路层的数据帧，数据帧部分的格式就是标准的网络协议格式。
更为具体地，在一些实施例的具体实施过程中，通过网络长连接获取设备的传感数据这一步骤可以细分为步骤S021-S022：
S021、根据预设周期对设备进行轮询，并发送传感数据采集指令；
S022、根据传感数据采集指令，返回传感数据；具体地，实施例中使用Wireshark通过调度任务的方式进行数据采集。完成长连接并进行三次握手后，按照固定时间轮询保存的会话中的采集器连接的物联网设备并发送采集指令，物联网设备将传感数据通过采集器定时回复给通信网关服务。
此外，实施例中，将传感数据进行结构化处理得到数据包这一步骤，也可以细分为步骤S023-S024：
S023、根据过滤规则，对传感数据进行过滤；其中，过滤规则包括：协议过滤、IP地址过滤以及端口过滤；例如，协议过滤选择为TCP协议，则筛选出TCP协议的传感数据，又例如ip.src＝＝192.168.1.102，则筛选出源地址为192.168.1.102的传感数据。
S024、根据过滤后的传感数据的流量信息进行缺失值填充，得到数据包。例如，实施例中通过Split Cap进行文件分割，将步骤S023中筛选得到数据包通过Split Cap工具进行Pcap文件的切割，得到经过分割后的单条流量数据样本，读取Pcap文件；选取包含关键信息的流量部分，即当前Pcap文件的前1024个字节，将其转化为数组形式，对数组与数组之间存在的差异，采用均值对维度属性中的缺失值进行填充，最后存储为维度相同的数据包。
S03、根据第一预设阈值对数据包进行提取得到第一数据集，第一数据集中的数据包中数据标记为异常数据；具体地，将步骤S02中得到的数据包进行筛选得到异常数据的数据集，其中第一阈值即为该物联网设备所设置的正常运行的参数阈值，超过该阈值即认定该物联网设备存在异常工作状况。例如，通过过滤规则以及缺失值填补得到的IP地址为192.168.1.102的传感数据，筛选其在预设周期内运行时出现过热的数据记录，组合形成异常数据的数据集。
S04、获取异常数据的数据包，通过机器学习模型进行故障预测，得到故障预测结果；具体地，实施例采用TensorFlow神经网络框架，获取设备的历史异常数据，根据历史异常数据构建得到训练集和测试集，其中训练集和测试的标签即为是否导致了设备的工作故障。在实施例中，TensorFlow神经网络模型的构建过程包括S041-S042：
S041、根据训练集训练得TensorFlow神经网络得到第一神经网络模型；具体地，模型的输入是具体的异常数据，输出是设备故障的可能性。根据模型建立计算图，然后送入数据运行计算图得到结果。计算图computational graph是TF中很重要的一个概念，其是由一系列节点(nodes)组成的图模型，每个节点对应的是TF的一个算子或操作流(operation)。每个算子会有输入与输出，并且输入和输出都是张量。所以使用TF的算子构建的机器学习模型，其背后为计算图。更为具体地，步骤S041可进一步包括步骤S0411-S4012：
S0411、解析异常数据的数据包得到多维数据，根据多维数组确定数据对象；具体地，在实施例中，通过Split Cap工具将所有Pcap格式数据包的流进行切分，抽取成为若干个大小相同的数据段，将其转换成为多维数组，对应每个类别下的图结构化的输入。
S0412、封装数据对象的运算得到操作流，根据数据对象和操作流构建第一神经网络模型，第一神经网络模型包括由数据对象以及操作流组合得到的数据流图。首先假定需要识别的异常故障类型为N种，N可以为大于零的任意整数，模型首先读取预设大小的流量图像，通过归一化减少数据之间的不确定性。通过卷积层输入特征图进行卷积运算得到若干特征图。再通过最大池化层生成有效权重特征，最后由模型中的全连接层将整体结果进行分类，输出结果。封装得到训练完成的模型，方法精确度可超传统机器学习方法。
S042、根据测试集进行参数优化得到训练完成的TensorFlow神经网络模型；具体地，根据构建的测试集对训练得到模型进行误差评价，根据误差值对模型的训练过程中的参数进行调整，例如，调整流量图像或者特征图像的大小。
S05、根据预测结果对异常数据的数据包进行关联分析，将预测结果以及关联分析结果进行可视化展示；具体地，根据训练完成的TensorFlow神经网络模型，对步骤S03中构建完成的异常数据集，通过与模型训练过程中相同的数据处理方式输入至TensorFlow神经网络模型，得到预测结果，根据预测结果来判别该异常数据是否将会引发设备故障。并且，当通过模型预测结果为设备故障，则根据该物联网设备的历史故障数据进行关联分析，得到设备故障的强关联规则，例如通过Apriori剪枝得到设备故障的强关联规则，将该规则中的重要参量，以及得到该预测结果的数据记录均进行可视化显示。必要时，可根据该强关联规则对预测结果进行进一步的修正，以提高实施例方案的预测准确程度，避免了只是单个异常的状态数值而导致的故障误报。
第二方面，本发明的技术方案还提供基于物联网的数据处理系统，链路层、应用层、数据层以及可视化层；其中，
链路层，用于获取设备的注册信息，根据注册信息构建网络长连接；
应用层，用于通过网络长连接获取设备的传感数据，将传感数据进行结构化处理得到数据包；以及根据第一预设阈值对数据包进行提取得到第一数据集，第一数据集中的数据包中数据标记为异常数据；并获取异常数据的数据包，通过机器学习模型进行故障预测，得到故障预测结果，根据预测结果对异常数据的数据包进行关联分析；
可视化层，用于将预测结果以及关联分析结果进行可视化展示；
数据层，用于缓存数据以及存储数据。
第三方面，如图2所示，本发明实施例还提供基于物联网的数据处理装置，其包括至少一个处理器；至少一个存储器，用于存储至少一个程序；当至少一个程序被至少一个处理器执行，使得至少一个处理器实现如第一方面中的基于物联网的数据处理方法。
本发明实施例还提供了一种存储介质内存储有程序，程序被处理器执行如第一方面中的方法。
从上述具体的实施过程，可以总结出，本发明所提供的技术方案相较于现有技术存在以下优点或优势：
1.本发明所提供的实施例，通过网络长连接获取设备的传感数据，可实现连接的复用省去重复创建连接的耗时，提高了数据交换的效率。
2.本发明所提供的实施例，将传感数据进行结构化处理能够快速处理大量异构终端上传的传感数据，具有讲稿的动态扩展能力，保证了高可用性。
3.本发明所提供的实施例，还通过机器学习对故障数据进行预测，既能进行故障判别又能避免故障数据的误报，也突破了单点故障的性能瓶颈。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
其中，功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于物联网的数据处理方法，其特征在于，包括以下步骤：
获取设备的注册信息，根据所述注册信息构建网络长连接；
通过所述网络长连接获取设备的传感数据，将所述传感数据进行结构化处理得到数据包；
根据第一预设阈值对所述数据包进行提取得到第一数据集，所述第一数据集中的数据包中数据标记为异常数据；
获取所述异常数据的数据包，通过机器学习模型进行故障预测，得到故障预测结果；
根据所述预测结果对所述异常数据的数据包进行关联分析，将所述预测结果以及所述关联分析结果进行可视化展示。
2.根据权利要求1所述的基于物联网的数据处理方法，其特征在于，所述获取设备的注册信息，根据所述注册信息构建网络长连接这一步骤，其具体包括：
根据所述注册信息以及服务器负载对所述设备进行IP地址分配，并将IP地址返回至所述设备。
3.根据权利要求1所述的基于物联网的数据处理方法，其特征在于，所述通过所述网络长连接获取设备的传感数据这一步骤，其具体包括：
根据预设周期对所述设备进行轮询，并发送传感数据采集指令；
根据所述传感数据采集指令，返回所述传感数据。
4.根据权利要求1所述的基于物联网的数据处理方法，其特征在于，所述将所述传感数据进行结构化处理得到数据包这一步骤，其具体包括：
根据过滤规则，对所述传感数据进行过滤；所述过滤规则包括以下至少之一：协议过滤、IP地址过滤以及端口过滤；
根据过滤后的传感数据的流量信息进行缺失值填充，得到所述数据包。
5.根据权利要求1所述的基于物联网的数据处理方法，其特征在于，所述获取所述异常数据的数据包，通过机器学习模型进行故障预测，得到故障预测结果这一步骤中，所述机器学习模型为TensorFlow神经网络模型；
得到所述TensorFlow神经网络模型步骤包括：
获取所述设备的历史异常数据，根据所述历史异常数据构建得到训练集和测试集，
根据所述训练集训练得TensorFlow神经网络得到第一神经网络模型；
根据所述测试集对所述第一神经网络模型进行参数优化，得到训练完成的TensorFlow神经网络模型。
6.根据权利要求5所述的基于物联网的数据处理方法，其特征在于，所述根据所述训练集训练得TensorFlow神经网络得到第一神经网络模型这一步骤，其具体包括：
解析所述异常数据的数据包得到多维数据，根据所述多维数组确定数据对象；
封装所述数据对象的运算得到操作流，根据所述数据对象和所述操作流构建第一神经网络模型，所述第一神经网络模型包括由所述数据对象以及所述操作流组合得到的数据流图。
7.根据权利要求1-6任一项所述的基于物联网的数据处理方法，其特征在于，所述数据包具体包括：文件头、数据包头以及数据帧；所述数据包头包括时间戳高位、时间戳低位、数据区长度以及离线数据长度。
8.基于物联网的数据处理系统，其特征在于，包括链路层、应用层、数据层以及可视化层；其中，
所述链路层，用于获取设备的注册信息，根据所述注册信息构建网络长连接；
所述应用层，用于通过所述网络长连接获取设备的传感数据，将所述传感数据进行结构化处理得到数据包；以及根据第一预设阈值对所述数据包进行提取得到第一数据集，所述第一数据集中的数据包中数据标记为异常数据；并获取所述异常数据的数据包，通过机器学习模型进行故障预测，得到故障预测结果，根据所述预测结果对所述异常数据的数据包进行关联分析；
所述可视化层，用于将所述预测结果以及所述关联分析结果进行可视化展示；
所述数据层，用于缓存数据以及存储数据。
9.基于物联网的数据处理装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一项所述的基于物联网的数据处理方法。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于：所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-7中任一项所述的基于物联网的数据处理方法。
CN202010940812.XA 2020-09-09 2020-09-09 基于物联网的数据处理方法、系统、装置及介质 Pending CN112235154A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010940812.XA CN112235154A (zh) 2020-09-09 2020-09-09 基于物联网的数据处理方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010940812.XA CN112235154A (zh) 2020-09-09 2020-09-09 基于物联网的数据处理方法、系统、装置及介质

Publications (1)

Publication Number Publication Date
CN112235154A true CN112235154A (zh) 2021-01-15

Family

ID=74115528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010940812.XA Pending CN112235154A (zh) 2020-09-09 2020-09-09 基于物联网的数据处理方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN112235154A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732693A (zh) * 2021-01-18 2021-04-30 深圳市宇航智造技术有限公司 智能化物联网数据采集方法、装置、设备及存储介质
CN114418222A (zh) * 2022-01-21 2022-04-29 广东电网有限责任公司 一种通过自适应集成的设备安全威胁预测方法及装置
TWI780669B (zh) * 2021-04-19 2022-10-11 中華電信股份有限公司 用於管理機器學習模型之方法及電腦可讀取記錄媒體

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707178A (zh) * 2012-06-15 2012-10-03 中国电力科学研究院 一种电力系统二次设备故障预警监视方法
CN103491354A (zh) * 2013-10-10 2014-01-01 国家电网公司 一种系统运行监控可视化平台
WO2014101515A1 (zh) * 2012-12-24 2014-07-03 国家电网公司 间歇能源并网下的自动发电控制模型的设计方法
CN106090623A (zh) * 2016-06-27 2016-11-09 清华大学合肥公共安全研究院 基于物联网的管网远程监测系统
CN106251589A (zh) * 2016-08-19 2016-12-21 北海市蕴芯电子科技有限公司 一种设备故障报警系统
CN106991502A (zh) * 2017-04-27 2017-07-28 深圳大数点科技有限公司 一种设备故障预测系统和方法
CN107276816A (zh) * 2016-11-03 2017-10-20 厦门嵘拓物联科技有限公司 一种基于云服务的远程监测与故障诊断系统及故障诊断方法
CN110362068A (zh) * 2019-08-02 2019-10-22 苏州容思恒辉智能科技有限公司 一种基于工业物联网的机械设备故障预警方法、系统和可读存储介质
CN110912976A (zh) * 2019-11-15 2020-03-24 中铁工程机械研究设计院有限公司 一种铁路施工设备远程监控系统
CN111221919A (zh) * 2018-11-27 2020-06-02 波音公司 用于生成飞机故障预测分类器的系统和方法
CN111277672A (zh) * 2020-03-31 2020-06-12 上海积成能源科技有限公司 一种基于非阻塞输入输出模型的能源物联网数据采集方法和软件网关

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707178A (zh) * 2012-06-15 2012-10-03 中国电力科学研究院 一种电力系统二次设备故障预警监视方法
WO2014101515A1 (zh) * 2012-12-24 2014-07-03 国家电网公司 间歇能源并网下的自动发电控制模型的设计方法
CN103491354A (zh) * 2013-10-10 2014-01-01 国家电网公司 一种系统运行监控可视化平台
CN106090623A (zh) * 2016-06-27 2016-11-09 清华大学合肥公共安全研究院 基于物联网的管网远程监测系统
CN106251589A (zh) * 2016-08-19 2016-12-21 北海市蕴芯电子科技有限公司 一种设备故障报警系统
CN107276816A (zh) * 2016-11-03 2017-10-20 厦门嵘拓物联科技有限公司 一种基于云服务的远程监测与故障诊断系统及故障诊断方法
CN106991502A (zh) * 2017-04-27 2017-07-28 深圳大数点科技有限公司 一种设备故障预测系统和方法
CN111221919A (zh) * 2018-11-27 2020-06-02 波音公司 用于生成飞机故障预测分类器的系统和方法
CN110362068A (zh) * 2019-08-02 2019-10-22 苏州容思恒辉智能科技有限公司 一种基于工业物联网的机械设备故障预警方法、系统和可读存储介质
CN110912976A (zh) * 2019-11-15 2020-03-24 中铁工程机械研究设计院有限公司 一种铁路施工设备远程监控系统
CN111277672A (zh) * 2020-03-31 2020-06-12 上海积成能源科技有限公司 一种基于非阻塞输入输出模型的能源物联网数据采集方法和软件网关

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732693A (zh) * 2021-01-18 2021-04-30 深圳市宇航智造技术有限公司 智能化物联网数据采集方法、装置、设备及存储介质
CN112732693B (zh) * 2021-01-18 2021-08-17 深圳市宇航智造技术有限公司 智能化物联网数据采集方法、装置、设备及存储介质
TWI780669B (zh) * 2021-04-19 2022-10-11 中華電信股份有限公司 用於管理機器學習模型之方法及電腦可讀取記錄媒體
CN114418222A (zh) * 2022-01-21 2022-04-29 广东电网有限责任公司 一种通过自适应集成的设备安全威胁预测方法及装置

Similar Documents

Publication Publication Date Title
CN112235154A (zh) 基于物联网的数据处理方法、系统、装置及介质
KR101234326B1 (ko) 분산 트래픽 분석
CN106815112B (zh) 一种基于深度包检测的海量数据监控系统及方法
CN110868336A (zh) 数据管理方法、装置和计算机可读存储介质
CN104584483B (zh) 用于自动确定服务质量降级的原因的方法和设备
CN107683586A (zh) 用于异常检测中的计算基于小区密度的稀有度的方法和装置
CN108900374B (zh) 一种应用于dpi设备的数据处理方法和装置
CN110022221B (zh) 一种系统接口数据的监控方法、装置及系统
CN111934936B (zh) 网络状态检测方法、装置、电子设备及存储介质
CN109818820A (zh) 流量数据监控方法、装置、电子设备及存储介质
CN113489619A (zh) 一种基于时间序列分析的网络拓扑推断方法及装置
CN113382039B (zh) 一种基于5g移动网络流量分析的应用识别方法和系统
CN106572190A (zh) 信息通信运行数据自主采集方法
CN105827474A (zh) 网络监控方法、过滤数据包的方法及装置
CN110266603B (zh) 基于http协议的身份认证业务网络流量分析系统及方法
CN100566266C (zh) 具有时效性的动态双向环行tcp流缓冲区建立和执行方法
CN112688924A (zh) 网络协议分析系统
Pekar et al. Towards threshold‐agnostic heavy‐hitter classification
CN114244691A (zh) 视频业务的故障定位方法、装置及电子设备
CN111654413B (zh) 一种网络流量有效测量点的选取方法、设备及存储介质
CN109831335A (zh) 一种数据监控方法、监控终端、存储介质及数据监控系统
CN106161339A (zh) 获取ip访问关系的方法及装置
CN113037551A (zh) 一种基于流量切片的涉敏业务快速识别定位方法
CN116170829B (zh) 一种独立专网业务的运维场景识别方法及装置
CN118400291B (zh) 一种通信信息监测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210115

RJ01 Rejection of invention patent application after publication