CN112235159B - 网关质量画像生成方法、系统、网络设备和存储介质 - Google Patents

网关质量画像生成方法、系统、网络设备和存储介质 Download PDF

Info

Publication number
CN112235159B
CN112235159B CN202011092841.1A CN202011092841A CN112235159B CN 112235159 B CN112235159 B CN 112235159B CN 202011092841 A CN202011092841 A CN 202011092841A CN 112235159 B CN112235159 B CN 112235159B
Authority
CN
China
Prior art keywords
gateway
data
quality
generation method
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011092841.1A
Other languages
English (en)
Other versions
CN112235159A (zh
Inventor
程造洋
余贤雷
冯慧君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011092841.1A priority Critical patent/CN112235159B/zh
Publication of CN112235159A publication Critical patent/CN112235159A/zh
Application granted granted Critical
Publication of CN112235159B publication Critical patent/CN112235159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种网关质量画像生成方法、系统、网络设备和存储介质，涉及通信领域。网关质量画像生成方法包括：获取实时网关数据，其中，所述网关数据包括网关属性、网关运行数据；对所述网关数据进行预处理，并使用ARIMA模型对所述预处理后的所述网关数据进行差分处理，获取网关平稳数据；使用FM模型对所述网关平稳数据进行处理，获取网关信息和设备信息，并根据所述网关信息和所述设备信息制定网关质量画像构建标准；根据所述网关质量画像构建标准构建网关质量画像。应用在构建网关质量画像的过程中，通过实时获取网关数据，达到保证所构建的网关质量画像的实时度和高质量的目的。

Description

网关质量画像生成方法、系统、网络设备和存储介质
技术领域
本发明实施例涉及通信领域，特别涉及一种网关质量画像生成方法、系统、网络设备和存储介质。
背景技术
在物联网环境中，网关是重要一环，通过它实现系统信息的采集、信息输入、信息输出、集中控制、远程控制、联动控制等功能，而构建网关质量画像是评估一个网关性能最直接的方法，现有的网关画像构建方法包括：是通过积累用户的网关数据，建立网关的临时画像，从网关画像中继承自然分类生成的描述性标签属性；判断有效时间期限内的用户行为和/或内容与网关画像中根据行为分类和/或内容分类生成的描述性标签属性的匹配度，最后评估网关画像的成熟度。
然而，针对现有数据创建临时网关画像，然后根据用户标签的描述性匹配度去获取多个网关画像，评估出成熟度最高的选取时，无法对现有的数据上进行数据整合及优化操作，且所获取数据存在一定的失效期，不能长久保存，会使数据具有滞后性，所获取的数据不进行优化以及滞后性导致生成的网关质量画像的实时度低且质量得不到保证。
发明内容
本发明实施方式的目的在于提供一种网关质量画像生成方法、系统、网络设备和存储介质，能够实时生成高质量的网关质量画像。
为解决上述技术问题，本发明的实施方式提供了一种网关质量画像生成方法，包括：获取实时网关数据，其中，所述网关数据包括网关属性、网关运行数据；对所述网关数据进行预处理，并使用ARIMA模型对所述预处理后的所述网关数据进行差分处理，获取网关平稳数据；使用FM模型对所述网关平稳数据进行处理，获取网关信息和设备信息，并根据所述网关信息和所述设备信息制定网关质量画像构建标准；根据所述网关质量画像构建标准构建网关质量画像。
本发明的实施方式还提供了一种网关质量画像生成系统，包括：
获取模块，用于获取实时网关数据，所述网关数据包括网关属性、网关运行数据；
预处理模块，用于对所述网关数据进行预处理；
ARIMA模型模块，用于对所述预处理后的所述网关数据进行差分处理，获取网关平稳数据；
FM模型模块，用于对所述网关平稳数据进行处理，获取网关信息和设备信息，并根据所述网关信息和所述设备信息制定网关质量画像构建标准；
生成模块，用于根据所述网关质量画像构建标准构建网关质量画像。
本发明的实施方式还提供了一种网络设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的网关质量画像生成方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以上所述的网关质量画像生成方法。
本发明实施方式相对于现有技术而言，在构建网关质量画像过程中，通过获取实时网关数据，其中，网关数据包括网关属性、网关运行数据，对网关数据进行预处理，并使用ARIMA模型对预处理后的网关数据进行差分处理，获取网关平稳数据；使用FM模型对网关平稳数据进行处理，获取网关信息和设备信息，并根据网关信息和设备信息制定网关质量画像构建标准，根据网关质量画像构建标准构建网关质量画像。通过实时获取网关数据，并使用ARIMA模型和FM模型对数据进行处理，从而达到保证所构建的网关质量画像的实时度和高质量的目的，解决了现有技术中生成的网关质量画像的实时度低且质量得不到保证的问题。
另外，本发明实施方式提供的网关质量画像生成方法，所述对所述网关数据进行预处理，包括：从所述网关数据中提取数值型网关数据，并删除所述数值型网关数据中的异常数据，其中，所述异常数据包括空值、异常值和逻辑矛盾值；对删除所述异常数据后的所述数值型网关数据进行整合补全；对所述整合补全后的所述数值型网关数据进行数字编码；从所述网关数据中提取文本数据，提取所述文本数据中的关键字，并根据所述关键字生成词向量；对所述词向量进行整合编码，获取所述词向量对应的数字向量，完成对所述网关数据的预处理。完成对所述网关数据的预处理。本发明提供的技术方案在进行预处理时，会对数据类型的数据进行修正，对文本数据进行关键字提取，避免异常数据和非关键数据的存在使得后续所构建的网关质量画像存在一定的误差，使得本发明可以提高所构建的网关质量画像的质量。
另外，本发明实施方式提供的网关质量画像生成方法，所述根据所述网关信息和所述设备信息制定网关质量画像构建标准，包括：使用随机梯度下降算法对所述网关信息和所述设备信息进行处理，获取网关的事件概率；根据所述事件概率制定所述网关质量画像构建标准。本发明提供的技术方案在使用FM模型处理平稳数据之后，使用算法求解FM模型，获取网关的各类事件的概率，来制定网关质量画像构建标准，该标准在一定条件下可以重复使用，使得本发明可以进一步提高网关质量画像的质量和构建效率，实用性更强。
另外，本发明实施方式提供的网关质量画像生成方法，所述根据所述网关质量画像构建标准构建网关质量画像之后还包括：根据所述网关质量画像推导网关状态的演变过程，并检测所述网关状态是否需要进行更新操作。本发明提供的技术方案可以推导出网关状态的演变过程，使用户可以提前一步解决网关故障，定位网关优化基点，使得本发明可以提升用户的使用感。
另外，本发明实施方式提供的网关质量画像生成方法，所述获取实时网关数据之后还包括：从所述网关数据中提取符合标准的标准网关数据，并保存所述标准网关数据，以供对所述网关数据进行整合补全。本发明提供的技术方案可以将网关数据中的标准网关数据保存下来，后续预处理时对数据进行补全时使用，使得本发明可以提高数据的准确性，保证网关质量画像的质量。
另外，本发明实施方式提供的网关质量画像生成方法，所述ARIMA模型和所述FM模型根据预设的训练周期进行更新。本发明提供的技术方案可以根据训练周期对ARIMA模型和FM模型进行更新，使得本发明可以精准的构建网关质量画像。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明的第一实施方式提供的网关质量画像生成方法的流程图；
图2是本发明的第二实施方式提供的网关质量画像生成方法的流程图；
图3是本发明的第三实施方式提供的网关质量画像生成方法的流程图；
图4是本发明的第四实施方式提供的网关质量画像生成方法的流程图；
图5是本发明的第五实施方式提供的网关质量画像生成方法的流程图；
图6是本发明的第六实施方式提供的网关质量画像生成系统的结构示意图；
图7是本发明的第七实施方式提供的网络设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种网关质量画像生成方法，如图1所示，具体包括：
步骤101，获取实时网关数据，其中，网关数据包括网关属性、网关运行数据。
在本实施方式中，所获取的网关数据是根据预设的采集周期通过智能网关软探针进行实时采集的，所采集到的网关数据包括网关属性、网关运行数据，网关属性可以包括网关SN码、光线路终端(optical line terminal，Olt)Ip地址、宽带接入服务器(BroadbandRemote Access Server，BRAS)Ip地址、mac地址、网关型号、cpu型号、随机存储存储器(Random Access Memory，ram)大小、ems名称、网关厂商、地市编码、区县编码、宽带账号、安装地址、硬件版本号、软件版本号、软探针版本号、网关连接模式等，网关运行数据包括采集时间、上行带宽、下行带宽、cpu利用率、rms利用率、丢包重传率、tcp响应时延、http响应时延、接受光功率、反射光功率、DNS访问信息、有线连接状态、WAN口连接状态、pppoe连接状态、下挂设备基本信息、网关持续运行时长等，其中，DNS访问信息包括域名、DNS解析结果、DNS请求时间、DNS响应时间、DNS解析失败原因等，下挂设备基本信息包括设备类型、下挂端口号、下挂设备数量、下挂设备类型、下挂设备名称、下挂设备厂商、下挂设备型号、lan口协商速率、lan口工作模式、下挂设备wifi类型、下挂设备mac地址、下挂设备信号质量、下挂设备ipv6地址等。
此外，需要注意的是，在获取到网关数据之后，由于网关属性中的网关厂商、地市编码、区县编码、宽带账号不能够通过智能网关软探针技术获取到，需要通过DisplayPort显示通信端口对这四类数据进行补全，还需要将网关数据通过DisplayPort显示通信端口对网关数据进行中转，经由kafka(分布式消息队列服务)传输至spark(计算引擎)消费，spark消费之后在进行网关数据的预处理；且智能网关软探针技术再根据预设的采集周期进行数据采集时，通常情况下采集周期设定为十分钟，该采集周期也可以根据实际情况和用户需求进行更改。
步骤102，对网关数据进行预处理，并使用ARIMA模型对预处理后的网关数据进行差分处理，获取网关平稳数据。
在本实施方式中，对网关数据的预处理分为两部分，首先将网关数据划分为数值型数据和文本数据两部分，对数值型数据进行清除、补全和编码，对文本数据进行关键字提取和编码，将预处理之后的网关数据作为ARIMA模型的输入，对预处理之后的网关数据进行差分处理，使得预处理之后的网关数据变为平稳数据，其中，ARIMA模型是由两部分组成：AR代表p阶自回归过程，MA代表q阶移动平均过程，其公式如下：
Yt＝(1+φ1)Yt-1+(φ2-φ1)Yt-2+(φ3-φ2)Yt-3+…+(φp-φp-1)Yt-p-1+et+θ1et-1+θ2et-2+…+θt-qet-q
其中，t＝±1,±2,…,±n，et,et-1,…,et-q为白噪声，φ1,φ2,…,φp-1为自回归模型的参数，θt,θt-1,…,θt-q为滑动平均模型的参数。
此外，需要注意的是，非平稳的网关数据可以多次输入ARIMA模型进行处理，经过N次差分处理，使得非平稳的网关数据变为平稳的网关数据，ARIMA模型可以根据预设的训练周期进行重新训练，其中，预设的训练周期可以以天为单位，可以以小时为单位等。
步骤103，使用FM模型对网关平稳数据进行处理，获取网关信息和设备信息，并根据网关信息和设备信息制定网关质量画像构建标准。
在本实施方式中，将步骤102所获取到的平稳数据作为FM模型的输入，使用FM模型对平稳数据进行融合并交叉，充分从平稳数据中挖掘出网关信息和设备信息，在使用随机梯度下降算法来处理网关信息和设备信息，计算出网关所有可能出现的事件的概率，比如说网关连接某个设备的概率、网关的cpu利用率达到阈值的概率等，再根据网关所有可能出现的事件的概率为网关制定一个网关质量画像标准，其中，所制定的网关质量画像标准是可以调度的。
此外，需要注意的是，FM模型可以根据预设的训练周期进行重新训练，其中，预设的训练周期可以以天为单位，可以以小时为单位等。
步骤104，根据网关质量画像构建标准构建网关质量画像。
在本实施方式中，由于每一个网关所有可能出现的事件大不相同，且所有可能出现的事件的概率也大不相同，使得每一个网关的网关质量画像标准是唯一的，可以直接根据网关画像标准构建网关质量画像，网关质量画像构建成功之后，还需要将其发送至PC端，由PC端向使用者进行展示，其中，在为某一个网关制定网关质量画像标准之后，在后续所采集到的网关数据变化不大且ARIMA模型和FM模型没有重新训练的情况下，可以直接调用网关质量画像标准来构建网关质量画像，不需要重新处理网关数据。
本发明实施方式相对于现有技术而言，在构建网关质量画像过程中，通过获取实时网关数据，其中，网关数据包括网关属性、网关运行数据，对网关数据进行预处理，并使用ARIMA模型对预处理后的网关数据进行差分处理，获取网关平稳数据；使用FM模型对网关平稳数据进行处理，获取网关信息和设备信息，并根据网关信息和设备信息制定网关质量画像构建标准，根据网关质量画像构建标准构建网关质量画像。通过实时获取网关数据，并使用ARIMA模型和FM模型对数据进行处理，从而达到保证所构建的网关质量画像的实时度和高质量的目的，解决了现有技术中生成的网关质量画像的实时度低且质量得不到保证的问题。
本发明的第二实施方式涉及一种网关质量画像生成方法，该方法与本发明的第一实施例提供的网关质量画像生成方法基本相同，其区别在于，细化对网关数据的预处理步骤，如图2所示，具体包括：
步骤201，从网关数据中提取数值型网关数据，并删除数值型网关数据中的异常数据。
在本实施方式中，步骤101所获取的网关数据包含大量的数据，这些数据并非都是数值型数据，首先需要将网关数据中的数值型数据提取出来，然后遍历所有数值型数据，删除掉一些异常数据，其中，提取的数值型数据例如带宽、利用率、时延和功率等数据，异常数据包括空值、异常值和逻辑矛盾值等，空值指某一项数据的内容不存在，异常值是指某一项数据突变，逻辑矛盾值是指某一项数据不符合常理。
步骤202，对删除异常数据后的数值型网关数据进行整合补全。
在本实施方式中，数值型数据将异常数据删除后，数值型数据会变得不完整，无法进行正常的编码操作，需要从存储模块(本发明中为redis集群模块)中并查找与异常数据相对应的历史数据，使用历史数据补全数值型数据。
步骤203，对整合补全后的数值型网关数据进行数字编码。
在本实施方式中，由于数值型数据网关数据本身并不知晓自身的属性信息，因此需要对整合补全后的数值型网关数据进行数字编码，为数值型数据附加属性标记，比如说当数值型数据为上行带宽和下行带宽时，其属性标记为带宽类，当数值型数据为cpu利用率和rms利用率时，其属性标记为利用率类等，其余属性标记类型此处不一一赘述。
步骤204，从网关数据中提取文本数据，提取文本数据中的关键字，并根据关键字生成词向量。
在本实施方式中，步骤101所获取的网关数据包含大量的数据，这些数据并非都是文本数据，首先需要将网关数据中的文本数据提取出来，文本数据中包含大量的信息，从文本数据中将一些关键的信息作为关键字提取出来，并根据关键字生成词向量，其中，在进行关键字提取时可以采取word2vec模型进行提取，也可以采取其他提取方法，此处不一一赘述。
步骤205，对词向量进行整合编码，获取词向量对应的数字向量。
在本实施方式中，对词向量进行整合编码，将属于相同类型的词向量整合为一维的数字向量，该数字向量可以作为标签数据使用，用于标记网关的某种状态，相同类型的数据比如是数据用于表示网关的连接状态、数据用于表示网关的响应时延状态、数据用于表示网关的资源利用率状态等，数字向量属于表示网关的连接状态类型数据时，该数字向量可以用于标记网关的连接状态(连接正常、异常等)；数字向量属于表示网关的响应时延状态时，该数字向量可以用于标记网关的响应时延状态(响应时延是否达到要求、偏大还是偏小等)；数字向量属于表示网关的资源利用率状态时，该数字向量可以用于标记网关的资源利用率状态(资源利用率是否达到要求、偏大还是偏小等)，其余标记网关的某种状态的类型此处不一一赘述。
本发明实施方式相对于现有技术而言，在实现第一实施方式带来的有益效果基础上，在进行预处理时，会对数据类型的数据进行修正，对文本数据进行关键字提取，避免异常数据和非关键数据的存在使得后续所构建的网关质量画像存在一定的误差，使得本发明可以提高所构建的网关质量画像的质量。
本发明的第三实施方式涉及一种网关质量画像生成方法，该方法与第一实施方式提供的网关质量画像生成方法基本相同，其区别在于，如图3所示，步骤103包括：
步骤301，使用FM模型对网关平稳数据进行处理，获取网关信息和设备信息。
在本实施方式中，将步骤102所获取到的平稳数据作为FM模型的输入，使用FM模型对平稳数据进行融合并交叉，充分从平稳数据中挖掘出网关信息和设备信息。
步骤302，使用随机梯度下降算法对网关信息和设备信息进行处理，获取网关的事件概率。
在本实施方式中，在使用随机梯度下降算法来处理网关信息和设备信息，计算出网关所有可能出现的事件的概率，比如说网关连接某个设备的概率、网关的cpu利用率达到阈值的概率等。
步骤303，根据事件概率制定网关质量画像构建标准。
在本实施方式中，根据网关所有可能出现的事件的概率为网关制定一个网关质量画像标准，其中，所制定的网关质量画像标准是可以调度的。
本发明实施方式相对于现有技术而言，在实现第一实施方式带来的有益效果基础上，在使用FM模型处理平稳数据之后，使用算法求解FM模型，获取网关的各类事件的概率，来制定网关质量画像构建标准，该标准在一定条件下可以重复使用，使得本发明可以进一步提高网关质量画像的质量和构建效率，实用性更强。
本发明的第四实施方式涉及一种网关质量画像生成方法，该方法与第一实施方式提供的网关质量画像生成方法基本相同，其区别在于，如图4所示，步骤101之后还包括：
步骤401，从网关数据中提取符合标准的标准网关数据，并保存标准网关数据。
在本实施方式中，从步骤101所获取到的网关数据中，将一些符合标准的网关数据筛选出来，并将所筛选的网关数据保存至存储模块(本发明中存储模块为redis集群)，在对网关数据进行预处理时，可以从redis集群中获取相对应的历史数据对网关数据进行整合补全。
本发明实施方式相对于现有技术而言，在实现第一实施方式带来的有益效果基础上，本还可以将网关数据中的标准网关数据保存下来，延长网关数据的有效期，以供后续预处理时对数据进行补全时使用，使得本发明可以提高数据的准确性，保证网关质量画像的质量。
本发明的第五实施方式涉及一种网关质量画像生成方法，该方法与第一实施方式提供的网关质量画像生成方法基本相同，其区别在于，如图5所示，步骤104之后还包括：
步骤501，根据网关质量画像推导网关状态的演变过程，并检测网关状态是否需要进行更新操作。
在本实施方式中，由于网关质量画像是根据网关所有可能出现的事件的概率绘制的，由此可以根据所构建的网关质量画像可以有效获取网关是否存在故障，以及相应的故障原因和改进措施，网关质量画像展示界面可以展示以天为维度的网关质量画像，由此可以推导出网关状态的演变过程，针对现有的网关数据，总结出对应的改进点及相关规律。
本发明实施方式相对于现有技术而言，在实现第一实施方式带来的有益效果基础上，还可以推导出网关状态的演变过程，使用户可以提前一步解决网关故障，定位网关优化基点，使得本发明可以提升用户的使用感。
此外，应当理解的是，上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的第六实施方式涉及一种网关质量画像生成系统，如图6所示，包括：
获取模块601，用于获取实时网关数据，网关数据包括网关属性、网关运行数据；
预处理模块602，用于对网关数据进行预处理；
ARIMA模型模块603，用于对预处理后的网关数据进行差分处理，获取网关平稳数据；
FM模型模块604，用于对网关平稳数据进行处理，获取网关信息和设备信息，并根据网关信息和设备信息制定网关质量画像构建标准；
生成模块605，用于根据网关质量画像构建标准构建网关质量画像。
不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明第七实施方式涉及一种网络设备，如图7所示，包括：
至少一个处理器701；以及，
与所述至少一个处理器701通信连接的存储器702；其中，
所述存储器702存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器701执行，以使所述至少一个处理器701能够执行本发明以上任一所述的网关质量画像生成方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第八实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种网关质量画像生成方法，其特征在于，包括：
获取实时网关数据，其中，所述网关数据包括网关属性、网关运行数据；
对所述网关数据进行预处理，并使用ARIMA模型对所述预处理后的所述网关数据进行差分处理，获取网关平稳数据；
使用FM模型对所述网关平稳数据进行处理获取网关信息和设备信息；
基于随机梯度下降算法，根据所述网关信息和所述设备信息制定网关质量画像构建标准；
根据所述网关质量画像构建标准构建网关质量画像。
2.根据权利要求1所述的网关质量画像生成方法，其特征在于，所述对所述网关数据进行预处理，包括：
从所述网关数据中提取数值型网关数据，并删除所述数值型网关数据中的异常数据，其中，所述异常数据包括空值、异常值和逻辑矛盾值；
对删除所述异常数据后的所述数值型网关数据进行整合补全；
对所述整合补全后的所述数值型网关数据进行数字编码，完成对所述网关数据的预处理。
3.根据权利要求1所述的网关质量画像生成方法，其特征在于，所述对所述网关数据进行预处理还包括：
从所述网关数据中提取文本数据，提取所述文本数据中的关键字，并根据所述关键字生成词向量；
对所述词向量进行整合编码，获取所述词向量对应的数字向量，完成对所述网关数据的预处理。
4.根据权利要求1所述的网关质量画像生成方法，其特征在于，所述基于随机梯度下降算法，根据所述网关信息和所述设备信息制定网关质量画像构建标准，包括：
使用随机梯度下降算法对所述网关信息和所述设备信息进行处理，获取网关的事件概率；
根据所述事件概率制定所述网关质量画像构建标准。
5.根据权利要求1所述的网关质量画像生成方法，其特征在于，所述根据所述网关质量画像构建标准构建网关质量画像之后还包括：
根据所述网关质量画像推导网关状态的演变过程，并检测所述网关状态是否需要进行更新操作。
6.根据权利要求1所述的网关质量画像生成方法，其特征在于，所述获取实时网关数据之后还包括：
从所述网关数据中提取符合标准的标准网关数据，并保存所述标准网关数据，以供对所述网关数据进行整合补全。
7.根据权利要求1所述的网关质量画像生成方法，其特征在于，所述ARIMA模型和所述FM模型根据预设的训练周期进行更新。
8.一种网关质量画像生成系统，其特征在于，包括：
获取模块，用于获取实时网关数据，所述网关数据包括网关属性、网关运行数据；
预处理模块，用于对所述网关数据进行预处理；
ARIMA模型模块，用于对所述预处理后的所述网关数据进行差分处理，获取网关平稳数据；
FM模型模块，用于基于FM模型对所述网关平稳数据进行处理，获取网关信息和设备信息，并基于随机梯度下降算法，根据所述网关信息和所述设备信息制定网关质量画像构建标准；
生成模块，用于根据所述网关质量画像构建标准构建网关质量画像。
9.一种网络设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任意一项所述的网关质量画像生成方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任意一项所述的网关质量画像生成方法。
CN202011092841.1A 2020-10-13 2020-10-13 网关质量画像生成方法、系统、网络设备和存储介质 Active CN112235159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011092841.1A CN112235159B (zh) 2020-10-13 2020-10-13 网关质量画像生成方法、系统、网络设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011092841.1A CN112235159B (zh) 2020-10-13 2020-10-13 网关质量画像生成方法、系统、网络设备和存储介质

Publications (2)

Publication Number Publication Date
CN112235159A CN112235159A (zh) 2021-01-15
CN112235159B true CN112235159B (zh) 2022-05-10

Family

ID=74113453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011092841.1A Active CN112235159B (zh) 2020-10-13 2020-10-13 网关质量画像生成方法、系统、网络设备和存储介质

Country Status (1)

Country Link
CN (1) CN112235159B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225221B (zh) * 2021-04-07 2022-08-05 杭州玖欣物联科技有限公司 一种工业互联网行业有效数据质量管理方法
CN115460622A (zh) * 2021-05-19 2022-12-09 中兴通讯股份有限公司 建模方法、网元数据处理方法和装置、电子设备、介质
CN113765759B (zh) * 2021-08-31 2023-04-07 杭州控客信息技术有限公司 智能家居系统的设备入网及通信优化方法
CN115204572A (zh) * 2022-05-25 2022-10-18 华院计算技术(上海)股份有限公司 改进的基于时空对齐的Castrip数字画像生成与构建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488528A (zh) * 2015-09-01 2017-03-08 上海连尚网络科技有限公司 用于对无线接入点进行画像分析的方法与设备
CN109345117A (zh) * 2018-09-30 2019-02-15 北京工业大学 一种多维数据驱动的交通运输主体综合画像方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9432430B1 (en) * 2015-04-02 2016-08-30 Sas Institute Inc. Event stream processing device providing real-time incident identification
CN105915396A (zh) * 2016-06-20 2016-08-31 中国联合网络通信集团有限公司 家庭网络流量识别系统和方法
CN111224830A (zh) * 2018-11-23 2020-06-02 中国电信股份有限公司 数据监控方法、装置、物联网网元及计算机可读存储介质
CN110795657B (zh) * 2019-09-25 2023-10-27 腾讯科技（深圳）有限公司 文章推送及模型训练方法、装置、存储介质和计算机设备
CN111242171B (zh) * 2019-12-31 2023-10-31 中移（杭州）信息技术有限公司 网络故障的模型训练、诊断预测方法、装置以及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488528A (zh) * 2015-09-01 2017-03-08 上海连尚网络科技有限公司 用于对无线接入点进行画像分析的方法与设备
CN109345117A (zh) * 2018-09-30 2019-02-15 北京工业大学 一种多维数据驱动的交通运输主体综合画像方法

Also Published As

Publication number Publication date
CN112235159A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN112235159B (zh) 网关质量画像生成方法、系统、网络设备和存储介质
CN113853624A (zh) 电力负荷数据的预测方法、装置及存储介质
CN102571966B (zh) 一种大型xml文件的网络传输方法
EP3968243A1 (en) Method and apparatus for realizing model training, and computer storage medium
CN109359149B (zh) 一种模拟测试方法及相关装置
CN111585344B (zh) 一种基于全站ied仿真的变电站智能校核方法及装置
EP2352269A1 (en) Service access method and system
CN103379140A (zh) 一种日志处理规则同步方法及相关设备和系统
CN111556074A (zh) 基于opc ua的通信协议配置方法及装置
CN101673217B (zh) 一种实现远端程序调用的方法和系统
CN114581210A (zh) 一种基于rpa的企业财务的数字化管理方法及系统
CN115567589A (zh) Json数据的压缩传输方法、装置、设备及存储介质
US11838367B2 (en) Information acquiring method, apparatus, and system
CN100452704C (zh) 一种发布博客文章的方法和系统
CN110297948B (zh) 关系网络构建方法以及装置
CN113014434A (zh) 一种基于工业互联网的数据采集方法
CN113806104A (zh) 接口访问请求处理方法、api网关、服务器及系统
CN115604669B (zh) 一种短信发送排队系统
CN108509172B (zh) 同步显示的数据传输方法、装置、系统和计算机存储介质
CN112702303A (zh) 一种列车实时数据解析方法、装置、设备及存储介质
CN117527708B (zh) 基于数据流向的企业级数据链路的优化传输方法及系统
CN114826867B (zh) 处理数据的方法、装置、系统及存储介质
CN115687306A (zh) 分布式数据库的编码方法、装置、电子设备、系统及介质
CN117668114A (zh) 一种数据同步方法、装置、设备及介质
KR101557414B1 (ko) 이종 시스템간의 메시지 통신 중계장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant