CN117041072B - 一种基于人工智能的多模态数据管理系统及方法 - Google Patents

一种基于人工智能的多模态数据管理系统及方法 Download PDF

Info

Publication number
CN117041072B
CN117041072B CN202310747155.0A CN202310747155A CN117041072B CN 117041072 B CN117041072 B CN 117041072B CN 202310747155 A CN202310747155 A CN 202310747155A CN 117041072 B CN117041072 B CN 117041072B
Authority
CN
China
Prior art keywords
server node
fault
server
period
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310747155.0A
Other languages
English (en)
Other versions
CN117041072A (zh
Inventor
张巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xingrong Shanghai Information Technology Co ltd
Original Assignee
Xingrong Shanghai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xingrong Shanghai Information Technology Co ltd filed Critical Xingrong Shanghai Information Technology Co ltd
Priority to CN202310747155.0A priority Critical patent/CN117041072B/zh
Publication of CN117041072A publication Critical patent/CN117041072A/zh
Application granted granted Critical
Publication of CN117041072B publication Critical patent/CN117041072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及数据安全管理技术领域，具体为一种基于人工智能的多模态数据管理系统及方法，包括获取云平台中各个服务器节点的历史故障数据，基于服务器节点有效的网络数据，对当前时段服务器节点的网络数据进行评估，得到当前时段服务器节点对应预测的网络数据；获取服务器节点对应的故障发生阈值，选取预测故障发生值大于故障发生阈值对应的服务器节点；获取云平台中各个历史时段对应的出现故障的服务器节点，并记为故障服务器节点；基于两两服务器节点之间关联程度值，获取当前时段的故障危险服务器节点对应的故障关联服务器节点，并对故障危险服务器节点和故障关联服务器节点采取相应措施。

Description

一种基于人工智能的多模态数据管理系统及方法
技术领域
本发明涉及数据安全管理技术领域，具体为一种基于人工智能的多模态数据管理系统及方法。
背景技术
多模态数据是指来自于不同传感器、不同模式的数据，如图像、音频、文本等，对多模态数据管理的有益效果有以下几点：1.丰富的数据呈现：多模态数据管理可以有效的将不同形式的数据如图像、音频、文本等结合在一起，对数据信息呈现上会有更加立体和丰富的效果，不仅仅可以增强数据传递的效果，而且还可以将数据更加清晰和具体的呈现出来，2.提高模型的准确性，在某些特定任务当中，多模态数据管理可以利用多种数据的不同特性，从而有助于更加全面地描述数据，从而可以提高模型的准确度，3.数据的支持，多模态数据管理可以提供对数据的支持，使得数据更加易于管理，对于某些任务而言，有时需要对不同形式的数据进行整合，这时，多模态数据管理可以直接将不同形式的数据进行整合，提高了数据整合使用的效率，4.应用的灵活性，多模态数据管理不仅仅适用于一种场合，而是对多种场合都适应，对于数据的管理使得可以更加灵活的处理方式去处理大大小小的数据，同时也可以满足各种有效场景需求，有较大的适用性，目前来说，在对服务器的故障进行预测上，主要是对服务器的历史故障数据进行获取，并根据获取的服务器的历史故障数据，找出服务器出现故障的规律，并以此对服务器故障进行预测，但是这种方法较为常规，仅能根据服务器自身情况，对服务器发生故障进行预测，没有考虑到实际上不同服务器之间可能存在着关联性。
发明内容
本发明的目的在于提供一种基于人工智能的多模态数据管理系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于人工智能的多模态数据管理方法，方法包括：
步骤S100：获取云平台中各个服务器节点的历史故障数据，从历史故障数据中提取出各个历史时段中服务器节点对应的网络数据；对服务器节点中各个历史时段对应的网络数据进行筛选，获取有效的网络数据；基于服务器节点有效的网络数据，对当前时段服务器节点的网络数据进行评估，得到当前时段服务器节点对应预测的网络数据；
步骤S200：基于当前时段服务器节点对应预测的网络数据，计算当前时段各个服务器节点对应的预测故障发生值；获取服务器节点对应的故障发生阈值，选取预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点；
步骤S300：获取云平台中各个历史时段对应的出现故障的服务器节点，并记为故障服务器节点；基于历史时段中各个服务器节点对应的故障危险服务器节点，对故障服务器节点进行划分，并对任意两两服务器节点之间的关联程度进行评估，得到两两服务器节点之间关联程度值；
步骤S400：基于两两服务器节点之间关联程度值，获取当前时段的故障危险服务器节点对应的故障关联服务器节点，并对故障危险服务器节点和故障关联服务器节点采取相应措施。
进一步的，步骤S100包括：
步骤S101：对各个历史时段中服务器节点对应的网络数据进行记录汇集；网络数据包括峰值流量、网络丢包率；得到各个历史时段中服务器节点对应的网络数据集合X＝{(C1,F1),(C2,F2),...,(Cr,Fr)}；其中，C1、C2、...、Cr分别为第1、2、...、r个历史时段中服务器节点对应的峰值流量；F1、F2、...、Fr分别为第1、2、...、r个历史时段中服务器节点对应的网络丢包率；
步骤S102：获取网络数据集合中各个网络数据对应的历史时段与当前时段之间距离的时长；获取网络数据集合X中与当前时段距离时间最近的历史时段中服务器节点对应的网络丢包率记为标准网络丢包率Fa；计算服务器节点中各个历史时段的网络丢包率与标准网络丢包率之间的传输单元差异值ε＝|F-Fa|，其中，F为服务器节点对应的网络丢包率；获取传输单元差异值阈值；获取传输单元差异值大于传输差异值阈值对应的网络丢包率，并记为疑似有效网络丢包率，获取疑似有效网络丢包率对应的历史时段与当前时段之间距离的时长Te；当时长Te大于距离时长阈值Tet，对疑似有效网络丢包率进行去除，将服务器节点的网络数据集合X中保留的网络丢包率，记为有效网络丢包率；获取各个有效最大传输节点对应的历史时段与当前时段之间距离的时长；获取服务器节点各个有效最大传输节点对应的历史时段与当前时段之间距离最短的时长Ta；计算有效最大传输节点的历史时段对应的时间影响因数其中，T为有效网络丢包率对应的历史时段与当前时段之间距离的时长；
步骤S103：计算当前时段中服务器节点对应的预测网络丢包率Fo：
其中，Fi为第i个有效网络丢包率；Txi为第i个有效网络丢包率对应的历史时段对应的时间影响因数；j为服务器节点的网络数据集合X中有效网络丢包率的总个数。
进一步的，步骤S200包括：
步骤S201：计算网络数据集合X中两两相邻时段之间服务器节点的峰值流量变化比例其中，vw为第w个时段服务器节点对应的峰值流量变化比例；Cw+1为网络数据集合X中服务器节点的第w+1个历史时段对应峰值流量；Cw为网络数据集合X中服务器节点的第w个历史时段对应峰值流量；对服务器节点各个历史时段对应的峰值流量进行记录汇集，得到服务器节点对应的峰值流量变化比例集合Y＝{v1、v2、...、vm}；其中，m＝r-1；v1、v2、...、vm分别为第1、2、...、m个历史时段服务器节点对应的峰值流量变化比例；
步骤S202：获取服务器节点对应的峰值流量变化比例阈值范围；对各个峰值流量变化比例阈值范围内的峰值流量变化比例的个数进行汇集；获取峰值变化比例阈值范围对应的个数阈值；将峰值流量变化比例个数大于个数阈值的峰值流量变化比例阈值范围进行保留，并将保留的各个峰值流量变化比例阈值范围下的峰值流量变化比例进行汇集，得到有效峰值流量变化比例集合D＝{v1、v2、...、ve}；其中，v1、v2、...、ve分别为服务器节点对应的第1、2、...、e个有效峰值流量变化比例；获取与当前时段距离时间最短的历史时段中服务器节点对应的峰值流量Ce；计算当前时段服务器节点对应的预测峰值流量Co：
其中，CG为有效峰值流量变化比例集合D中第G个有效峰值流量变化比例；e为有效峰值流量变化比例集合D中有效峰值流量总个数；
步骤S203：计算当前时段各个服务器节点对应的预测故障发生值P:
选取预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点；
上述步骤通过计算网络数据集合中两两相邻时段之间服务器节点的峰值流量变化比例是因为对于服务器节点的峰值流量变化而言，服务器的峰值流量变化会偶尔性出现突变，这些偶然性出现突变的服务器节点对应的峰值流量变化，对于当前时段的服务器节点的峰值流量预测而言，是需要将这些偶尔性变化进行剔除的，获取服务器节点对应的峰值流量变化比例阈值范围，将峰值流量变化比例个数大于个数阈值的峰值流量变化比例阈值范围进行保留，将不同峰值流量变化比例阈值范围内的服务器峰值流量变化比例个数作为考虑指标，当某个范围出现的峰值流量变化比例数据量出现越多，那么就越能表示对应范围的数据量越多，那么该数据对于当前数据的影响就越大，反之当某个范围出现的峰值流量变化比例数据量出现越少，那么就越能表示对应范围的数据量越少，那么该数据对于当前数据的影响就越小。
进一步的，步骤S300包括：
步骤S301：对云平台中各个历史时段对应出现故障的服务器节点进行获取，并记为故障服务器节点，提取故障服务器节点各个历史时段对应历史故障数据，从历史故障数据中提取出各个历史时段云平台各个服务器节点对应的故障数据；基于各个历史时段服务器节点对应的故障数据，获取服务器节点对应的预测故障发生值；
步骤S302：基于各个故障服务器节点对应的预测故障发生值与故障发生阈值大小关系，将预测故障发生值大于故障发生阈值的故障服务器节点记为预测故障服务器节点；将预测故障发生值小于等于故障发生阈值的故障服务器节点记为预测失误故障服务器节点；从云平台中各个服务器节点中选取任意服务器节点A和任意服务器节点B,获取任意服务器节点A在各个历史时段中预测故障服务器节点的个数占比γA；获取任意服务器节点B在各个历史时段中预测失误故障服务器节点的个数占比δB；
步骤S303：计算任意服务器节点A与任意服务器节点B之间的关联程度值UAB：
其中，γAh为任意服务器节点A在第h个历史时段中预测故障服务器节点的个数占比；δBh为任意服务器节点B在第h个历史时段中预测失误故障服务器节点的个数占比；r为历史时段总时段个数。
进一步的，步骤S400包括：
步骤S401：当任意服务器节点A与任意服务器节点B之间的关联程度值UAB，大于关联程度阈值，将任意服务器节点B记为任意服务器节点A的故障关联服务器节点；当任意服务器节点A与任意服务器节点B之间的关联程度值UAB，小于等于关联程度阈值，将任意服务器节点B记为任意服务器节点A的无关服务器节点；
步骤S402：当当前时段中任意服务器节点A为故障危险服务器节点，并且任意服务器节点A的故障关联服务器节点为任意服务器节点B；获取故障危险服务器节点和对应的故障关联服务器节点中重要数据；将故障危险服务器节点和对应的故障关联服务器节点中的重要数据迁移到云平台服务器中剩余服务器中。
为了更好实现上述方法还提出了多模态数据管理系统，管理系统包括网络丢包率模块、故障危险服务器模块、关联程度值模块、服务器节点处理模块；
网络丢包率模块，用于对将云平台中各个服务器节点对应的历史故障数据进行获取；从各个服务器节点对应的历史故障数据中提取出各个历史时段服务器节点对应的峰值流量、网络丢包率；基于服务器节点对应的有效网络丢包率，计算出当前时段服务器节点对应的预测网络丢包率；
故障危险服务器模块，用于对当前时段的服务器节点对应的预测峰值流量进行计算，基于当前时段服务器节点对应的预测网络丢包率和预测峰值流量，计算当前时段各个服务器节点对应的预测故障发生值；将预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点；
关联程度值模块，用于对将云平台中各个历史时段对应的故障服务器节点进行获取，选取预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点；
服务器节点处理模块，用于获取当前时段的故障危险服务器节点对应的故障关联服务器节点，并对故障危险服务器节点和故障关联服务器节点采取相应措施。
进一步的，网络丢包率模块包括时间影响因数单元、网络丢包率单元；
时间影响因数单元，用于对将各个有效最大传输节点对应的历史时段与当前时段之间距离的时长；获取服务器节点各个有效最大传输节点对应的历史时段与当前时段之间距离最短的时长；对有效最大传输节点的历史时段对应的时间影响因数进行计算；
网络丢包率单元，用于对当前时段的云平台中各个服务器节点对应的预测网络丢包率进行计算。
进一步的，故障危险服务器模块包括预测峰值流量单元、故障分析服务器单元；
预测峰值流量单元，用于对网络数据集合X中两两相邻时段之间服务器节点的峰值流量变化比例进行计算，获取与当前时段距离时间最短的历史时段中服务器节点对应的峰值流量Ce；计算当前时段服务器节点对应的预测峰值流量；
故障分析服务器单元，用于对根据当前时段服务器节点对应的预测网络丢包率和预测峰值流量，计算当前时段各个服务器节点对应的预测故障发生值；获取服务器节点对应的故障发生阈值，选取预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点。
进一步的，关联程度值模块包括故障服务器节点划分单元、关联程度值单元；
故障服务器节点划分单元，用于根据各个故障服务器节点对应的预测故障发生值与故障发生阈值大小关系，将故障服务器节点划分为预测故障服务器节点和预测失误故障服务器节点；
关联程度值单元，用于分别获取任意两两服务器节点在各个历史时段中预测故障服务器节点的个数占比和预测失误故障服务器节点的个数占比；对任意两两服务器节点之间关联程度值进行计算。
进一步的，服务器节点处理模块包括服务器节点处理单元；
服务器节点处理单元，用于基于任意两两服务器节点之间关联程度值，对当前时段被判定为故障危险服务器节点对应的故障关联服务器节点进行获取，并获取故障危险服务器节点和对应的故障关联服务器节点中重要数据；将故障危险服务器节点和对应的故障关联服务器节点中的重要数据迁移到云平台服务器中剩余服务器中。
与现有技术相比，本发明所达到的有益效果是：本发明实现的对于服务器节点的网络故障的预测，同时考虑到云平台不同服务器节点之间存在的关联性，避免了只对单个服务器节点的故障性进行考虑，从而忽略因为一个服务器节点出现故障对于另外一个服务器节点的影响因素，这使得在对于云计算中服务器节点计算过程中能够准确的预测服务器节点发生故障的概率，大大提高了预测的准确度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于人工智能的多模态数据管理系统及方法的方法流程图；
图2是本发明一种基于人工智能的多模态数据管理系统及方法的模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图2，本发明提供技术方案：一种基于人工智能的多模态数据管理方法，方法包括：
步骤S100：获取云平台中各个服务器节点的历史故障数据，从历史故障数据中提取出各个历史时段中服务器节点对应的网络数据；对服务器节点中各个历史时段对应的网络数据进行筛选，获取有效的网络数据；基于服务器节点有效的网络数据，对当前时段服务器节点的网络数据进行评估，得到当前时段服务器节点对应预测的网络数据；
其中，步骤S100包括：
步骤S101：对各个历史时段中服务器节点对应的网络数据进行记录汇集；网络数据包括峰值流量、网络丢包率；得到各个历史时段中服务器节点对应的网络数据集合X＝{(C1,F1),(C2,F2),...,(Cr,Fr)}；其中，C1、C2、...、Cr分别为第1、2、...、r个历史时段中服务器节点对应的峰值流量；F1、F2、...、Fr分别为第1、2、...、r个历史时段中服务器节点对应的网络丢包率；
步骤S102：获取网络数据集合中各个网络数据对应的历史时段与当前时段之间距离的时长；获取网络数据集合X中与当前时段距离时间最近的历史时段中服务器节点对应的网络丢包率记为标准网络丢包率Fa；计算服务器节点中各个历史时段的网络丢包率与标准网络丢包率之间的传输单元差异值ε＝|F-Fa|，其中，F为服务器节点对应的网络丢包率；获取传输单元差异值阈值；获取传输单元差异值大于传输差异值阈值对应的网络丢包率，并记为疑似有效网络丢包率，获取疑似有效网络丢包率对应的历史时段与当前时段之间距离的时长Te；当时长Te大于距离时长阈值Tet，对疑似有效网络丢包率进行去除，将服务器节点的网络数据集合X中保留的网络丢包率，记为有效网络丢包率；获取各个有效最大传输节点对应的历史时段与当前时段之间距离的时长；获取服务器节点各个有效最大传输节点对应的历史时段与当前时段之间距离最短的时长Ta；计算有效最大传输节点的历史时段对应的时间影响因数其中，T为有效网络丢包率对应的历史时段与当前时段之间距离的时长；
步骤S103：计算当前时段中服务器节点对应的预测网络丢包率Fo：
其中，Fi为第i个有效网络丢包率；Txi为第i个有效网络丢包率对应的历史时段对应的时间影响因数；j为服务器节点的网络数据集合X中有效网络丢包率的总个数；
步骤S200：基于当前时段服务器节点对应预测的网络数据，计算当前时段各个服务器节点对应的预测故障发生值；获取服务器节点对应的故障发生阈值，选取预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点；
其中，步骤S200包括：
步骤S201：计算网络数据集合X中两两相邻时段之间服务器节点的峰值流量变化比例其中，vw为第w个时段服务器节点对应的峰值流量变化比例；Cw+1为网络数据集合X中服务器节点的第w+1个历史时段对应峰值流量；Cw为网络数据集合X中服务器节点的第w个历史时段对应峰值流量；对服务器节点各个历史时段对应的峰值流量进行记录汇集，得到服务器节点对应的峰值流量变化比例集合Y＝{v1、v2、...、vm}；其中，m＝r-1；v1、v2、...、vm分别为第1、2、...、m个历史时段服务器节点对应的峰值流量变化比例；
步骤S202：获取服务器节点对应的峰值流量变化比例阈值范围；对各个峰值流量变化比例阈值范围内的峰值流量变化比例的个数进行汇集；获取峰值变化比例阈值范围对应的个数阈值；将峰值流量变化比例个数大于个数阈值的峰值流量变化比例阈值范围进行保留，并将保留的各个峰值流量变化比例阈值范围下的峰值流量变化比例进行汇集，得到有效峰值流量变化比例集合D＝{v1、v2、...、ve}；其中，v1、v2、...、ve分别为服务器节点对应的第1、2、...、e个有效峰值流量变化比例；获取与当前时段距离时间最短的历史时段中服务器节点对应的峰值流量Ce；计算当前时段服务器节点对应的预测峰值流量Co：
其中，CG为有效峰值流量变化比例集合D中第G个有效峰值流量变化比例；e为有效峰值流量变化比例集合D中有效峰值流量总个数；
例如，在有效峰值流量变化比例集合D＝{10％、-5％、15％、5％}，Ce为780Mbps/s；当前时段服务器节点对应的预测峰值流量
步骤S203：计算当前时段各个服务器节点对应的预测故障发生值P:
选取预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点；
步骤S300：获取云平台中各个历史时段对应的出现故障的服务器节点，并记为故障服务器节点；基于历史时段中各个服务器节点对应的故障危险服务器节点，对故障服务器节点进行划分，并对任意两两服务器节点之间的关联程度进行评估，得到两两服务器节点之间关联程度值；
其中，步骤S300包括：
步骤S301：对云平台中各个历史时段对应出现故障的服务器节点进行获取，并记为故障服务器节点，提取故障服务器节点各个历史时段对应历史故障数据，从历史故障数据中提取出各个历史时段云平台各个服务器节点对应的故障数据；基于各个历史时段服务器节点对应的故障数据，获取服务器节点对应的预测故障发生值；
步骤S302：基于各个故障服务器节点对应的预测故障发生值与故障发生阈值大小关系，将预测故障发生值大于故障发生阈值的故障服务器节点记为预测故障服务器节点；将预测故障发生值小于等于故障发生阈值的故障服务器节点记为预测失误故障服务器节点；从云平台中各个服务器节点中选取任意服务器节点A和任意服务器节点B,获取任意服务器节点A在各个历史时段中预测故障服务器节点的个数占比γA；获取任意服务器节点B在各个历史时段中预测失误故障服务器节点的个数占比δB；
步骤S303：计算任意服务器节点A与任意服务器节点B之间的关联程度值UAB：
其中，γAh为任意服务器节点A在第h个历史时段中预测故障服务器节点的个数占比；δBh为任意服务器节点B在第h个历史时段中预测失误故障服务器节点的个数占比；r为历史时段总时段个数；
步骤S400：获取关联程度阈值；基于两两服务器节点之间关联程度值，获取当前时段的故障危险服务器节点对应的故障关联服务器节点，并对故障危险服务器节点和故障关联服务器节点采取相应措施；
步骤S400：基于两两服务器节点之间关联程度值，获取当前时段的故障危险服务器节点对应的故障关联服务器节点，并对故障危险服务器节点和故障关联服务器节点采取相应措施；
其中，步骤S400包括：
步骤S401：当任意服务器节点A与任意服务器节点B之间的关联程度值UAB，大于关联程度阈值，将任意服务器节点B记为任意服务器节点A的故障关联服务器节点；当任意服务器节点A与任意服务器节点B之间的关联程度值UAB，小于等于关联程度阈值，将任意服务器节点B记为任意服务器节点A的无关服务器节点；
步骤S402：当当前时段中任意服务器节点A为故障危险服务器节点，并且任意服务器节点A的故障关联服务器节点为任意服务器节点B；获取故障危险服务器节点和对应的故障关联服务器节点中重要数据；将故障危险服务器节点和对应的故障关联服务器节点中的重要数据迁移到云平台服务器中剩余服务器中。
为了更好实现上述方法还提出了多模态数据管理系统，管理系统包括网络丢包率模块、故障危险服务器模块、关联程度值模块、服务器节点处理模块；
网络丢包率模块，用于对将云平台中各个服务器节点对应的历史故障数据进行获取；从各个服务器节点对应的历史故障数据中提取出各个历史时段服务器节点对应的峰值流量、网络丢包率；基于服务器节点对应的有效网络丢包率，计算出当前时段服务器节点对应的预测网络丢包率；
故障危险服务器模块，用于对当前时段的服务器节点对应的预测峰值流量进行计算，基于当前时段服务器节点对应的预测网络丢包率和预测峰值流量，计算当前时段各个服务器节点对应的预测故障发生值；将预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点；
关联程度值模块，用于对将云平台中各个历史时段对应的故障服务器节点进行获取，选取预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点；
服务器节点处理模块，用于获取当前时段的故障危险服务器节点对应的故障关联服务器节点，并对故障危险服务器节点和故障关联服务器节点采取相应措施；
其中，网络丢包率模块包括时间影响因数单元、网络丢包率单元；
时间影响因数单元，用于对将各个有效最大传输节点对应的历史时段与当前时段之间距离的时长；获取服务器节点各个有效最大传输节点对应的历史时段与当前时段之间距离最短的时长；对有效最大传输节点的历史时段对应的时间影响因数进行计算；
网络丢包率单元，用于对当前时段的云平台中各个服务器节点对应的预测网络丢包率进行计算；
其中，故障危险服务器模块包括预测峰值流量单元、故障分析服务器单元；
预测峰值流量单元，用于对网络数据集合X中两两相邻时段之间服务器节点的峰值流量变化比例进行计算，获取与当前时段距离时间最短的历史时段中服务器节点对应的峰值流量Ce；计算当前时段服务器节点对应的预测峰值流量；
故障分析服务器单元，用于对根据当前时段服务器节点对应的预测网络丢包率和预测峰值流量，计算当前时段各个服务器节点对应的预测故障发生值；获取服务器节点对应的故障发生阈值，选取预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点；
其中，关联程度值模块包括故障服务器节点划分单元、关联程度值单元；
故障服务器节点划分单元，用于根据各个故障服务器节点对应的预测故障发生值与故障发生阈值大小关系，将故障服务器节点划分为预测故障服务器节点和预测失误故障服务器节点；
关联程度值单元，用于分别获取任意两两服务器节点在各个历史时段中预测故障服务器节点的个数占比和预测失误故障服务器节点的个数占比；对任意两两服务器节点之间关联程度值进行计算；
其中，服务器节点处理模块包括服务器节点处理单元；
服务器节点处理单元，用于基于任意两两服务器节点之间关联程度值，对当前时段被判定为故障危险服务器节点对应的故障关联服务器节点进行获取，并获取故障危险服务器节点和对应的故障关联服务器节点中重要数据；将故障危险服务器节点和对应的故障关联服务器节点中的重要数据迁移到云平台服务器中剩余服务器中。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于人工智能的多模态数据管理方法，其特征在于，所述方法包括：
步骤S100：获取云平台中各个服务器节点的历史故障数据，从所述历史故障数据中提取出各个历史时段中服务器节点对应的网络数据；对服务器节点中各个历史时段对应的网络数据进行筛选，获取有效的网络数据；基于服务器节点有效的网络数据，对当前时段服务器节点的网络数据进行评估，得到当前时段服务器节点对应预测的网络数据；
所述步骤S100包括：
步骤S101：对各个历史时段中服务器节点对应的网络数据进行记录汇集；所述网络数据包括峰值流量、网络丢包率；得到各个历史时段中服务器节点对应的网络数据集合X＝{(C1,F1),(C2,F2),...,(Cr,Fr)}；其中，C1、C2、...、Cr分别为第1、2、...、r个历史时段中服务器节点对应的峰值流量；F1、F2、...、Fr分别为第1、2、...、r个历史时段中服务器节点对应的网络丢包率；
步骤S102：获取网络数据集合中各个网络数据对应的历史时段与当前时段之间距离的时长；获取网络数据集合X中与当前时段距离时间最近的历史时段中服务器节点对应的网络丢包率记为标准网络丢包率Fa；计算服务器节点中各个历史时段的网络丢包率与标准网络丢包率之间的传输单元差异值ε＝|F-Fa|，其中，F为服务器节点对应的网络丢包率；获取传输单元差异值阈值；获取传输单元差异值大于传输差异值阈值对应的网络丢包率，并记为疑似有效网络丢包率，获取疑似有效网络丢包率对应的历史时段与当前时段之间距离的时长Te；当时长Te大于距离时长阈值Tet，对疑似有效网络丢包率进行去除，将服务器节点的网络数据集合X中保留的网络丢包率，记为有效网络丢包率；获取各个有效最大传输节点对应的历史时段与当前时段之间距离的时长；获取服务器节点各个有效最大传输节点对应的历史时段与当前时段之间距离最短的时长Ta；计算有效最大传输节点的历史时段对应的时间影响因数其中，T为有效网络丢包率对应的历史时段与当前时段之间距离的时长；
步骤S103：计算当前时段中服务器节点对应的预测网络丢包率Fo：
其中，Fi为第i个有效网络丢包率；Txi为第i个有效网络丢包率对应的历史时段对应的时间影响因数；j为服务器节点的网络数据集合X中有效网络丢包率的总个数；
步骤S200：基于当前时段服务器节点对应预测的网络数据，计算当前时段各个服务器节点对应的预测故障发生值；获取服务器节点对应的故障发生阈值，选取预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点；
所述步骤S200包括：
步骤S201：计算网络数据集合X中两两相邻时段之间服务器节点的峰值流量变化比例其中，vw为第w个时段服务器节点对应的峰值流量变化比例；Cw+1为网络数据集合X中服务器节点的第w+1个历史时段对应峰值流量；Cw为网络数据集合X中服务器节点的第w个历史时段对应峰值流量；对服务器节点各个历史时段对应的峰值流量进行记录汇集，得到服务器节点对应的峰值流量变化比例集合Y＝{v1、v2、...、vm}；其中，m＝r-1；v1、v2、...、vm分别为第1、2、...、m个历史时段服务器节点对应的峰值流量变化比例；
步骤S202：获取服务器节点对应的峰值流量变化比例阈值范围；对各个峰值流量变化比例阈值范围内的峰值流量变化比例的个数进行汇集；获取峰值变化比例阈值范围对应的个数阈值；将峰值流量变化比例个数大于个数阈值的峰值流量变化比例阈值范围进行保留，并将保留的各个峰值流量变化比例阈值范围下的峰值流量变化比例进行汇集，得到有效峰值流量变化比例集合D＝{v1、v2、...、ve}；其中，v1、v2、...、ve分别为服务器节点对应的第1、2、...、e个有效峰值流量变化比例；获取与当前时段距离时间最短的历史时段中服务器节点对应的峰值流量Ce；计算当前时段服务器节点对应的预测峰值流量Co：
其中，CG为有效峰值流量变化比例集合D中第G个有效峰值流量变化比例；e为有效峰值流量变化比例集合D中有效峰值流量总个数；
步骤S203：计算当前时段各个服务器节点对应的预测故障发生值P:
选取预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点；
步骤S300：获取云平台中各个历史时段对应的出现故障的服务器节点，并记为故障服务器节点；基于历史时段中各个服务器节点对应的故障危险服务器节点，对故障服务器节点进行划分，并对任意两两服务器节点之间的关联程度进行评估，得到两两服务器节点之间关联程度值；
所述步骤S300包括：
步骤S301：对云平台中各个历史时段对应出现故障的服务器节点进行获取，并记为故障服务器节点，提取所述故障服务器节点各个历史时段对应历史故障数据，从所述历史故障数据中提取出各个历史时段云平台各个服务器节点对应的故障数据；基于各个历史时段服务器节点对应的故障数据，获取服务器节点对应的预测故障发生值；
步骤S302：基于各个故障服务器节点对应的预测故障发生值与故障发生阈值大小关系，将预测故障发生值大于故障发生阈值的故障服务器节点记为预测故障服务器节点；将预测故障发生值小于等于故障发生阈值的故障服务器节点记为预测失误故障服务器节点；从云平台中各个服务器节点中选取任意服务器节点A和任意服务器节点B,获取任意服务器节点A在各个历史时段中预测故障服务器节点的个数占比γA；获取任意服务器节点B在各个历史时段中预测失误故障服务器节点的个数占比δB；
步骤S303：计算任意服务器节点A与任意服务器节点B之间的关联程度值UAB：
其中，γAh为任意服务器节点A在第h个历史时段中预测故障服务器节点的个数占比；δBh为任意服务器节点B在第h个历史时段中预测失误故障服务器节点的个数占比；r为历史时段总时段个数；
步骤S400：基于两两服务器节点之间关联程度值，获取当前时段的故障危险服务器节点对应的故障关联服务器节点，并对故障危险服务器节点和故障关联服务器节点采取相应措施；
所述步骤S400包括：
步骤S401：获取关联程度阈值；当任意服务器节点A与任意服务器节点B之间的关联程度值UAB，大于关联程度阈值，将任意服务器节点B记为任意服务器节点A的故障关联服务器节点；当任意服务器节点A与任意服务器节点B之间的关联程度值UAB，小于等于关联程度阈值，将任意服务器节点B记为任意服务器节点A的无关服务器节点；
步骤S402：当当前时段中任意服务器节点A为故障危险服务器节点，并且任意服务器节点A的故障关联服务器节点为任意服务器节点B；获取故障危险服务器节点和对应的故障关联服务器节点中重要数据；将故障危险服务器节点和对应的故障关联服务器节点中的重要数据迁移到云平台服务器中剩余服务器中。
2.应用于权利要求1中任意一项所述的一种基于人工智能的多模态数据管理方法的多模态数据管理系统，其特征在于，所述管理系统包括网络丢包率模块、故障危险服务器模块、关联程度值模块、服务器节点处理模块；
所述网络丢包率模块，用于对将云平台中各个服务器节点对应的历史故障数据进行获取；从各个服务器节点对应的历史故障数据中提取出各个历史时段服务器节点对应的峰值流量、网络丢包率；基于服务器节点对应的有效网络丢包率，计算出当前时段服务器节点对应的预测网络丢包率；
所述故障危险服务器模块，用于对当前时段的服务器节点对应的预测峰值流量进行计算，基于当前时段服务器节点对应的预测网络丢包率和预测峰值流量，计算当前时段各个服务器节点对应的预测故障发生值；将预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点；
所述关联程度值模块，用于对将云平台中各个历史时段对应的故障服务器节点进行获取，选取预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点；
所述服务器节点处理模块，用于获取当前时段的故障危险服务器节点对应的故障关联服务器节点，并对故障危险服务器节点和故障关联服务器节点采取相应措施。
3.根据权利要求2多模态数据管理系统，其特征在于，所述网络丢包率模块包括时间影响因数单元、网络丢包率单元；
所述时间影响因数单元，用于对将各个有效最大传输节点对应的历史时段与当前时段之间距离的时长；获取服务器节点各个有效最大传输节点对应的历史时段与当前时段之间距离最短的时长；对有效最大传输节点的历史时段对应的时间影响因数进行计算；
所述网络丢包率单元，用于对当前时段的云平台中各个服务器节点对应的预测网络丢包率进行计算。
4.根据权利要求2多模态数据管理系统，其特征在于，所述故障危险服务器模块包括预测峰值流量单元、故障分析服务器单元；
所述预测峰值流量单元，用于对网络数据集合X中两两相邻时段之间服务器节点的峰值流量变化比例进行计算，获取与当前时段距离时间最短的历史时段中服务器节点对应的峰值流量Ce；计算当前时段服务器节点对应的预测峰值流量；
所述故障分析服务器单元，用于对根据当前时段服务器节点对应的预测网络丢包率和预测峰值流量，计算当前时段各个服务器节点对应的预测故障发生值；获取服务器节点对应的故障发生阈值，选取预测故障发生值大于故障发生阈值对应的服务器节点，记为故障危险服务器节点。
5.根据权利要求2多模态数据管理系统，其特征在于，所述关联程度值模块包括故障服务器节点划分单元、关联程度值单元；
所述故障服务器节点划分单元，用于根据各个故障服务器节点对应的预测故障发生值与故障发生阈值大小关系，将故障服务器节点划分为预测故障服务器节点和预测失误故障服务器节点；
所述关联程度值单元，用于分别获取任意两两服务器节点在各个历史时段中预测故障服务器节点的个数占比和预测失误故障服务器节点的个数占比；对任意两两服务器节点之间关联程度值进行计算。
6.根据权利要求2所述的多模态数据管理系统，其特征在于，服务器节点处理模块包括服务器节点处理单元；
所述服务器节点处理单元，用于基于任意两两服务器节点之间关联程度值，对当前时段被判定为故障危险服务器节点对应的故障关联服务器节点进行获取，并获取故障危险服务器节点和对应的故障关联服务器节点中重要数据；将故障危险服务器节点和对应的故障关联服务器节点中的重要数据迁移到云平台服务器中剩余服务器中。
CN202310747155.0A 2023-06-25 2023-06-25 一种基于人工智能的多模态数据管理系统及方法 Active CN117041072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310747155.0A CN117041072B (zh) 2023-06-25 2023-06-25 一种基于人工智能的多模态数据管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310747155.0A CN117041072B (zh) 2023-06-25 2023-06-25 一种基于人工智能的多模态数据管理系统及方法

Publications (2)

Publication Number Publication Date
CN117041072A CN117041072A (zh) 2023-11-10
CN117041072B true CN117041072B (zh) 2024-02-13

Family

ID=88621488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310747155.0A Active CN117041072B (zh) 2023-06-25 2023-06-25 一种基于人工智能的多模态数据管理系统及方法

Country Status (1)

Country Link
CN (1) CN117041072B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108877948A (zh) * 2018-06-05 2018-11-23 深圳先进技术研究院 多模态数据处理方法及系统
KR20190096706A (ko) * 2018-02-09 2019-08-20 주식회사 케이티 서비스 연관성 추적을 통한 시스템 이상 징후 모니터링 방법 및 시스템
CN113986564A (zh) * 2021-09-22 2022-01-28 鸬鹚科技(深圳)有限公司 应用数据的流量监控方法、装置、计算机设备及介质
CN114116390A (zh) * 2021-11-24 2022-03-01 天翼数字生活科技有限公司 一种故障预测方法、装置、设备及可读存储介质
CN114285782A (zh) * 2021-12-22 2022-04-05 深圳电器公司 数据处理方法及相关装置
CN115278741A (zh) * 2022-06-15 2022-11-01 清华大学 一种基于多模态数据依赖关系的故障诊断方法和装置
WO2022237568A1 (zh) * 2021-05-10 2022-11-17 中兴通讯股份有限公司 基站性能优化方法、装置、基站及存储介质
KR20230020052A (ko) * 2021-08-02 2023-02-10 주식회사 이노그리드 인공지능과 빅데이터 플랫폼에 의한 장애 예측을 이용한 멀티클라우드 서비스 방법 및 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10084645B2 (en) * 2015-11-30 2018-09-25 International Business Machines Corporation Estimating server-change risk by corroborating historic failure rates, predictive analytics, and user projections
US10511446B2 (en) * 2017-09-22 2019-12-17 Cisco Technology, Inc. Methods and apparatus for secure device pairing for secure network communication including cybersecurity

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190096706A (ko) * 2018-02-09 2019-08-20 주식회사 케이티 서비스 연관성 추적을 통한 시스템 이상 징후 모니터링 방법 및 시스템
CN108877948A (zh) * 2018-06-05 2018-11-23 深圳先进技术研究院 多模态数据处理方法及系统
WO2022237568A1 (zh) * 2021-05-10 2022-11-17 中兴通讯股份有限公司 基站性能优化方法、装置、基站及存储介质
KR20230020052A (ko) * 2021-08-02 2023-02-10 주식회사 이노그리드 인공지능과 빅데이터 플랫폼에 의한 장애 예측을 이용한 멀티클라우드 서비스 방법 및 시스템
CN113986564A (zh) * 2021-09-22 2022-01-28 鸬鹚科技(深圳)有限公司 应用数据的流量监控方法、装置、计算机设备及介质
CN114116390A (zh) * 2021-11-24 2022-03-01 天翼数字生活科技有限公司 一种故障预测方法、装置、设备及可读存储介质
CN114285782A (zh) * 2021-12-22 2022-04-05 深圳电器公司 数据处理方法及相关装置
CN115278741A (zh) * 2022-06-15 2022-11-01 清华大学 一种基于多模态数据依赖关系的故障诊断方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于云技术的网络节点关联性风险评估仿真;岳少博;王清河;王晓春;谢利德;;计算机仿真(第08期);全文 *

Also Published As

Publication number Publication date
CN117041072A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN109872535B (zh) 一种智慧交通通行预测方法、装置及服务器
US11694094B2 (en) Inferring digital twins from captured data
CN105897616B (zh) 一种资源分配的方法及服务器
US20100318418A1 (en) Advertising inventory prediction for frequency-capped lines
CN103647800A (zh) 推荐应用资源的方法及系统
CN111459783A (zh) 应用程序优化方法、装置、电子设备及存储介质
CN114692927A (zh) 换电站推荐方法、系统、电子设备和存储介质
CN111159241B (zh) 一种点击转化预估方法及装置
Rafsanjani et al. QARIMA: A new approach to prediction in queue theory
CN117041072B (zh) 一种基于人工智能的多模态数据管理系统及方法
US20150324871A1 (en) Contextualized fair ranking of citizen sensor reports
CN116566696B (zh) 一种基于云计算的安全性评估系统及方法
US10796036B2 (en) Prediction of inhalable particles concentration
CN110795035B (zh) 一种迁移时间确定方法、装置、设备及可读存储介质
CN111078588B (zh) 垃圾回收方法、装置、设备及存储介质
US20060136293A1 (en) System and method for predictive product requirements analysis
CN108521435B (zh) 一种用户网络行为画像的方法及系统
KR101928822B1 (ko) 사물 인터넷 환경에서 낯선 기기에 대한 사용자 신뢰도 계산 시스템 및 방법
JP2005191688A (ja) 通信帯域貸借システム
CN113098719B (zh) 一种业务需求与网络能力的映射方法及装置
KR102156587B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업자 및 검수자의 증감 운영 방법
CN110602569A (zh) 一种基于带宽趋势的带宽复用方法和系统
CN110569475A (zh) 一种网民影响力的评估方法、装置、设备和存储介质
CN116108291B (zh) 一种移动互联网流量服务推荐方法及系统
KR102195958B1 (ko) 인공지능 학습데이터 생성을 위한 다중할당 방식의 크라우드소싱 기반 프로젝트에서의 신뢰도에 기초한 작업자별 최대 작업 제한 건수 적용 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant