CN113536081A - 基于人工智能的数据中心数据管理方法及系统 - Google Patents

基于人工智能的数据中心数据管理方法及系统 Download PDF

Info

Publication number
CN113536081A
CN113536081A CN202110708644.6A CN202110708644A CN113536081A CN 113536081 A CN113536081 A CN 113536081A CN 202110708644 A CN202110708644 A CN 202110708644A CN 113536081 A CN113536081 A CN 113536081A
Authority
CN
China
Prior art keywords
data
weight
historical
scheduling
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110708644.6A
Other languages
English (en)
Other versions
CN113536081B (zh
Inventor
徐一忠
陈晗
何水芳
徐政宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Hairui Network Technology Co ltd
Original Assignee
Zhejiang Hairui Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Hairui Network Technology Co ltd filed Critical Zhejiang Hairui Network Technology Co ltd
Priority to CN202110708644.6A priority Critical patent/CN113536081B/zh
Priority to PCT/CN2021/103347 priority patent/WO2022267085A1/zh
Publication of CN113536081A publication Critical patent/CN113536081A/zh
Application granted granted Critical
Publication of CN113536081B publication Critical patent/CN113536081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种基于人工智能的数据中心数据管理方法及装置，所述方法包括：获取历史记录中的历史调度数据，并根据历史调度数据获取对应的历史数据的数据属性和调度记录；排除历史数据中包含数据目的标签的数据，根据剩余历史数据的数据来源、数据类型、数据大小构建对应的数据属性权重模型；将数据属性权重模型与对应的调度记录作为训练样本输入到卷积神经网络模型中训练；获取目标数据的数据属性，并将目标数据的数据属性输入至训练后的卷积神经网络模型，输出目标数据对应的调度记录，根据目标数据的调度记录对目标数据进行数据管理。这样能够根据人工智能的深度学习完成对目标数据的数据管理，节省管理资源的同时，也提高了管理效率。

Description

基于人工智能的数据中心数据管理方法及系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于人工智能的数据中心数据管理方法及系统。
背景技术
目前，随着我国互联网技术的快速发展，数据网络平台的数据交互越来越多，进而导致处理数据的数据中心需要处理的数据量也越来越大，对数据中心的工作人员，以及数据中心的数据处理装置要求也越来越高。
现有技术中，因为数据中心的数据管理越来越复杂，数据量越来越多，而需要对每个数据进行依次处理，数据中心要么通过多个数据中心进行配合处理，要么通过增加处理时间完成数据处理，但上述的处理手段不能在节约处理资源的同时，保证数据的处理效率。
发明内容
针对现有技术中存在的问题，本发明实施例提供一种基于人工智能的数据中心数据管理方法及系统。
本发明实施例提供一种基于人工智能的数据中心数据管理方法，包括：
获取历史记录中的历史调度数据，并根据所述历史调度数据获取对应的历史数据的数据属性和调度记录，所述数据属性包括数据来源、数据类型、数据大小、数据目的标签，所述调度记录包括数据迁移、数据删改、数据合并；
排除所述历史数据中包含数据目的标签的数据，根据剩余历史数据的数据来源、数据类型、数据大小构建对应的数据属性权重模型；
将数据属性权重模型与对应的调度记录作为训练样本输入到卷积神经网络模型中进行训练；
获取目标数据的数据属性，并将所述目标数据的数据属性输入至训练后的卷积神经网络模型，输出目标数据对应的调度记录，根据所述目标数据的调度记录对所述目标数据进行数据管理。
在其中一个实施例中，所述方法还包括：
根据所述数据来源确定发送方的第一优先级，根据所述第一优先级确定所述剩余历史数据的第一权重；
根据所述数据类型确定所述剩余历史数据的第二优先级，根据所述第二优先级确定所述剩余历史数据的第二权重；
根据所述数据大小确定所述剩余历史数据的第三优先级，根据所述第三优先级确定所述剩余历史数据的第三权重；
根据所述第一权重、第二权重、第三权重确定综合权重，根据所述剩余历史数据及对应的综合权重构建对应的数据属性权重模型。
在其中一个实施例中，所述方法还包括：
获取数据中心当前容量，根据所述数据大小，结合所述当前容量，动态调整所述剩余历史数据的第三优先级。
在其中一个实施例中，所述方法还包括：
获取预设的权重倾向，根据所述权重倾向，结合所述第一权重、第二权重、第三权重确定综合权重，所述权重倾向为发送方优先、优先级数据优先、数据中心性能优先三者之一。
在其中一个实施例中，所述方法还包括：
将数据属性权重模型分别与所述数据迁移、数据删改、数据合并的调度记录作为训练样本输入到卷积神经网络模型中进行训练，分别得到三个训练卷积神经网络模型；
所述将目标数据的数据属性输入至训练后的卷积神经网络模型，输出目标数据对应的调度记录，包括：
将所述目标数据的数据属性分别输入至三个所述训练卷积神经网络模型，输出1个主要调度记录和2个额外记录。
在其中一个实施例中，所述方法还包括：
将所述训练样本分为训练集和验证集，将所述训练集输入到卷积神经网络模型进行训练，得到训练后的初步卷积神经网络模型；
通过所述验证集输入到训练后的初步卷积神经网络模型进行测试，测试完成后得到所述训练后的卷积神经网络模型。
本发明实施例提供一种基于人工智能的数据中心数据管理系统，包括：
获取模块，用于获取历史记录中的历史调度数据，并根据所述历史调度数据获取对应的历史数据的数据属性和调度记录，所述数据属性包括数据来源、数据类型、数据大小、数据目的标签，所述调度记录包括数据迁移、数据删改、数据合并；
排除模块，用于排除所述历史数据中包含数据目的标签的数据，根据剩余历史数据的数据来源、数据类型、数据大小构建对应的数据属性权重模型；
输入模块，用于将数据属性权重模型与对应的调度记录作为训练样本输入到卷积神经网络模型中进行训练；
输出模块，用于获取目标数据的数据属性，并将所述目标数据的数据属性输入至训练后的卷积神经网络模型，输出目标数据对应的调度记录，根据所述目标数据的调度记录对所述目标数据进行数据管理。
在其中一个实施例中，所述系统还包括：
第一确定模块，用于根据所述数据来源确定发送方的第一优先级，根据所述第一优先级确定所述剩余历史数据的第一权重；
第二确定模块，用于根据所述数据类型确定所述剩余历史数据的第二优先级，根据所述第二优先级确定所述剩余历史数据的第二权重；
第三确定模块，用于根据所述数据大小确定所述剩余历史数据的第三优先级，根据所述第三优先级确定所述剩余历史数据的第三权重；
构建模块，用于根据所述第一权重、第二权重、第三权重确定综合权重，根据所述剩余历史数据及对应的综合权重构建对应的数据属性权重模型。
本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于人工智能的数据中心数据管理方法的步骤。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于人工智能的数据中心数据管理方法的步骤。
本发明实施例提供的基于人工智能的数据中心数据管理方法及系统，获取历史记录中的历史调度数据，并根据所述历史调度数据获取对应的历史数据的数据属性和调度记录，所述数据属性包括数据来源、数据类型、数据大小、数据目的标签，所述调度记录包括数据迁移、数据删改、数据合并；排除所述历史数据中包含数据目的标签的数据，根据剩余历史数据的数据来源、数据类型、数据大小构建对应的数据属性权重模型；将数据属性权重模型与对应的调度记录作为训练样本输入到卷积神经网络模型中进行训练；获取目标数据的数据属性，并将所述目标数据的数据属性输入至训练后的卷积神经网络模型，输出目标数据对应的调度记录，根据所述目标数据的调度记录对所述目标数据进行数据管理。这样能够根据人工智能的深度学习完成对目标数据的数据管理，节省管理资源的同时，也提高了管理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于人工智能的数据中心数据管理方法的流程图；
图2为本发明实施例中基于人工智能的数据中心数据管理系统的结构图；
图3为本发明实施例中电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的基于人工智能的数据中心数据管理方法的流程示意图，如图1所示，本发明实施例提供了一种基于人工智能的数据中心数据管理方法，包括：
步骤S101，获取历史记录中的历史调度数据，并根据所述历史调度数据获取对应的历史数据的数据属性和调度记录，所述数据属性包括数据来源、数据类型、数据大小、数据目的标签，所述调度记录包括数据迁移、数据删改、数据合并。
具体地，获取数据中心中的历史记录，其中，获取历史记录中的历史调度数据，历史调度数据为历史数据本身的数据属性以及对应的数据调度记录，其中，数据属性可以包括数据来源、数据类型、数据大小、数据目的标签（数据发送目的地的标签），调度记录包括数据迁移、数据删改、数据合并。
步骤S102，排除所述历史数据中包含数据目的标签的数据，根据剩余历史数据的数据来源、数据类型、数据大小构建对应的数据属性权重模型。
具体地，确定历史数据中包含数据目的标签的数据后，即确定以及由明确数据处理目的地的数据后，对上述数据进行排除，然后对没有明确数据处理目的地的数据进行数据管理，通过剩余历史数据的数据来源、数据类型、数据大小为输入，构建对应的数据属性权重模型。
步骤S103，将数据属性权重模型与对应的调度记录作为训练样本输入到卷积神经网络模型中进行训练。
具体地，将根据剩余历史数据构建的数据属性权重模型以及剩余历史数据对应的调度记录作为输入，输入到卷积神经网络模型的输入层进行模型训练，卷积神经网络模型通过卷积层-池化层-全连接层进行深度学习，得到训练后的卷积神经网络模型。
步骤S104，获取目标数据的数据属性，并将所述目标数据的数据属性输入至训练后的卷积神经网络模型，输出目标数据对应的调度记录，根据所述目标数据的调度记录对所述目标数据进行数据管理。
具体地，获取需要进行数据管理的目标数据的数据属性，并将目标数据的数据属性输入到训练后的卷积神经网络模型，并输出目标数据对应的调度记录，调度记录可以为对目标数据的数据迁移、数据删改、数据合并，根据数据的调度记录对目标数据进行数据管理。
另外，也可以将将数据属性权重模型分别与数据迁移、数据删改、数据合并的调度记录作为训练样本输入到卷积神经网络模型中进行训练，分别得到三个训练卷积神经网络模型，从而可以将目标数据的数据属性分别输入至三个训练卷积神经网络模型，输出1个主要调度记录和2个额外记录，其中，主要调度记录为三个记录中记录的管理方法更完整，更符合数据要求的记录，为主要数据管理方法，而2个额外记录记录的管理方法完整性要求不高，为目标数据的次要数据管理方法，进而提高数据管理的多样性。
本发明实施例提供的一种基于人工智能的数据中心数据管理方法，获取历史记录中的历史调度数据，并根据所述历史调度数据获取对应的历史数据的数据属性和调度记录，所述数据属性包括数据来源、数据类型、数据大小、数据目的标签，所述调度记录包括数据迁移、数据删改、数据合并；排除所述历史数据中包含数据目的标签的数据，根据剩余历史数据的数据来源、数据类型、数据大小构建对应的数据属性权重模型；将数据属性权重模型与对应的调度记录作为训练样本输入到卷积神经网络模型中进行训练；获取目标数据的数据属性，并将所述目标数据的数据属性输入至训练后的卷积神经网络模型，输出目标数据对应的调度记录，根据所述目标数据的调度记录对所述目标数据进行数据管理。这样能够根据人工智能的深度学习完成对目标数据的数据管理，节省管理资源的同时，也提高了管理效率。
在上述实施例的基础上，所述基于人工智能的数据中心数据管理方法，还包括：
根据所述数据来源确定发送方的第一优先级，根据所述第一优先级确定所述剩余历史数据的第一权重；
根据所述数据类型确定所述剩余历史数据的第二优先级，根据所述第二优先级确定所述剩余历史数据的第二权重；
根据所述数据大小确定所述剩余历史数据的第三优先级，根据所述第三优先级确定所述剩余历史数据的第三权重；
根据所述第一权重、第二权重、第三权重确定综合权重，根据所述剩余历史数据及对应的综合权重构建对应的数据属性权重模型。
在本发明实施例中，在构建数据属性权重模型时，根据数据来源确定发送方的第一优先级，即根据发送方的优先级（比如客户的重要程度）确定第一优先级，进而确定历史数据的第一权重，然后根据数据类型确定历史数据的第二优先级，比如当数据类型的处理优先程度越高时，第二优先级也就越高，进而确定历史数据的第二权重，根据数据大小确定历史数据的第三优先级，第三优先级的确定可以通过获取数据中心当前容量，根据数据大小，结合当前容量，动态调整剩余历史数据的第三优先级，比如当数据中心当前容量出现预警（容量不足）时，历史数据的数据量越大，第三优先级也越高，进而确定历史数据的第三权重，在确定剩余历史数据的第一权重、第二权重、第三权重后，根据预设的权重倾向，结合第一权重、第二权重、第三权重确定综合权重，其中，权重倾向包括为发送方优先（即提高第一权重、降低第二权重、第三权重，比如第一权重、第二权重和第三权重的初始权重均为1/3，则根据权重倾向的程度提高提高第一权重、降低第二权重、第三权重）、优先级数据优先（即提高第二权重、降低第一权重、第三权重）、数据中心性能优先（即提高第三权重、降低第一权重、第二权重）三者之一， 并根据剩余历史数据中数据的数据来源、数据类型、数据大小与综合权重质检的对应关系建立对应的数据属性权重模型。
本发明实施例通过剩余历史数据的三项权重构建对应的数据属性权重模型，进而通过数据属性权重模型完成人工智能的深度学习管理。
在上述实施例的基础上，所述基于人工智能的数据中心数据管理方法，还包括：
将所述训练样本分为训练集和验证集，将所述训练集输入到卷积神经网络模型进行训练，得到训练后的初步卷积神经网络模型；
通过所述验证集输入到训练后的初步卷积神经网络模型进行测试，测试完成后得到所述训练后的卷积神经网络模型。
在本发明实施例中，在对卷积神经网络模型进行训练时，通常会分出一部分样本数据，作为验证集，对训练后的卷积神经网络模型的数据准确性进行验证，当对数据属性权重模型与对应的调度记录进行训练时，对数据属性权重模型与对应的调度记录的训练样本进行数据分组，具体可以将样本数据分为80%的训练集与20%的验证集，通过训练集与训练集数据对应的数据属性权重模型和调度记录进行初步训练，得到初步卷积神经网络模型，然后通过验证集与验证集数据对应的数据属性权重模型和调度记录对初步卷积神经网络模型进行测试，得到训练后的卷积神经网络模型。
本发明实施例通过将样本数据进行数据分组，通过训练集建立初步模型，通过验证集对初步模型进行准确性验证，保证了卷积神经网络模型的准确性。
图2为本发明实施例提供的一种基于人工智能的计量管理系统，包括：获取模块S201、排除模块S202、输入模块S203、输出模块S204，其中：
获取模块S201，用于获取历史记录中的历史调度数据，并根据所述历史调度数据获取对应的历史数据的数据属性和调度记录，所述数据属性包括数据来源、数据类型、数据大小、数据目的标签，所述调度记录包括数据迁移、数据删改、数据合并。
排除模块S202，用于排除所述历史数据中包含数据目的标签的数据，根据剩余历史数据的数据来源、数据类型、数据大小构建对应的数据属性权重模型。
输入模块S203，用于将数据属性权重模型与对应的调度记录作为训练样本输入到卷积神经网络模型中进行训练。
输出模块S204，用于获取目标数据的数据属性，并将所述目标数据的数据属性输入至训练后的卷积神经网络模型，输出目标数据对应的调度记录，根据所述目标数据的调度记录对所述目标数据进行数据管理。
在一个实施例中，系统还可以包括：
第一确定模块，用于根据所述数据来源确定发送方的第一优先级，根据所述第一优先级确定所述剩余历史数据的第一权重。
第二确定模块，用于根据所述数据类型确定所述剩余历史数据的第二优先级，根据所述第二优先级确定所述剩余历史数据的第二权重。
第三确定模块，用于根据所述数据大小确定所述剩余历史数据的第三优先级，根据所述第三优先级确定所述剩余历史数据的第三权重。
构建模块，用于根据所述第一权重、第二权重、第三权重确定综合权重，根据所述剩余历史数据及对应的综合权重构建对应的数据属性权重模型。
在一个实施例中，系统还可以包括：
第二获取模块，用于获取数据中心当前容量，根据所述数据大小，结合所述当前容量，动态调整所述剩余历史数据的第三优先级。
在一个实施例中，系统还可以包括：
第三获取模块，用于获取预设的权重倾向，根据所述权重倾向，结合所述第一权重、第二权重、第三权重确定综合权重，所述权重倾向为发送方优先、优先级数据优先、数据中心性能优先三者之一。
在一个实施例中，系统还可以包括：
训练模块，用于将所述训练样本分为训练集和验证集，将所述训练集输入到卷积神经网络模型进行训练，得到训练后的初步卷积神经网络模型。
测试模块，用于通过所述验证集输入到训练后的初步卷积神经网络模型进行测试，测试完成后得到所述训练后的卷积神经网络模型。
关于基于人工智能的数据中心数据管理系统的具体限定可以参见上文中对于基于人工智能的数据中心数据管理方法的限定，在此不再赘述。上述基于人工智能的数据中心数据管理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、存储器(memory)302、通信接口(Communications Interface)303和通信总线304，其中，处理器301，存储器302，通信接口303通过通信总线304完成相互间的通信。处理器301可以调用存储器302中的逻辑指令，以执行如下方法：获取历史记录中的历史调度数据，并根据所述历史调度数据获取对应的历史数据的数据属性和调度记录，所述数据属性包括数据来源、数据类型、数据大小、数据目的标签，所述调度记录包括数据迁移、数据删改、数据合并；排除所述历史数据中包含数据目的标签的数据，根据剩余历史数据的数据来源、数据类型、数据大小构建对应的数据属性权重模型；将数据属性权重模型与对应的调度记录作为训练样本输入到卷积神经网络模型中进行训练；获取目标数据的数据属性，并将所述目标数据的数据属性输入至训练后的卷积神经网络模型，输出目标数据对应的调度记录，根据所述目标数据的调度记录对所述目标数据进行数据管理。这样能够根据人工智能的深度学习完成对目标数据的数据管理，节省管理资源的同时，也提高了管理效率。
此外，上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：获取历史记录中的历史调度数据，并根据所述历史调度数据获取对应的历史数据的数据属性和调度记录，所述数据属性包括数据来源、数据类型、数据大小、数据目的标签，所述调度记录包括数据迁移、数据删改、数据合并；排除所述历史数据中包含数据目的标签的数据，根据剩余历史数据的数据来源、数据类型、数据大小构建对应的数据属性权重模型；将数据属性权重模型与对应的调度记录作为训练样本输入到卷积神经网络模型中进行训练；获取目标数据的数据属性，并将所述目标数据的数据属性输入至训练后的卷积神经网络模型，输出目标数据对应的调度记录，根据所述目标数据的调度记录对所述目标数据进行数据管理。这样能够根据人工智能的深度学习完成对目标数据的数据管理，节省管理资源的同时，也提高了管理效率。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于人工智能的数据中心数据管理方法，其特征在于，包括：
获取历史记录中的历史调度数据，并根据所述历史调度数据获取对应的历史数据的数据属性和调度记录，所述数据属性包括数据来源、数据类型、数据大小、数据目的标签，所述调度记录包括数据迁移、数据删改、数据合并；
排除所述历史数据中包含数据目的标签的数据，根据剩余历史数据的数据来源、数据类型、数据大小构建对应的数据属性权重模型；
将数据属性权重模型与对应的调度记录作为训练样本输入到卷积神经网络模型中进行训练；
获取目标数据的数据属性，并将所述目标数据的数据属性输入至训练后的卷积神经网络模型，输出目标数据对应的调度记录，根据所述目标数据的调度记录对所述目标数据进行数据管理。
2.根据权利要求1所述的基于人工智能的数据中心数据管理方法，其特征在于，所述根据剩余历史数据的数据来源、数据类型、数据大小构建对应的数据属性权重模型，包括：
根据所述数据来源确定发送方的第一优先级，根据所述第一优先级确定所述剩余历史数据的第一权重；
根据所述数据类型确定所述剩余历史数据的第二优先级，根据所述第二优先级确定所述剩余历史数据的第二权重；
根据所述数据大小确定所述剩余历史数据的第三优先级，根据所述第三优先级确定所述剩余历史数据的第三权重；
根据所述第一权重、第二权重、第三权重确定综合权重，根据所述剩余历史数据及对应的综合权重构建对应的数据属性权重模型。
3.根据权利要求2所述的基于人工智能的数据中心数据管理方法，其特征在于，所述根据数据大小确定所述剩余历史数据的第三优先级，根据所述第三优先级确定所述剩余历史数据的第三权重，包括：
获取数据中心当前容量，根据所述数据大小，结合所述当前容量，动态调整所述剩余历史数据的第三优先级。
4.根据权利要求2所述的基于人工智能的数据中心数据管理方法，其特征在于，所述根据第一权重、第二权重、第三权重确定综合权重，包括：
获取预设的权重倾向，根据所述权重倾向，结合所述第一权重、第二权重、第三权重确定综合权重，所述权重倾向为发送方优先、优先级数据优先、数据中心性能优先三者之一。
5.根据权利要求1所述的基于人工智能的数据中心数据管理方法，其特征在于，将数据属性权重模型与对应的调度记录作为训练样本输入到卷积神经网络模型中进行训练，包括：
将数据属性权重模型分别与所述数据迁移、数据删改、数据合并的调度记录作为训练样本输入到卷积神经网络模型中进行训练，分别得到三个训练卷积神经网络模型；
所述将目标数据的数据属性输入至训练后的卷积神经网络模型，输出目标数据对应的调度记录，包括：
将所述目标数据的数据属性分别输入至三个所述训练卷积神经网络模型，输出1个主要调度记录和2个额外记录。
6.根据权利要求1所述的基于人工智能的数据中心数据管理方法，其特征在于，所述将数据属性权重模型与对应的调度记录作为训练样本输入到卷积神经网络模型中进行训练，包括：
将所述训练样本分为训练集和验证集，将所述训练集输入到卷积神经网络模型进行训练，得到训练后的初步卷积神经网络模型；
通过所述验证集输入到训练后的初步卷积神经网络模型进行测试，测试完成后得到所述训练后的卷积神经网络模型。
7.一种基于人工智能的数据中心数据管理系统，其特征在于，所述系统包括：
获取模块，用于获取历史记录中的历史调度数据，并根据所述历史调度数据获取对应的历史数据的数据属性和调度记录，所述数据属性包括数据来源、数据类型、数据大小、数据目的标签，所述调度记录包括数据迁移、数据删改、数据合并；
排除模块，用于排除所述历史数据中包含数据目的标签的数据，根据剩余历史数据的数据来源、数据类型、数据大小构建对应的数据属性权重模型；
输入模块，用于将数据属性权重模型与对应的调度记录作为训练样本输入到卷积神经网络模型中进行训练；
输出模块，用于获取目标数据的数据属性，并将所述目标数据的数据属性输入至训练后的卷积神经网络模型，输出目标数据对应的调度记录，根据所述目标数据的调度记录对所述目标数据进行数据管理。
8.根据权利要求7中所述的基于人工智能的数据中心数据管理装置，其特征在于，所述装置还包括：
第一确定模块，用于根据所述数据来源确定发送方的第一优先级，根据所述第一优先级确定所述剩余历史数据的第一权重；
第二确定模块，用于根据所述数据类型确定所述剩余历史数据的第二优先级，根据所述第二优先级确定所述剩余历史数据的第二权重；
第三确定模块，用于根据所述数据大小确定所述剩余历史数据的第三优先级，根据所述第三优先级确定所述剩余历史数据的第三权重；
构建模块，用于根据所述第一权重、第二权重、第三权重确定综合权重，根据所述剩余历史数据及对应的综合权重构建对应的数据属性权重模型。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于人工智能的数据中心数据管理方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于人工智能的数据中心数据管理方法的步骤。
CN202110708644.6A 2021-06-25 2021-06-25 基于人工智能的数据中心数据管理方法及系统 Active CN113536081B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110708644.6A CN113536081B (zh) 2021-06-25 2021-06-25 基于人工智能的数据中心数据管理方法及系统
PCT/CN2021/103347 WO2022267085A1 (zh) 2021-06-25 2021-06-30 基于人工智能的数据中心数据管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110708644.6A CN113536081B (zh) 2021-06-25 2021-06-25 基于人工智能的数据中心数据管理方法及系统

Publications (2)

Publication Number Publication Date
CN113536081A true CN113536081A (zh) 2021-10-22
CN113536081B CN113536081B (zh) 2022-04-01

Family

ID=78096702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110708644.6A Active CN113536081B (zh) 2021-06-25 2021-06-25 基于人工智能的数据中心数据管理方法及系统

Country Status (2)

Country Link
CN (1) CN113536081B (zh)
WO (1) WO2022267085A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233026A (zh) * 2023-03-01 2023-06-06 深圳市创载网络科技有限公司 一种用于数据中心的智能管理方法及系统
CN117527928A (zh) * 2023-11-07 2024-02-06 河北燃气有限公司 一种基于scada的数据处理方法和系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117193509B (zh) * 2023-07-21 2024-07-05 无锡尚航数据有限公司 一种数据中心的节能控制管理方法及系统
CN116739317B (zh) * 2023-08-15 2023-10-31 山东宇飞传动技术有限公司 一种矿用绞车自动化管理及调度平台、方法、设备及介质
CN117235731B (zh) * 2023-09-04 2024-02-09 广东立升科技有限公司 一种保密装备大数据监控预警系统
CN116993307B (zh) * 2023-09-28 2024-01-05 广东省信息工程有限公司 一种具有人工智能学习能力的协同办公方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018113239A1 (zh) * 2016-12-23 2018-06-28 深圳云天励飞技术有限公司 一种卷积神经网络的数据调度方法、系统及计算机设备
CN109146707A (zh) * 2018-08-27 2019-01-04 罗孚电气（厦门）有限公司 基于大数据分析的电力用户分析方法、装置及电子设备
CN109816412A (zh) * 2017-11-21 2019-05-28 腾讯科技（深圳）有限公司 一种训练模型生成方法、装置、设备和计算机存储介质
US20190227533A1 (en) * 2018-01-19 2019-07-25 Industrial Technology Research Institute Method and apparatus for dynamic intelligent scheduling
CN110363621A (zh) * 2019-06-28 2019-10-22 东莞市盟大塑化科技有限公司 一种基于人工智能技术的订单信息推送系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9606530B2 (en) * 2013-05-17 2017-03-28 International Business Machines Corporation Decision support system for order prioritization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018113239A1 (zh) * 2016-12-23 2018-06-28 深圳云天励飞技术有限公司 一种卷积神经网络的数据调度方法、系统及计算机设备
CN109816412A (zh) * 2017-11-21 2019-05-28 腾讯科技（深圳）有限公司 一种训练模型生成方法、装置、设备和计算机存储介质
US20190227533A1 (en) * 2018-01-19 2019-07-25 Industrial Technology Research Institute Method and apparatus for dynamic intelligent scheduling
CN109146707A (zh) * 2018-08-27 2019-01-04 罗孚电气（厦门）有限公司 基于大数据分析的电力用户分析方法、装置及电子设备
CN110363621A (zh) * 2019-06-28 2019-10-22 东莞市盟大塑化科技有限公司 一种基于人工智能技术的订单信息推送系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李杰等: "几种典型卷积神经网络的权重分析与研究", 《青岛大学学报（自然科学版）》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233026A (zh) * 2023-03-01 2023-06-06 深圳市创载网络科技有限公司 一种用于数据中心的智能管理方法及系统
CN116233026B (zh) * 2023-03-01 2024-05-31 深圳市创载网络科技有限公司 一种用于数据中心的智能管理方法及系统
CN117527928A (zh) * 2023-11-07 2024-02-06 河北燃气有限公司 一种基于scada的数据处理方法和系统
CN117527928B (zh) * 2023-11-07 2024-05-10 河北燃气有限公司 一种基于scada的数据处理方法和系统

Also Published As

Publication number Publication date
WO2022267085A1 (zh) 2022-12-29
CN113536081B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN113536081B (zh) 基于人工智能的数据中心数据管理方法及系统
US11915104B2 (en) Normalizing text attributes for machine learning models
CN112434188B (zh) 一种异构数据库的数据集成方法、装置及存储介质
CN110879776A (zh) 一种测试用例的生成方法和装置
US20220004547A1 (en) Method, apparatus, system, device, and storage medium for answering knowledge questions
CN112100359B (zh) 测试用例查找方法、装置、设备及存储介质
CN109857643A (zh) 一种虚拟化平台性能自动测试的方法及装置
CN108711074B (zh) 业务分类方法、装置、服务器及可读存储介质
CN113127357B (zh) 单元测试方法、装置、设备、存储介质及程序产品
CN113112126A (zh) 基于人工智能的供水管漏损预警方法及系统
CN113032258A (zh) 一种电子地图的测试方法、装置、电子设备及存储介质
CN110035126A (zh) 一种文件处理方法、装置、计算设备及存储介质
CN116011955A (zh) 一种机器人流程自动化需求实现方法、装置、设备和存储介质
CN115329759A (zh) 信息处理方法、装置、设备及存储介质
CN107688582B (zh) 资源推荐模型的获取方法及装置
CN115409947A (zh) 三维结构对应的二维图纸获取方法、装置、设备及介质
CN115187821A (zh) 验证模型转换前后正确性的方法、相关装置及程序产品
CN114443493A (zh) 一种测试案例生成方法、装置、电子设备和存储介质
CN114238106A (zh) 测试时间预测方法及装置、电子设备、存储介质
CN113689191A (zh) 一种软件开发工时确定方法及装置
CN113516208A (zh) 一种数据的审核方法、装置、电子设备及存储介质
CN115437757A (zh) 调度方法、系统、服务器和计算机可读存储介质
CN111722977A (zh) 系统巡检方法、装置及电子设备
CN116010349B (zh) 基于元数据的数据检核方法和装置、电子设备和存储介质
CN113951169B (zh) 生长性能测定模型的训练方法、测定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant