CN116582547A - 算力网络数据传输方法、装置、电子设备及存储介质 - Google Patents

算力网络数据传输方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116582547A
CN116582547A CN202310862747.7A CN202310862747A CN116582547A CN 116582547 A CN116582547 A CN 116582547A CN 202310862747 A CN202310862747 A CN 202310862747A CN 116582547 A CN116582547 A CN 116582547A
Authority
CN
China
Prior art keywords
data
migration
computing
security level
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310862747.7A
Other languages
English (en)
Other versions
CN116582547B (zh
Inventor
马浩
崔洪志
崔超
耿晓巧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Communication Information System Co Ltd
Original Assignee
Inspur Communication Information System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Communication Information System Co Ltd filed Critical Inspur Communication Information System Co Ltd
Priority to CN202310862747.7A priority Critical patent/CN116582547B/zh
Publication of CN116582547A publication Critical patent/CN116582547A/zh
Application granted granted Critical
Publication of CN116582547B publication Critical patent/CN116582547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/101Server selection for load balancing based on network conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105Multiple levels of security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1012Server selection for load balancing based on compliance of requirements or conditions with available server resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供算力网络数据传输方法、装置、电子设备及存储介质,涉及数据处理技术领域,方法包括:利用数据分级模型对第一算力中心的待处理业务进行分类,得到数据分级模型输出的本地处理数据和迁移数据;其中,数据分级模型是基于历史处理业务和迁移特征数据训练得到的;确定迁移数据的算力资源需求、存储资源需求和网络资源需求;在第二算力中心满足迁移数据的算力资源需求、存储资源需求和网络资源需求时,将迁移数据传输至第二算力中心。本发明通过数据分级模型实现了传输数据的自动化分类,无需用户与运维人员进行人工沟通,降低了人工成本,提高了数据传输的效率。

Description

算力网络数据传输方法、装置、电子设备及存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种算力网络数据传输方法、装置、电子设备及存储介质。
背景技术
算力中心是专门用于提供高性能计算能力的数据中心。随着数字经济的发展,数据总量快速增长,数据资源的存储、计算和应用需求也大幅提升,因此对算力中心资源的需求也逐步增加。
然而不同地区存在数字经济发展不平衡的问题,导致不同地区算力中心的资源使用率差别巨大,例如数字经济发达的地区算力中心的资源使用率高,容易出现算力中心资源不足的情况,而数字经济落后的地区算力中心的资源使用率低,容易出现算力中心资源闲置的情况。为了解决算力资源区域分布不均衡的问题,可以将数字经济发达地区的数据传输至数字经济落后地区,利用数字经济落后地区的算力中心资源处理数字经济发达地区的数据,这对数据传输提出了更高的要求。
不同的用户对数据传输的需求不一致,因此在进行数据传输前往往需要用户与运维人员沟通协商,确认所要传输的数据,再进行数据传输。由于每次数据传输前都需要用户与运维人员进行人工沟通,导致现有方法自动化程度低,效率低且成本高。
发明内容
本发明提供一种算力网络数据传输方法、装置、电子设备及存储介质,用以解决现有技术中数据传输自动化程度低,效率低且成本高的缺陷。
本发明提供一种算力网络数据传输方法,包括:利用数据分级模型对第一算力中心的待处理业务进行分类,得到数据分级模型输出的本地处理数据和迁移数据;其中,数据分级模型是基于历史处理业务和迁移特征数据训练得到的;确定迁移数据的算力资源需求、存储资源需求和网络资源需求;在第二算力中心满足迁移数据的算力资源需求、存储资源需求和网络资源需求时,将迁移数据传输至第二算力中心。
根据本发明提供的一种算力网络数据传输方法,数据分级模型还用于对待处理业务进行安全分类,对第一算力中心的待处理业务进行分类,得到数据分级模型输出的本地处理数据和迁移数据,包括:利用数据分级模型对第一算力中心的待处理业务进行安全分类,得到第一安全等级的待处理业务和第二安全等级的待处理业务;利用数据分级模型分别对第一安全等级的待处理业务和第二安全等级的待处理业务进行分类,得到数据分级模型输出的第一安全等级的本地处理数据、第二安全等级的本地处理数据、第一安全等级的迁移数据和第二安全等级的迁移数据;其中,第二安全等级的数据加密要求高于第一安全等级的数据加密要求。
根据本发明提供的一种算力网络数据传输方法,将迁移数据传输至第二算力中心,包括:按照预设周期检测第一算力中心和第二算力中心之间传输的网络流量数据;基于网络流量数据确定当前时刻的带宽利用率;在当前时刻的带宽利用率低于预设阈值时,根据预设网络带宽将迁移数据从第一算力中心传输至第二算力中心;其中,预设网络带宽是根据带宽利用率、预设阈值和总网络带宽确定的。
根据本发明提供的一种算力网络数据传输方法,将迁移数据传输至第二算力中心,包括:确定迁移数据的安全等级;当迁移数据的安全等级为第二安全等级时,对迁移数据进行加密处理;将加密后的迁移数据发送至第二算力中心。
根据本发明提供的一种算力网络数据传输方法,安全等级还包括第三安全等级,第三安全等级的数据加密要求高于第二安全等级的数据加密要求;当迁移数据的安全等级为第三安全等级时,通过可信执行环境对迁移数据进行加密处理。
根据本发明提供的一种算力网络数据传输方法,迁移特征数据包括业务员访问次数、数据迁移要求、行业法律法规、用户订购偏好、数据安全要求、访问延时要求中的至少两种。
根据本发明提供的一种算力网络数据传输方法,利用数据分级模型对第一算力中心的待处理业务进行分类之前,包括:若输入待处理业务的用户为新用户,基于面向用户的服务端解析用户所属的行业;基于行业的数据分类模型为待处理业务进行初步分类;根据用户对初步分类结果的调整反馈,优化数据分类模型。
本发明还提供一种算力网络数据传输装置,包括:业务分类模块,用于利用数据分级模型对第一算力中心的待处理业务进行分类,得到数据分级模型输出的本地处理数据和迁移数据;其中,数据分级模型是基于历史处理业务和迁移特征因子训练得到的;需求确认模块,用于确定迁移数据的算力资源需求、存储资源需求和网络资源需求;判断传输模块,用于在第二算力中心满足迁移数据的算力资源需求、存储资源需求和网络资源需求时,将迁移数据传输至第二算力中心。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述算力网络数据传输方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述算力网络数据传输方法。
本发明提供的算力网络数据传输方法、装置、电子设备及存储介质,通过数据分级模型对第一算力中心的待处理业务进行分类,得到数据分级模型输出的本地处理数据和迁移数据;数据分级模型是基于历史处理业务和迁移特征数据训练得到的;确定迁移数据的算力资源需求、存储资源需求和网络资源需求,在第二算力中心满足迁移数据的算力资源需求、存储资源需求和网络资源需求时,将迁移数据传输至第二算力中心。本发明通过数据分级模型实现了传输数据的自动化分类,无需用户与运维人员进行人工沟通,降低了人工成本,提高了数据传输的效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的算力网络数据传输方法的流程示意图之一;
图2是本发明提供的算力网络数据传输装置的结构示意图;
图3是本发明提供的算力网络数据传输方法的流程示意图之二;
图4是图3的算力网络数据传输方法对应的数据处理的流程示意图;
图5是本发明数据分级模型的训练过程示意图;
图6是算力网络数据传输过程的资源需求对比图;
图7是本发明电子设备一实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
不同的用户对数据传输的需求不一致,因此在进行数据传输前往往需要用户与运维人员沟通协商,确认所要传输的数据,再进行数据传输。由于每次数据传输前都需要用户与运维人员进行人工沟通,导致现有方法自动化程度低,效率低且成本高。
基于此,本发明提供一种算力网络数据传输方法、装置、电子设备及存储介质,用以解决现有技术中数据传输自动化程度低,效率低且成本高的缺陷。
请参阅图1,图1是本发明提供的算力网络数据传输方法的流程示意图之一,在本实施例中,算力网络数据传输方法具体包括步骤S110至步骤S130,各步骤具体如下:
S110:利用数据分级模型对第一算力中心的待处理业务进行分类,得到数据分级模型输出的本地处理数据和迁移数据。
不同的用户对数据传输的需求不同,因此在进行数据传输前需要确定所需传输的数据。
具体地,第一算力中心指的是当前用户数据所在的算力中心,针对每一个用户,获取第一算力中心的待处理业务,利用数据分级模型对第一算力中心的待处理业务进行分类,得到数据分级模型输出的本地处理数据和迁移数据。本地处理数据指的是保留在第一算力中心的数据,无需进行传输;迁移数据指的是用户所需传输的数据。
其中,数据分级模型是基于历史处理业务和迁移特征数据训练得到的。
一般地,对于同一个用户或者同一行业的用户,数据传输的需求具有一定的稳定性和相关性,因此可以基于该用户或者该行业用户的历史处理业务和迁移特征数据训练数据分级模型,使得数据分级模型可以准确预测用户数据传输的需求,实现数据的自动化分类。
S120:确定迁移数据的算力资源需求、存储资源需求和网络资源需求。
在进行数据传输前,需要确定迁移数据所需的算力资源需求、存储资源需求和网络资源需求,并和其他算力中心现有的资源做对比,以确定其他算力中心是否满足数据传输的需求。
算力资源需求包括算力容量需求和算力性能需求,存储资源需求包括存储容量需求和存储性能需求。
算力容量需求指的是所需用于计算的资源,例如服务器数量、计算节点数量等。算力容量需求主要取决于迁移数据的规模和复杂度。
算力性能需求指的是对计算资源性能的要求,例如业务处理速度、业务并行处理能力、响应时间等。不同迁移数据的算力性能需求不同。
存储容量需求指的是待处理业务所需的存储容量。存储容量需求取决于迁移数据的大小、数据类型和保留时长等因素,可以根据迁移数据的总量、每日迁移数据的增量以及迁移数据的保留时长来估计存储容量需求。
存储性能需求指的是对存储资源性能的要求,例如访问待处理业务数据的速度、响应时间、存储设备的读写速度等。不同迁移数据的存储性能需求不同。
网络资源需求指的是迁移数据在传输过程中所需的网络资源,例如传输速率、网络带宽、传输时延等。
优选地,网络资源需求可以是网络带宽和传输时延信息。
不同的迁移数据的算力资源需求、存储资源需求和网络资源需求可以不同,本实施例对此不作限定。
S130:在第二算力中心满足迁移数据的算力资源需求、存储资源需求和网络资源需求时,将迁移数据传输至第二算力中心。
具体地,第二算力中心指的是接收迁移数据的算力中心,在确定迁移数据的算力资源需求、存储资源需求和网络资源需求后,需要查询并获取第二算力中心闲置的算力资源数据、存储资源数据,以及第一算力中心与第二算力中心之间的网络资源数据。
进一步地,分别对比迁移数据的算力资源需求和第二算力中心闲置的算力资源、迁移数据的存储资源需求和第二算力中心闲置的存储资源、迁移数据的网络资源需求和第一算力中心与第二算力中心之间的网络资源,获得对比结果,基于对比结果判断第二算力中心是否满足迁移数据的算力资源需求、存储资源需求和网络资源需求。
具体地,当第二算力中心的算力容量和性能满足迁移数据的算力容量需求和算力性能需求、第二算力中心的存储容量和性能满足迁移数据的存储容量需求和存储性能需求、第一算力中心与第二算力中心之间的网络资源满足迁移数据的网络资源需求时,将迁移数据传输至第二算力中心。
本实施例提供的算力网络数据传输方法,通过数据分级模型对第一算力中心的待处理业务进行分类,得到数据分级模型输出的本地处理数据和迁移数据;数据分级模型是基于历史处理业务和迁移特征数据训练得到的;确定迁移数据的算力资源需求、存储资源需求和网络资源需求,在第二算力中心满足迁移数据的算力资源需求、存储资源需求和网络资源需求时,将迁移数据传输至第二算力中心。本实施例通过数据分级模型实现了传输数据的自动化分类,无需用户与运维人员进行人工沟通,降低了人工成本,提高了数据传输的效率。
在一些实施例中,数据分级模型还用于对待处理业务进行安全分类。
为了更好地管理和保护数据,以满足不同行业的安全需求,用户通常还需要对数据进行安全分类管理。
例如,用户可能需要根据数据的敏感性对数据进行分类,并对敏感性不同的数据进行不同的加密处理,设置不同的权限等。
对待处理业务进行安全分类也可以由数据分级模型完成。
具体地,对第一算力中心的待处理业务进行分类,得到数据分级模型输出的本地处理数据和迁移数据,包括:利用数据分级模型对第一算力中心的待处理业务进行安全分类,得到第一安全等级的待处理业务和第二安全等级的待处理业务;其中,第二安全等级的数据加密要求高于第一安全等级的数据加密要求。
进一步地,利用数据分级模型分别对第一安全等级的待处理业务和第二安全等级的待处理业务进行分类,得到数据分级模型输出的第一安全等级的本地处理数据、第二安全等级的本地处理数据、第一安全等级的迁移数据和第二安全等级的迁移数据。
其中,第一安全等级的本地处理数据和第二安全等级的本地处理数据保留在第一算力中心;第一安全等级的迁移数据和第二安全等级的迁移数据需要传输至第二算力中心。
在一些实施例中,将迁移数据传输至第二算力中心,包括:按照预设周期检测第一算力中心和第二算力中心之间传输的网络流量数据;基于网络流量数据确定当前时刻的带宽利用率;在当前时刻的带宽利用率低于预设阈值时,根据预设网络带宽将迁移数据从第一算力中心传输至第二算力中心;其中,预设网络带宽是根据带宽利用率、预设阈值和总网络带宽确定的。
一般地,每个算力中心可以同时和多个不同的算力中心进行数据传输,由于不同迁移数据的网络资源需求不同,且不同迁移数据的传输过程也不同步,因此每个算力中心当前可用的网络资源量会随着数据传输业务的变化而变化,但这种变化可能会影响迁移数据的传输。
为了确保数据传输的稳定性和可靠性,可以根据第一算力中心和第二算力中心之间的网络流量变化情况调整迁移数据传输的时机和网络带宽,提高数据传输的效率。
具体地,按照预设周期检测第一算力中心和第二算力中心之间传输的网络流量数据,基于网络流量数据确定当前时刻的带宽利用率。
网络带宽是指网络传输的最大数据容量,通常以每秒传输的比特数来表示,可以用于衡量网络链路传输数据的能力。
网络流量是指通过网络链路传输的实际数据量,通常以比特或字节为单位表示,可以是每秒钟的平均流量或特定时间段内的累计流量。
带宽利用率是指实际使用的带宽与可用带宽之间的比率,用于衡量网络链路的利用程度。带宽利用率可以通过计算实际网络流量占可用带宽的比例来得出。
需要说明的是,带宽利用率可以用于衡量网络链路的利用程度。在本实施例中,带宽利用率可以由网络流量数据和当前时刻的网络带宽计算得出。
可选地,带宽利用率可以是第一算力中心和第二算力中心之间传输的网络流量与当前时刻的网络带宽的比值。
可选地,在当前时刻的带宽利用率高于预设阈值时,可以暂停迁移数据的传输,直到检测到当前时刻的带宽利用率低于预设阈值,再恢复迁移数据的传输,从而避免加重当前网络拥堵的情况。
优选地,预设周期可以为30分钟。
进一步地,在当前时刻的带宽利用率低于预设阈值时,根据预设网络带宽将迁移数据从第一算力中心传输至第二算力中心;其中,预设网络带宽是根据带宽利用率、预设阈值和总网络带宽确定的。
用于传输迁移数据的网络链路可以有多条,总网络带宽是指网络中所有链路和设备的总传输能力,表示单位时间内整个网络能够传输的最大数据量。
具体地,预设网络带宽可以根据带宽利用率、预设阈值和总网络带宽,并基于预设公式计算得出,从而实现预设网络带宽的动态调节。
具体地,假设带宽利用率记为A,预设阈值记为B,总网络带宽记为C,预设网络带宽记为D,则预设网络带宽调节公式为:
优选地,预设阈值为80%。
可以理解地,预设周期和预设阈值可以由本领域技术人员根据实际需要进行调整,本实施例对此不作限定。
通过上述方式,使得分配给迁移数据的网络带宽可以根据当前的网络流量情况进行自适应调节,确保了数据传输的稳定性和可靠性,提高了数据传输的效率。
在一些实施例中,将迁移数据传输至第二算力中心,包括:确定迁移数据的安全等级;当迁移数据的安全等级为第二安全等级时,对迁移数据进行加密处理;将加密后的迁移数据发送至第二算力中心。
具体地,第一安全等级的本地处理数据和第一安全等级的迁移数据无需加密处理,第一安全等级的迁移数据可直接进行数据传输。
对第二安全等级的本地处理数据和第二安全等级的迁移数据进行加密处理,将加密后的迁移数据发送至第二算力中心。
可选地,对第二安全等级的本地处理数据和第二安全等级的迁移数据的加密处理可以通过加密算法实现。
可选地,加密算法可以为同态加密、差分隐私、不经意传输算法中的一种或多种。
第一安全等级的数据包括第一安全等级的本地处理数据和第一安全等级的迁移数据,第二安全等级的数据包括第二安全等级的本地处理数据和第二安全等级的迁移数据。
当用户需要访问第一安全等级的数据时,无需进行解密处理,可以直接访问;当用户需要访问第二安全等级的数据时,需要利用相应的数据解密算法进行解密处理,并向用户提供解密后的数据。
在一些实施例中,安全等级还包括第三安全等级,第三安全等级的数据加密要求高于第二安全等级的数据加密要求;当迁移数据的安全等级为第三安全等级时,通过可信执行环境对迁移数据进行加密处理。
具体地,第三安全等级的数据可以采用可信执行环境处理。
可信执行环境(Trusted Execution Environment,TEE)是一种安全处理方式。可信执行环境通过硬件和软件组合,创建安全的执行环境,从而保护敏感数据的完整性。
在可信执行环境中,硬件为敏感数据单独分配一块隔离的内存区域,即安全区域(Secure Zone),用于存储和处理敏感数据,由于该安全区域受到硬件的保护,无法被外部程序或操作系统访问和篡改,从而确保了敏感数据的安全性和完整性。
通过将第三安全等级的数据放置在可信执行环境中进行处理,可以有效地保护敏感数据的安全性,防止数据泄露和未授权访问。同时,可信执行环境还能够提供硬件级别的安全性保护,使得对数据的处理更加可靠和可信。
当用户需要访问第三安全等级的数据时,可以通过访问第三安全等级的数据对应的独立内存实现数据访问。
在一些实施例中,迁移特征数据包括业务员访问次数、数据迁移要求、行业法律法规、用户订购偏好、数据安全要求、访问延时要求中的至少两种。
具体地,业务员访问次数指的是业务员或用户对特定数据的访问次数,较高的访问次数可能表示该数据对业务员或用户具有较高的重要性,可用于衡量数据的安全等级。
数据迁移要求指的是数据迁移的需求和要求等方面的数据,例如迁移频率、迁移的数据量、迁移时间、迁移地点等,数据迁移要求可用于预测用户的数据迁移需求。
行业法律法规指的是针对特定行业的法律法规要求,例如金融、医疗、隐私保护等领域的合规要求,行业法律法规可能会影响数据的迁移决策和安全等级的确定。
用户订购偏好指的是用户在订购业务时的偏好选择,例如性能优先、成本优先或平衡(综合考虑性能和成本)模式。用户订购偏好可用于预测用户的数据迁移需求。
数据安全要求指的是数据的安全等级和安全要求,包括机密性、完整性和可用性等方面的要求。数据安全要求可用于衡量数据的安全等级。
访问延时要求指的是用户对数据访问时延的要求,例如部分业务对实时性要求较高,需要快速访问数据,而部分业务则可以稍有延迟。访问延时要求可用于预测用户的数据迁移需求。
迁移特征数据可以用于训练数据分级模型,使得数据分级模型可以准确预测用户的需求,实现数据的自动化分类,从而实现提供高效、安全和可靠的数据传输。
在一些实施例中,利用数据分级模型对第一算力中心的待处理业务进行分类之前,包括:若输入待处理业务的用户为新用户,基于面向用户的服务端解析用户所属的行业;基于行业的数据分类模型为待处理业务进行初步分类;根据用户对初步分类结果的调整反馈,优化数据分类模型。
对于同一行业的用户,数据传输的需求具有一定的稳定性和相关性,因此,若输入待处理业务的用户为新用户,可以基于面向用户的服务端解析用户所属的行业,基于行业的数据分类模型为待处理业务进行初步分类。
例如,对于金融行业而言,对数据的安全等级的划分往往具有高度的一致性。若输入待处理业务的用户为新用户,该用户为金融行业的从业人员,则可以基于金融行业的数据分类模型为待处理业务进行初步分类。
进一步地,根据用户对初步分类结果的调整反馈,优化数据分类模型。
具体地,根据用户对初步分类结果的调整反馈,采用强化学习算法持续优化数据分级模型,从而提高数据分级模型的准确率。
本发明还提供了一种算力网络数据传输装置,请参阅图2,图2是本发明提供的算力网络数据传输装置的结构示意图,数据传输装置包括业务分类模块210、需求确认模块220和判断传输模块230。
业务分类模块210,用于利用数据分级模型对第一算力中心的待处理业务进行分类,得到数据分级模型输出的本地处理数据和迁移数据。
其中,数据分级模型是基于历史处理业务和迁移特征因子训练得到的。
需求确认模块220,用于确定迁移数据的算力资源需求、存储资源需求和网络资源需求。
判断传输模块230,用于在第二算力中心满足迁移数据的算力资源需求、存储资源需求和网络资源需求时,将迁移数据传输至第二算力中心。
在一些实施例中,业务分类模块210,用于利用数据分级模型对第一算力中心的待处理业务进行安全分类,得到第一安全等级的待处理业务和第二安全等级的待处理业务;利用数据分级模型分别对第一安全等级的待处理业务和第二安全等级的待处理业务进行分类,得到数据分级模型输出的第一安全等级的本地处理数据、第二安全等级的本地处理数据、第一安全等级的迁移数据和第二安全等级的迁移数据。
其中,第二安全等级的数据加密要求高于第一安全等级的数据加密要求。
在一些实施例中,判断传输模块230,用于按照预设周期检测第一算力中心和第二算力中心之间传输的网络流量数据;基于网络流量数据确定当前时刻的带宽利用率;在当前时刻的带宽利用率低于预设阈值时,根据预设网络带宽将迁移数据从第一算力中心传输至第二算力中心。
其中,预设网络带宽是根据带宽利用率、预设阈值和总网络带宽确定的。
在一些实施例中,判断传输模块230,用于确定迁移数据的安全等级;当迁移数据的安全等级为第二安全等级时,对迁移数据进行加密处理;将加密后的迁移数据发送至第二算力中心。
在一些实施例中,安全等级还包括第三安全等级,第三安全等级的数据加密要求高于第二安全等级的数据加密要求;当迁移数据的安全等级为第三安全等级时,业务分类模块210,用于通过可信执行环境对迁移数据进行加密处理。
在一些实施例中,迁移特征数据包括业务员访问次数、数据迁移要求、行业法律法规、用户订购偏好、数据安全要求、访问延时要求中的至少两种。
在一些实施例中,利用数据分级模型对第一算力中心的待处理业务进行分类之前,若输入待处理业务的用户为新用户,业务分类模块210,还用于基于面向用户的服务端解析用户所属的行业;基于行业的数据分类模型为待处理业务进行初步分类;根据用户对初步分类结果的调整反馈,优化数据分类模型。
本发明还提供了算力网络数据传输方法的一个具体的实例。请参阅图3和图4,图3是本发明提供的算力网络数据传输方法的流程示意图之二,图4是图3的算力网络数据传输方法对应的数据处理的流程示意图,在本实施例中,算力网络数据传输方法具体包括步骤S310至步骤S350,各步骤具体如下:
S310:利用数据分级模型对第一算力中心的待处理业务进行业务分类和安全分类。
在本实施例中,对第一算力中心的待处理业务进行业务分类指的是数据分级模型可以将待处理业务分为本地处理数据和迁移数据两类;对第一算力中心的待处理业务进行安全分类指的是数据分级模型可以将待处理业务分为第一安全等级的待处理业务、第二安全等级的待处理业务和第三安全等级的待处理业务。
具体地,数据分级模型输出第一安全等级的本地处理数据、第二安全等级的本地处理数据、第三安全等级的本地处理数据、第一安全等级的迁移数据、第二安全等级的迁移数据和第三安全等级的迁移数据。
第二安全等级的数据加密要求高于第一安全等级的数据加密要求,第三安全等级的数据加密要求高于第二安全等级的数据加密要求。
在本实施例中,第一安全等级的数据可以记为普通数据,第二安全等级的数据可以记为秘密数据,第三安全等级的数据可以记为机密数据。
具体地,数据分级模型是基于历史处理业务和迁移特征数据训练得到的,请参阅图5,图5是本发明数据分级模型的训练过程示意图。
在本实施例中,迁移特征数据包括业务员访问次数、数据迁移要求、行业法律法规、用户订购偏好、数据安全要求、访问延时要求。
其中,迁移特征数据可以基于用户历史处理业务数据提取。
具体地,利用数据分级模型对第一算力中心的待处理业务进行分类之前,若输入待处理业务的用户为新用户,基于面向用户的服务端解析用户所属的行业;基于行业的数据分类模型为待处理业务进行初步分类。
进一步地,若用户需要对数据分级模型的分类结果进行调整反馈,则可以基于用户的调整反馈,通过强化学习算法优化数据分级模型。
其中,数据分级模型是基于数据分级算法实现的。
可以理解地,在进行数据传输前,还需要接入并获取用户数据,用户数据包括用户历史业务处理数据和待处理业务数据。
S320:确定保留在第一算力中心的本地处理数据和传输至第二算力中心的迁移数据。
在本实施例中,保留在第一算力中心的本地处理数据包括第一安全等级的本地处理数据、第二安全等级的本地处理数据和第三安全等级的本地处理数据;传输至第二算力中心的迁移数据包括第一安全等级的迁移数据、第二安全等级的迁移数据和第三安全等级的迁移数据。
S330:确定迁移数据的算力资源需求、存储资源需求和网络资源需求,并判断第二算力中心是否满足迁移数据的算力资源需求、存储资源需求和网络资源需求。
请参阅图6,图6是算力网络数据传输过程的资源需求对比图。
具体地,依次对比迁移数据的算力资源需求和第二算力中心闲置的算力资源、迁移数据的存储资源需求和第二算力中心闲置的存储资源、迁移数据的网络资源需求和第一算力中心与第二算力中心之间的网络资源,获得对比结果,基于对比结果判断第二算力中心是否满足迁移数据的算力资源需求、存储资源需求和网络资源需求。
在本实施例中,资源对比结果由第二算力中心接收。
具体地,当第二算力中心的算力容量和性能满足迁移数据的算力容量需求和算力性能需求、第二算力中心的存储容量和性能满足迁移数据的存储容量需求和存储性能需求、第一算力中心与第二算力中心之间的网络资源满足迁移数据的网络资源需求时,将迁移数据传输至第二算力中心。
其中,网络资源需求是网络带宽和传输时延。
S340:在第二算力中心满足迁移数据的算力资源需求、存储资源需求和网络资源需求时,对不同安全等级的数据进行对应的数据处理。
具体地,第一安全等级的本地处理数据和第一安全等级的迁移数据无需加密处理,第一安全等级的迁移数据可直接进行数据传输;当用户需要访问第一安全等级的数据时,无需进行解密处理,可以直接访问。
对第二安全等级的本地处理数据和第二安全等级的迁移数据进行加密处理,将加密后的迁移数据发送至第二算力中心;当用户需要访问第二安全等级的数据时,需要利用相应的数据解密算法进行解密处理,并向用户提供解密后的数据。
可选地,加密算法可以为同态加密、差分隐私、不经意传输算法中的一种或多种。
对第三安全等级的本地处理数据和第三安全等级的迁移数据采用可信执行环境处理;当用户需要访问第三安全等级的数据时,可以通过访问第三安全等级的数据对应的独立内存实现数据访问。
S350:将迁移数据传输至第二算力中心,并在数据传输过程中根据第一算力中心和第二算力中心之间的网络流量变化情况调整迁移数据传输的时机和网络带宽。
本发明还提供一种电子设备,请参阅图7,图7是本发明电子设备一实施例的结构示意图。在本实施例中,电子设备可以包括存储器(memory)710、处理器(processor)720及存储在存储器710上并可在处理器720上运行的计算机程序。处理器720执行程序时实现上述各方法所提供的算力网络数据传输方法。
可选地,电子设备还可以包括通信总线730和通信接口(CommunicationsInterface)740,其中,处理器720,通信接口740,存储器710通过通信总线730完成相互间的通信。处理器720可以调用存储器710中的逻辑指令,以执行算力网络数据传输方法,该方法包括:利用数据分级模型对第一算力中心的待处理业务进行分类,得到数据分级模型输出的本地处理数据和迁移数据;其中,数据分级模型是基于历史处理业务和迁移特征数据训练得到的;确定迁移数据的算力资源需求、存储资源需求和网络资源需求;在第二算力中心满足迁移数据的算力资源需求、存储资源需求和网络资源需求时,将迁移数据传输至第二算力中心。
此外,上述的存储器710中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的算力网络数据传输方法,其步骤和原理在上述方法已详细介绍,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种算力网络数据传输方法,其特征在于,包括:
利用数据分级模型对第一算力中心的待处理业务进行分类,得到所述数据分级模型输出的本地处理数据和迁移数据;其中,所述数据分级模型是基于历史处理业务和迁移特征数据训练得到的;
确定所述迁移数据的算力资源需求、存储资源需求和网络资源需求;
在第二算力中心满足所述迁移数据的算力资源需求、存储资源需求和网络资源需求时,将所述迁移数据传输至所述第二算力中心。
2.根据权利要求1所述的算力网络数据传输方法,其特征在于,所述数据分级模型还用于对所述待处理业务进行安全分类,所述对第一算力中心的待处理业务进行分类,得到所述数据分级模型输出的本地处理数据和迁移数据,包括:
利用所述数据分级模型对第一算力中心的待处理业务进行安全分类,得到第一安全等级的待处理业务和第二安全等级的待处理业务;
利用所述数据分级模型分别对所述第一安全等级的待处理业务和所述第二安全等级的待处理业务进行分类,得到所述数据分级模型输出的第一安全等级的本地处理数据、第二安全等级的本地处理数据、第一安全等级的迁移数据和第二安全等级的迁移数据;其中,所述第二安全等级的数据加密要求高于所述第一安全等级的数据加密要求。
3.根据权利要求1所述的算力网络数据传输方法,其特征在于,所述将所述迁移数据传输至所述第二算力中心,包括:
按照预设周期检测所述第一算力中心和所述第二算力中心之间传输的网络流量数据;
基于所述网络流量数据确定当前时刻的带宽利用率;
在所述当前时刻的带宽利用率低于预设阈值时,根据预设网络带宽将所述迁移数据从所述第一算力中心传输至所述第二算力中心;
其中,所述预设网络带宽是根据所述带宽利用率、所述预设阈值和总网络带宽确定的。
4.根据权利要求2所述的算力网络数据传输方法,其特征在于,所述将所述迁移数据传输至所述第二算力中心,包括:
确定所述迁移数据的安全等级;
当所述迁移数据的安全等级为第二安全等级时,对所述迁移数据进行加密处理;
将加密后的迁移数据发送至所述第二算力中心。
5.根据权利要求4所述的算力网络数据传输方法,其特征在于,所述安全等级还包括第三安全等级,所述第三安全等级的数据加密要求高于所述第二安全等级的数据加密要求;
当所述迁移数据的安全等级为第三安全等级时,通过可信执行环境对所述迁移数据进行加密处理。
6.根据权利要求1至5任一项所述的算力网络数据传输方法,其特征在于,所述迁移特征数据包括业务员访问次数、数据迁移要求、行业法律法规、用户订购偏好、数据安全要求、访问延时要求中的至少两种。
7.根据权利要求1至5任一项所述的算力网络数据传输方法,其特征在于,所述利用数据分级模型对第一算力中心的待处理业务进行分类之前,包括:
若输入所述待处理业务的用户为新用户,基于面向用户的服务端解析用户所属的行业;
基于所述行业的数据分类模型为所述待处理业务进行初步分类;
根据用户对初步分类结果的调整反馈,优化所述数据分类模型。
8.一种算力网络数据传输装置,其特征在于,包括:
业务分类模块,用于利用数据分级模型对第一算力中心的待处理业务进行分类,得到所述数据分级模型输出的本地处理数据和迁移数据;其中,所述数据分级模型是基于历史处理业务和迁移特征因子训练得到的;
需求确认模块,用于确定所述迁移数据的算力资源需求、存储资源需求和网络资源需求;
判断传输模块,用于在第二算力中心满足所述迁移数据的算力资源需求、存储资源需求和网络资源需求时,将所述迁移数据传输至所述第二算力中心。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述算力网络数据传输方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述算力网络数据传输方法。
CN202310862747.7A 2023-07-14 2023-07-14 算力网络数据传输方法、装置、电子设备及存储介质 Active CN116582547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310862747.7A CN116582547B (zh) 2023-07-14 2023-07-14 算力网络数据传输方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310862747.7A CN116582547B (zh) 2023-07-14 2023-07-14 算力网络数据传输方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116582547A true CN116582547A (zh) 2023-08-11
CN116582547B CN116582547B (zh) 2023-10-20

Family

ID=87541778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310862747.7A Active CN116582547B (zh) 2023-07-14 2023-07-14 算力网络数据传输方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116582547B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200304571A1 (en) * 2019-03-19 2020-09-24 Hewlett Packard Enterprise Development Lp Application migrations
CN111949602A (zh) * 2020-07-16 2020-11-17 桂林电子科技大学 一种支持完整性验证的外包数据安全迁移方法与系统
CN112199355A (zh) * 2020-12-09 2021-01-08 北京易真学思教育科技有限公司 数据迁移方法、装置、电子设备及存储介质
CN114415965A (zh) * 2022-01-25 2022-04-29 中国农业银行股份有限公司 一种数据迁移方法、装置、设备及存储介质
CN114490566A (zh) * 2021-12-10 2022-05-13 苏州浪潮智能科技有限公司 集群数据迁移方法、装置、计算机设备及存储介质
CN114611572A (zh) * 2022-01-28 2022-06-10 北京工商大学 基于改进rbf神经网络的数据分级存储算法
CN114896201A (zh) * 2022-07-13 2022-08-12 广东电网有限责任公司 一种数字电网财务数据迁移方法及系统
CN115118526A (zh) * 2022-08-23 2022-09-27 北京润尼尔网络科技有限公司 一种vr设备数据迁移方法
CN115794407A (zh) * 2022-12-15 2023-03-14 中国电信股份有限公司 计算资源分配方法、装置、电子设备及非易失性存储介质
US11625368B1 (en) * 2021-10-25 2023-04-11 Paypal, Inc. Data migration framework
CN116418876A (zh) * 2023-04-27 2023-07-11 杭州东方通信软件技术有限公司 一种算力网络服务的迁移方法、系统及云管理平台

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200304571A1 (en) * 2019-03-19 2020-09-24 Hewlett Packard Enterprise Development Lp Application migrations
CN111949602A (zh) * 2020-07-16 2020-11-17 桂林电子科技大学 一种支持完整性验证的外包数据安全迁移方法与系统
CN112199355A (zh) * 2020-12-09 2021-01-08 北京易真学思教育科技有限公司 数据迁移方法、装置、电子设备及存储介质
US11625368B1 (en) * 2021-10-25 2023-04-11 Paypal, Inc. Data migration framework
CN114490566A (zh) * 2021-12-10 2022-05-13 苏州浪潮智能科技有限公司 集群数据迁移方法、装置、计算机设备及存储介质
CN114415965A (zh) * 2022-01-25 2022-04-29 中国农业银行股份有限公司 一种数据迁移方法、装置、设备及存储介质
CN114611572A (zh) * 2022-01-28 2022-06-10 北京工商大学 基于改进rbf神经网络的数据分级存储算法
CN114896201A (zh) * 2022-07-13 2022-08-12 广东电网有限责任公司 一种数字电网财务数据迁移方法及系统
CN115118526A (zh) * 2022-08-23 2022-09-27 北京润尼尔网络科技有限公司 一种vr设备数据迁移方法
CN115794407A (zh) * 2022-12-15 2023-03-14 中国电信股份有限公司 计算资源分配方法、装置、电子设备及非易失性存储介质
CN116418876A (zh) * 2023-04-27 2023-07-11 杭州东方通信软件技术有限公司 一种算力网络服务的迁移方法、系统及云管理平台

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RAJESH KUMAR C: "Securing Data storage in Cloud after Migration using Immutable Data Dispersion", 《2023 4TH INTERNATIONAL CONFERENCE FOR EMERGING TECHNOLOGY (INCET)》 *
赵泽亚;杨迪;梁小虎;王荣;金雪;: "海量遥感数据的存储迁移策略研究", 信息工程大学学报, no. 01 *

Also Published As

Publication number Publication date
CN116582547B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
US10135830B2 (en) Utilizing transport layer security (TLS) fingerprints to determine agents and operating systems
CN115168888B (zh) 一种业务自适应的数据治理方法、装置及设备
CN116980230B (zh) 一种信息安全保护方法及装置
CN111641563B (zh) 基于分布式场景的流量自适应方法与系统
CN105516081A (zh) 一种服务器下发安全策略的方法、系统及消息队列中间件
US9736187B2 (en) Data processing method and system
CN111316272A (zh) 使用行为和深度分析的先进网络安全威胁减缓
JPWO2019102911A1 (ja) 異常通信検知装置、異常通信検知方法、プログラム
CN117371044A (zh) 一种基于大数据的计算机信息安全处理方法及系统
JP2023550974A (ja) イメージ基盤悪性コード検知方法および装置とこれを利用する人工知能基盤エンドポイント脅威検知および対応システム
US10491706B2 (en) Method and system for processing service request messages based on queuing information
CN116418603A (zh) 一种工业互联网的安全综合管理方法及系统
CN118133312A (zh) 一种大数据平台下数据传输信息安全防护方法及系统
CN116582547B (zh) 算力网络数据传输方法、装置、电子设备及存储介质
CN112910728A (zh) 一种数据安全监控方法及装置
CN113630425B (zh) 一种多电力主体的财务数据安全传输方法
CN106817364B (zh) 一种暴力破解的检测方法及装置
CN114707134A (zh) 一种高性能密码卡安全管理方法、装置和系统
Koumidis et al. Optimizing blockchain for data integrity in cyber physical systems
WO2020228564A1 (zh) 一种应用服务方法与装置
CN111314332A (zh) 访问控制方法、装置、计算机系统和计算机可读存储介质
JP2022186077A (ja) 量子暗号通信システム、鍵管理検査装置、鍵管理検査方法及びプログラム
KR20220055661A (ko) 엣지 서비스 제어 처리 시스템 및 그 제어방법
CN118316733B (zh) 基于区块链的智能数据快速加密传输系统
Chen et al. Optimizing Network Service Continuity with Quality-Driven Resource Migration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant