CN116932318A - 用于进行数据处理和传输的方法、装置及计算机可读介质 - Google Patents

用于进行数据处理和传输的方法、装置及计算机可读介质 Download PDF

Info

Publication number
CN116932318A
CN116932318A CN202310798877.9A CN202310798877A CN116932318A CN 116932318 A CN116932318 A CN 116932318A CN 202310798877 A CN202310798877 A CN 202310798877A CN 116932318 A CN116932318 A CN 116932318A
Authority
CN
China
Prior art keywords
target
data
disk
memory
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310798877.9A
Other languages
English (en)
Inventor
孙袁袁
樊龙腾
孟令强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202310798877.9A priority Critical patent/CN116932318A/zh
Publication of CN116932318A publication Critical patent/CN116932318A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种用于进行数据处理和传输的方法、装置及计算机可读介质。根据本申请的方法包括：获取目标数据，所述目标数据基于用户的推流服务请求确定；将所述目标数据写入与目标磁盘对应的目标内存，所述目标内存用以将目标数据写入到所述目标磁盘；获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息；基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息。本申请通过在边缘计算集群的服务资源中，将待处理的数据先写入内存再从内存中写入磁盘，并通过监测内存数据队列的长度和数据由内存写入磁盘的速度来评估磁盘性能，从而能够实时地获知磁盘性能是否合格。

Description

用于进行数据处理和传输的方法、装置及计算机可读介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种用于进行数据处理和传输的方法、设备及计算机可读介质。
背景技术
基于现有技术的方案，一般基于磁盘每秒的输入输出量(Input/Output PerSecond，IOPS)或磁盘吞吐量等指标来判断磁盘性能的好坏。然而，在一些情况下这些磁盘性能指标无法直接地、实时地获取到。例如，对于直播边缘计算集群中的边缘计算资源，由于这些资源的磁盘为边缘计算厂商的资源，一般无法实时地获知磁盘的运行状态。如果磁盘性能较差而没被及时地发现，则会影响边缘算计算资源处理和传输数据的效率，并且容易达到磁盘性能瓶颈。
发明内容
本申请的多个方面提供一种用于进行数据处理和传输的方法、装置及计算机可读介质。
本申请的一方面，提供一种用于进行数据处理和传输的方法，包括：
获取目标数据，所述目标数据基于用户的推流服务请求确定；
将所述目标数据写入与目标磁盘对应的目标内存，所述目标内存用以将目标数据写入到所述目标磁盘；
获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息；
基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息。
本申请的一方面，提供一种用于进行数据处理和传输的方法，其中，所述方法包括：
边缘计算设备获取用户的推流服务请求，所述推流服务请求包括目标数据，其中，所述边缘计算设备对应边缘计算上行资源；
所述边缘计算设备向目标服务设备发送所述目标数据，其中，所述目标服务设备对应目标服务资源；
所述目标服务设备将获取的目标数据写入与目标磁盘对应的目标内存，所述目标内存用以将目标数据写入到所述目标磁盘，其中，所述目标内存和目标磁盘部署在目标服务资源中；
所述目标服务设备获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息，并基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息。
本申请的一方面，提供一种用于进行数据处理和传输的装置，包括：
用于获取目标数据的装置，所述目标数据基于用户的推流服务请求确定；
用于将所述目标数据写入与目标磁盘对应的目标内存的装置，所述目标内存用以将目标数据写入到所述目标磁盘；
用于获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息的装置；
用于基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息的装置
本申请的另一方面，提供一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行申请实施例的方法。
本申请的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现申请实施例的方法。
本申请实施例提供的方案，通过在边缘计算集群的服务资源中，将待处理的数据先写入内存再从内存中写入磁盘，并通过监测内存数据队列的长度和数据由内存写入磁盘的速度来来确定磁盘的运行状态，从而能够实时地获知磁盘性能是否合格，避免了没能及时发现磁盘出现瓶颈对服务资源处理数据带来的影响；边缘计算上行资源通过与调度系统的交互，向当前磁盘性能没有出现瓶颈的服务资源转推数据，避免了将数据转推至无法承载更多流量的服务资源而影响数据的处理传输；基于计费带宽确定边缘服务资源上传数据的速度，并在在不同的时间段基于不同的上传速度来上传数据，实现了在不增加成本的情况下来以较快的速度上传数据。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请实施例提供的一种用于进行数据处理和传输的方法的流程示意图；
图2示出了根据本申请实施例的一种用于进行数据处理和传输的方法的流程示意图；
图3示出了根据本申请实施例的示例性的边缘计算集群和调度系统的示意图；
图4示出了本申请实施例提供的用于进行数据处理和传输的装置的结构示意图；
图5出了根据本申请实施例的用于进行数据处理和传输的边缘计算设备和目标服务设备的结构示意图。
图6示出了适用于实现本申请实施例中的方案的一种设备的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请一个典型的配置中，终端、服务网络的设备均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机程序指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
图1示出了本申请实施例提供的一种用于进行数据处理和传输的方法的流程示意图。所述方法至少包括步骤S1、步骤S2、步骤S3和步骤S4。
在直播的场景中，本申请实施例的方法可由边缘计算集群中的目标服务资源来执行。其中，所述目标服务资源可使用容器部署。所述目标服务资源可以是由一个或多个容器组成的POD。例如，包括与直播场景相关的录制POD、截图POD等。POD是kubernetes中最小的调度单位，POD中的容器共享网络和存储资源。
其中，所述目标服务资源的磁盘一般为边缘计算资源提供方的资源，因而无法在目标服务资源中实时获取到诸磁盘IOPS或磁盘吞吐量等用于指示磁盘性能的指标。例如，由于直播内容需要录制和截图以供审核，上述录制POD在直播过程中会在磁盘中写入直播数据并将相应的录制文件上传至云端的存储中心，以供审核人员进行审核。如果录制POD磁盘性能较差，则在磁盘中写入数据的速度慢，从而导致生成录制文件的速度慢。因此，如果录制POD此案性能变差并且没有被及时发现，审核人员将无法及时查看到录制文件。并且，如果录制文件上传到录制中心的速度慢，将导致大量文件堆积在磁盘上，一旦磁盘没有剩余量了，将无法继续在磁盘中写入数据，从而影响录制POD的进行上传操作。
参照图1，在步骤S1中，获取目标数据，所述目标数据基于用户的推流服务请求确定。
其中，所述目标数据为需要由目标服务资源处理的数据，例如直播的音视频流数据等。
其中，目标服务资源所在的边缘计算集群中的边缘计算上行资源获取到用户的推流服务请求后，将相应的目标数据推至所述目标服务资源。
在步骤S2中，将所述目标数据写入与目标磁盘对应的目标内存，所述目标内存用以将目标数据写入到所述目标磁盘。
其中，所述目标磁盘和目标内存为目标服务资源的磁盘和内存。
其中，所述目标内存的提供方与所述目标磁盘的提供方不一致。此处两个提供方不一致的情况包括各种使得目标服务资源无法获得目标磁盘的相关信息的情况。例如，目标内存的提供方是目标磁盘的实际使用方。又例如，目标内存的提供方和提供目标磁盘的边缘计算厂商不同。
在步骤S3中，获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息。
根据一个实施例，所述方法在所述目标内存中创建数据队列，所述数据队列用于存储目标数据。
其中，所述第一运行状态信息包括以下至少任一项：
1)所述目标内存中数据队列的长度信息；
2)所述目标内存将目标数据写入到所述目标磁盘的速度信息。
在步骤S4中，基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息。
其中，所述第二运行状态信息用于指示目标磁盘的运行状态。
需要说明的是，将目标数据写入目标内存的过程中，目标数据被依次地增加至目标内存中的数据队列尾部。将目标数据从目标内存写入目标磁盘的过程中，从该数据队列的头部读取数据并写入目标磁盘。如果磁盘性能不佳，则会导致数据队列的长度变长，数据写入磁盘的速度变慢。因此，所述数据队列的长度和数据写入磁盘的速度均可反映磁盘当前的运行状态。
根据一个实施例，若所述目标内存中数据队列的长度信息大于预设长度，和/或所述目标内存将目标数据写入到所述目标磁盘的速度信息小于预设速度，则所述目标磁盘的第二运行状态信息指示目标磁盘性能不合格。
例如，预先设置长度阈值L和速度阈值V。所述方法在目标内存中创建数据队列queue_1，在步骤S3中获取queue_1的长度和目标数据写入到所述目标磁盘的速度v1。将queueLength_1和长度阈值L进行比较，并将v1和速度阈值V进行比较。如果queueLength_1大于L或v1小于V，则确定目标磁盘的第二运行状态信息指示目标磁盘性能不合格。
根据本实施例的方法，若第二运行状态信息指示目标磁盘性能不合格，向对应调度系统发送目标服务资源的第一运行调整请求，所述调度系统用于基于所述第一所述运行调整请求执行第一资源运行调整操作。
其中，所述第一运行调整操作包括各种基于目标磁盘性能不合格的情况执行的操作。
可选地，所述第一资源运行调整操作包括对相应的目标服务资源添加磁盘性能不合格的标识。
可选地，所述第一资源运行调整操作还可包括记录或存储目标服务资源磁盘性能不合格的信息等。
若所述第二运行状态信息指示从目标磁盘性能不合格切换为目标磁盘性能合格，向对应调度系统发送目标服务资源的第二运行调整请求，所述调度系统用于基于所述第二所述运行调整请求执行第二资源运行调整操作。
其中，所述第二资源运行调整操作包括各种基于目标磁盘性能由不合格切换为性能合格的情况执行的操作。
可选地，所述第二资源运行调整操作包括去除相应的目标服务资源的磁盘性能不合格的标识。
可选地，所述第二资源运行调整操作还可包括记录或存储目标服务资源磁盘性能合格的信息等。
根据一个实施例，所述方法定期地执行步骤S3和步骤S4来获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息，并基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息。
根据本申请实施例的方法，通过在边缘计算集群的服务资源中，将待处理的数据先写入内存再从内存中写入磁盘，并通过监测内存数据队列的长度和数据由内存写入磁盘的速度来来确定磁盘的运行状态，从而能够实时地获知磁盘性能是否合格，避免了没能及时发现磁盘出现瓶颈对服务资源处理数据带来的影响。
图2示出了根据本申请实施例的一种用于进行数据处理和传输的方法的流程示意图。所述方法包括由边缘计算设备执行的步骤S201和步骤S202，和由目标服务设备执行的步骤S101和步骤S102。
其中，所述边缘计算设备对应边缘计算上行资源，所述目标服务设备对应目标服务资源。例如，参照图3所示的示例性的边缘计算集群，所述边缘计算上行资源为直播场景中的边缘计算上行POD，目标服务资源为录制POD。在直播流程中，主播公网推流至边缘计算上行POD，边缘计算上行POD将流转推至录制POD，录制POD接受推流后由应用程序将流数据写入自身的内存，再由内存写入磁盘。
参照图2，在步骤S201中，边缘计算设备获取用户的推流服务请求，所述推流服务请求包括目标数据。
在步骤S202中，所述边缘计算设备向目标服务设备发送所述目标数据。
在步骤S101中，所述目标服务设备将获取的目标数据写入与目标磁盘对应的目标内存，所述目标内存用以将目标数据写入到所述目标磁盘。
其中，所述目标内存和目标磁盘部署在目标服务资源中。
在步骤S102中，所述目标服务设备获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息，并基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息。
根据一个实施例，所述方法还包括边缘计算设备执行的步骤S203，和由调度系统执行的步骤S301和步骤S302。
在步骤S203中，所述边缘计算设备获取用户的推流服务请求后，向调度系统发送相应的询问请求。
在步骤S301中，所述调度系统响应于来所述边缘计算设备的询问请求，从边缘计算设备所在的集群中选择满足预定条件的服务设备，从而将所选择的服务设备的访问地址反馈至所述边缘计算设备。
其中，所述预定条件包括以下至少任一项：
1)服务设备的目标磁盘的第二运行状态信息指示目标磁盘性能合格；
2)服务设备的磁盘使用率小于预定阈值。
在步骤S302中，如果所述集群中没有满足预定条件的服务设备，调度系统从目标区域的其他集群中选择存在满足所述预定条件的服务设备的集群，并向所选择的集群的边缘计算设备进行推流。
其中，所述目标区域为边缘计算设备所在集群的地理位置对应的区域。
例如，假设边缘计算设备所在集群的地理位置为上海，则确定目标区域为华东地区，并从华东地区其他集中选择存在满足所述预定条件的服务设备的集群。
根据一个实施例，所述方法还包括由目标服务设备执行的步骤S103和步骤S104。
在步骤S103中，目标服务设备从调度系统获取上传指示信息。
其中，所述上传指示信息包括上传速度。
其中，目标服务设备可定期地或在需要上传数据时向调度系统发送相应的请求，以获得调度系统反馈的上传指示信息。或者，目标服务设备可接收调度系统主动发送的上传指示信息。
在步骤S104中，目标服务设备基于所述上传指示信息将目标数据上传至云端存储中心。
根据本实施例的方法还包括调度系统执行的步骤S303和步骤S304。
在步骤S303中，调度系统确定目标服务设备对应的上传速度。
在步骤S304中，调度系统将包含所述上传速度的上传指示信息发送至相应的目标服务设备。
可选地，在步骤S303中，所述调度系统获取目标服务设备所在的边缘计算集群在预定时间范围内的计费带宽；通过计算所述计费带宽与边缘计算集群的实时公网带宽的差值，得到边缘计算集群对应的可用于上传数据的带宽；基于所述可用于上传数据的带宽，确定所述目标服务设备对应第一速度，作为目标服务设备对应的上传速度。
其中，所述计费带宽为95计费点对应的带宽。该95计费点用于计算集群的带宽成本，例如，假设带宽每5分钟为一个点，一天共24*60/5＝288个点，将这288个点升序排列，第288*0.95高的点即为95计费点，一天按照这个计费点付钱给厂商。
假设过去一天95计费点对应的带宽为60G，边缘计算集群在某个时间点的实时公网带宽为30G，则可用于上传数据的带宽为95计费点对应的带宽与实时公网带宽的差值，即30G。基于该差值30G确定相应的第一速度，使得上传数据的带宽不超过30G，从而不会将计费点提高。
可选地，在步骤S303中，若在第一时间段，调度系统确定目标服务设备对应的上传速度为第二速度；若在第二时间段，调度系统确定目标服务设备对应的上传速度为第三速度。
可选地，所述第一时间段对应于进行直播的用户较多的时间段，第二时间段则对应于进行直播的用户较少的时间段。
可选地，第三速度对应于所述第一速度，若在所述第二时间段，目标服务设备基于第一速度将目标数据上传至云端存储中心。
可选地，所述第二速度为零，若在所述第一时间段，目标服务设备将所述目标数据传输至对应的边缘磁盘中。其中，所述边缘磁盘可以是目标服务设备对应节点的磁盘。或者，所述边缘磁盘可以是所述目标服务设备所在的边缘计算集群的磁盘。
例如，通常晚上的直播用户最多，白天较少，凌晨最少。第一时间段为对应于直播活动“晚高峰”的20点至24点，第二时间段为0点至20点。由于上述95计费点是基于没有上传数据的前提下来确定的，并且该计费点在“晚高峰”的第一时间段产生，如果在此时间段进行数据上传会必然地提高计费点对应的带宽。因此，令第二速度为零，使得在第一时间段不进行任何的数据上传操作，则不会提高计费点对应的带宽，从而节省带宽成本。
根据本申请实施例的方法，边缘计算上行资源通过与调度系统的交互，向当前磁盘性能没有出现瓶颈的服务资源转推数据，避免了将数据转推至无法承载更多流量的服务资源而影响数据的处理和传输；基于计费带宽确定边缘服务资源上传数据的速度，并在在不同的时间段基于不同的上传速度来上传数据，实现了在不增加成本的情况下以较快的速度上传数据。
下面结合一个示例对本申请的方法进行说明。
图3示出了根据本申请实施例的示例性的边缘计算集群和调度系统的示意图。
本示例的边缘计算集群包括多个POD。图3中示出了边缘计算集群中的边缘计算上行POD和录制POD。在直播流程中，主播公网推流至边缘计算上行POD，边缘计算上行POD将流转推至录制POD，录制POD接受推流后由应用程序将流数据写入自身的内存，再由内存写入磁盘。写入磁盘后，录制POD将相应的录制文件通过公网上传至云端的录制存储中心，以供审核人员进行审核。
其中，本示例的方法基于以下判断标准来判断录制POD的磁盘性能是否合格：如果内存中的数据队列的长度超过长度阈值L或者数据写入磁盘的速度小于速度阈值V，则确定该录制POD的磁盘性能不合格。磁盘性能不合格的录制POD将被添加指示磁盘性能瓶颈的标识。
其中，调度系统用于对集群中的POD进行调度。
本示例中上传录制文件的流程包括:
P1：主播开播推流至边缘计算上行POD；
P2：边缘计算上行POD获取该推流服务请求，向调度系统发送询问请求，该服务请求用于获得可录制POD；
P3：调度系统响应于来所述边缘计算设备的询问请求，基于以下条件来选择POD：没有指示磁盘性能瓶颈的标识，并且磁盘剩余使用率小于预定阈值。如果在该集群内没有满足上述条件的录制POD，则执行步骤P4；如果有满足上述条件的POD，则调度系统将满足条件的POD的IP地址发送至边缘计算上行POD并执行步骤P5；
P4：调度系统从相同地区的其他集群选择存在满足上述条件的录制POD的集群，并基于所选择的集群内的边缘计算上行POD的外网IP，将流转推至该新的边缘计算上行POD。该新的边缘计算上行POD接受推流后，再次执行步骤P2；
P5：录制POD接受推流后，将流数据由应用程序写入内存，再从内存中将流数据写入磁盘；
P6：录制POD在内存中创建一个数据队列来存储需要写入磁盘的流数据。接着，录制POD基于监测到的数据队列的长度和内存将数据写入到磁盘的速度，使用上述标准判断磁盘性能是否合格；如果磁盘性能不合格，则录制POD调用调度系统接口。调度系统接受到请求后，给该录制POD对应的节点添加磁盘性能瓶颈的标识，标识其已经无法承载更多流量，并相应地对该标识进行存储。如果磁盘性能由不合格切换为合格，则录制POD再次调用调度系统接口，调度系统接受到请求后，去除磁盘性能瓶颈的标识，并相应地对去除标识进行存储。
P7:录制POD从磁盘中上传录制文件到录制存储中心。
录制POD从调度系统上传指示信息，以基于该上传指示信息指示来上传录制文件。
具体地，调度系统通过向集群中的录制POD发送上传指示信息，指示录制POD以错峰上传的方式来进行录制上传。基于所指示的错峰上传的方式，录制POD按照以下对应于不同时间段的上传速度来上传录制文件：在每天的20点至24点，上传速度为0；在其他时间段，上传速度＝前一天的95计费点-前一天实时进出公网带宽的最大值。
由于在20点至24点的上传速度为0，使得在该时间段部分录制文件未上传至云端的录制存储中心，而是存储在录制POD的磁盘中，而审核人员基于默认的录制存储中心的访问地址无法实时观看到这些未上传至录制存储中心的录制文件。为了满足审核人员实时回看录制文件的需求，调度系统记录各个录制文件是否已经上传至录制存储中心，对于未上传至录制存储中心的录制文件，将审核人员的观看文件的访问地址由默认的录制存储中心的地址更改为该录制文件所在的磁盘的节点的IP地址，以供审核人员访问该节点的磁盘来观看该录制文件。
如果在录制POD磁盘性能较差时没有被及时发现，则会导致生成录制文件的速度慢，使得审核人员无法在第一时间查看到录制文件。而本示例通过监测内存数据队列的长度和数据由内存写入磁盘的速度，实时地评估录制POD的磁盘性能，推断录制POD的磁盘性能是否出现瓶颈，一旦出现瓶颈可及时地被调度系统发现并不再向该录制POD推流，进而保证录制文件的上传速度不受其影响。并且，本示例的方法基于计费带宽来确定录制POD的上传速度，并在不同的时间段基于不同的上传速度来上传录制文件，实现了在不增加成本的情况下来以较快的速度上传录制文件。
此外，本申请实施例还提供了一种用于进行数据处理和传输的装置，该设备的结构如图4所示。
所述装置包括：用于获取目标数据的装置(以下简称“数据获取装置1”)，用于将所述目标数据写入与目标磁盘对应的目标内存的装置(以下简称“数据写入装置2”)，用于获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息的装置(以下简称“状态获取装置3”)，和用于基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息的装置(以下简称“状态确定装置4”)。
参照图4，数据获取装置1获取目标数据，所述目标数据基于用户的推流服务请求确定。
其中，所述目标数据为需要由目标服务资源处理的数据，例如直播的音视频流数据等。
其中，目标服务资源所在的边缘计算集群中的边缘计算上行资源获取到用户的推流服务请求后，将相应的目标数据推至所述目标服务资源。
数据写入装置2将所述目标数据写入与目标磁盘对应的目标内存，所述目标内存用以将目标数据写入到所述目标磁盘。
其中，所述目标磁盘和目标内存为目标服务资源的磁盘和内存。
其中，所述目标内存的提供方与所述目标磁盘的提供方不一致。此处两个提供方不一致的情况包括各种使得目标服务资源无法获得目标磁盘的相关信息的情况。例如，目标内存的提供方是目标磁盘的实际使用方。又例如，目标内存的提供方和提供目标磁盘的边缘计算厂商不同。
状态获取装置3获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息。
根据一个实施例，所述装置在所述目标内存中创建数据队列，所述数据队列用于存储目标数据。
其中，所述第一运行状态信息包括以下至少任一项：
1)所述目标内存中数据队列的长度信息；
2)所述目标内存将目标数据写入到所述目标磁盘的速度信息。
状态确定装置4基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息。
其中，所述第二运行状态信息用于指示目标磁盘的运行状态。
需要说明的是，将目标数据写入目标内存的过程中，目标数据被依次地增加至目标内存中的数据队列尾部。将目标数据从目标内存写入目标磁盘的过程中，从该数据队列的头部读取数据并写入目标磁盘。如果磁盘性能不佳，则会导致数据队列的长度变长，数据写入磁盘的速度变慢。因此，所述数据队列的长度和数据写入磁盘的速度均可反映磁盘当前的运行状态。
根据一个实施例，若所述目标内存中数据队列的长度信息大于预设长度，和/或所述目标内存将目标数据写入到所述目标磁盘的速度信息小于预设速度，则所述目标磁盘的第二运行状态信息指示目标磁盘性能不合格。
例如，预先设置长度阈值L和速度阈值V。所述方法在目标内存中创建数据队列queue_1，在步骤S3中获取queue_1的长度和目标数据写入到所述目标磁盘的速度v1。将queueLength_1和长度阈值L进行比较，并将v1和速度阈值V进行比较。如果queueLength_1大于L或v1小于V，则状态确定装置4确定目标磁盘的第二运行状态信息指示目标磁盘性能不合格。
根据本实施例的装置，若第二运行状态信息指示目标磁盘性能不合格，目标服务资源向对应调度系统发送目标服务资源的第一运行调整请求，所述调度系统用于基于所述第一所述运行调整请求执行第一资源运行调整操作。
其中，所述第一运行调整操作包括各种基于目标磁盘性能不合格的情况执行的操作。
可选地，所述第一资源运行调整操作包括对相应的目标服务资源添加磁盘性能不合格的标识。
可选地，所述第一资源运行调整操作还可包括记录或存储目标服务资源磁盘性能不合格的信息等。
若所述第二运行状态信息指示从目标磁盘性能不合格切换为目标磁盘性能合格，向对应调度系统发送目标服务资源的第二运行调整请求，所述调度系统用于基于所述第二所述运行调整请求执行第二资源运行调整操作。
其中，所述第二资源运行调整操作包括各种基于目标磁盘性能由不合格切换为性能合格的情况执行的操作。
可选地，所述第二资源运行调整操作包括去除相应的目标服务资源的磁盘性能不合格的标识。
可选地，所述第二资源运行调整操作还可包括记录或存储目标服务资源磁盘性能合格的信息等。。
根据一个实施例，定期地执行状态获取装置3的操作和状态确定装置4的操作，来获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息，并基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息。
根据本申请实施例的装置，通过在边缘计算集群的服务资源中，将待处理的数据先写入内存再从内存中写入磁盘，并通过监测内存数据队列的长度和数据由内存写入磁盘的速度来来确定磁盘的运行状态，从而能够实时地获知磁盘性能是否合格，避免了没能及时发现磁盘出现瓶颈对服务资源处理数据带来的影响。
图5示出了根据本申请实施例的用于进行数据处理和传输的边缘计算设备和目标服务设备的结构示意图。
其中，所述边缘计算设备对应边缘计算上行资源，所述边缘计算设备包括：用于获取用户的推流服务请求的装置(以下简称“请求获取装置201”)和用于向目标服务设备发送所述目标数据的装置(以下简称“数据发送装置202”)。
其中，所述目标服务设备对应目标服务资源，所述目标服务设备包括：用于将获取的目标数据写入与目标磁盘对应的目标内存的装置(以下简称“内存写入装置101”)，和用于获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息，并基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息的装置(以下简称“状态获取和确定装置102”)
例如，参照图3所示的示例性的边缘计算集群，所述边缘计算上行资源为直播场景中的边缘计算上行POD，目标服务资源为录制POD。在直播流程中，主播公网推流至边缘计算上行POD，边缘计算上行POD将流转推至录制POD，录制POD接受推流后由应用程序将流数据写入自身的内存，再由内存写入磁盘。
参照图5，请求获取装置201获取用户的推流服务请求，所述推流服务请求包括目标数据。
数据发送202向目标服务设备发送所述目标数据。
内存写入装置101将获取的目标数据写入与目标磁盘对应的目标内存，所述目标内存用以将目标数据写入到所述目标磁盘。
其中，所述目标内存和目标磁盘部署在目标服务资源中。
状态获取和确定装置102获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息，并基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息。
根据一个实施例，所述边缘计算设备还包括用于获取用户的推流服务请求后，向调度系统发送相应的询问请求的装置(以下简称“询问请求装置”)。
获取用户的推流服务请求后，询问请求装置向调度系统发送相应的询问请求。
调度系统响应于来所述边缘计算设备的询问请求，从边缘计算设备所在的集群中选择满足预定条件的服务设备，从而将所选择的服务设备的访问地址反馈至所述边缘计算设备。
其中，所述预定条件包括以下至少任一项：
1)服务设备的目标磁盘的第二运行状态信息指示目标磁盘性能合格；
2)服务设备的磁盘使用率小于预定阈值。
如果所述集群中没有满足预定条件的服务设备，调度系统从目标区域的其他集群中选择存在满足所述预定条件的服务设备的集群，并向所选择的集群的边缘计算设备进行推流。
其中，所述目标区域为边缘计算设备所在集群的地理位置对应的区域。
例如，假设边缘计算设备所在集群的地理位置为上海，则确定目标区域为华东地区，并从华东地区其他集中选择存在满足所述预定条件的服务设备的集群。
根据一个实施例，所述目标服务设备还包括：用于从调度系统获取上传指示信息的装置(以下简称“指示获取装置”)，和用于基于所述上传指示信息将目标数据上传至云端存储中心的装置(以下简称“数据上传装置”)。
指示获取装置从调度系统获取上传指示信息。
其中，所述上传指示信息包括上传速度。
其中，指示获取装置可定期地或在需要上传数据时向调度系统发送相应的请求，以获得调度系统反馈的上传指示信息。或者，目标服务设备可接收调度系统主动发送的上传指示信息。
数据上传装置基于所述上传指示信息将目标数据上传至云端存储中心。
根据本实施例的调度系统包括：用于确定目标服务设备对应的上传速度的装置(以下简称“速度确定装置”)，和用于将包含所述上传速度的上传指示信息发送至相应的目标服务设备的装置(以下简称“指示发送装置”)
可选地，速度确定装置获取目标服务设备所在的边缘计算集群在预定时间范围内的计费带宽；速度确定装置通过计算所述计费带宽与边缘计算集群的实时公网带宽的差值，得到边缘计算集群对应的可用于上传数据的带宽；速度确定装置基于所述可用于上传数据的带宽，确定所述目标服务设备对应第一速度，作为目标服务设备对应的上传速度。
其中，所述计费带宽为95计费点对应的带宽。该95计费点用于计算集群的带宽成本，例如，假设带宽每5分钟为一个点，一天共24*60/5＝288个点，将这288个点升序排列，第288*0.95高的点即为95计费点，一天按照这个计费点付钱给厂商。
假设过去一天95计费点对应的带宽为60G，边缘计算集群在某个时间点的实时公网带宽为30G，则可用于上传数据的带宽为95计费点对应的带宽与实时公网带宽的差值，即30G。基于该差值30G确定相应的第一速度，使得上传数据的带宽不超过30G，从而不会将计费点提高。
可选地，若在第一时间段，速度确定装置确定目标服务设备对应的上传速度为第二速度；若在第二时间段，速度确定装置确定目标服务设备对应的上传速度为第三速度。
可选地，所述第一时间段对应于进行直播的用户较多的时间段，第二时间段则对应于进行直播的用户较少的时间段。
可选地，第三速度对应于所述第一速度，若在所述第二时间段，目标服务设备基于第一速度将目标数据上传至云端存储中心。
可选地，所述第二速度为零，若在所述第一时间段，目标服务设备将所述目标数据传输至对应的边缘磁盘中。
其中，所述边缘磁盘可以是目标服务设备对应节点的磁盘。或者，所述边缘磁盘可以是所述目标服务设备所在的边缘计算集群的磁盘。
例如，通常晚上的直播用户最多，白天较少，凌晨最少。第一时间段为对应于直播活动“晚高峰”的20点至24点，第二时间段为0点至20点。由于上述95计费点是基于没有上传数据的前提下来确定的，并且该计费点在“晚高峰”的第一时间段产生，如果在此时间段进行数据上传会必然地提高计费点对应的带宽。因此，令第二速度为零，使得在第一时间段不进行任何的数据上传操作，则不会提高计费点对应的带宽，从而节省了带宽成本。
根据本申请实施例的装置，边缘计算上行资源通过与调度系统的交互，向当前磁盘性能没有出现瓶颈的服务资源转推数据，避免了将数据转推至无法承载更多流量的服务资源而影响数据的处理和传输；基于计费带宽确定边缘服务资源上传数据的速度，并在在不同的时间段基于不同的上传速度来上传数据，实现了在不增加成本的情况下以较快的速度上传数据。
基于同一发明构思，本申请实施例中还提供了一种电子设备，所述电子设备对应的方法可以是前述实施例中的用于进行数据处理和传输的方法，并且其解决问题的原理与该方法相似。本申请实施例提供的所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述本申请的多个实施例的方法和/或技术方案。
所述电子设备可以是用户设备、或者用户设备与网络设备通过网络相集成所构成的设备，或者也可以是运行于上述设备的应用程序，所述用户设备包括但不限于计算机、手机、平板电脑、智能手表、手环等各类终端设备，所述网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现，可以用于实现设置闹钟时的部分处理功能。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。
图6示出了适用于实现本申请实施例中的方法和/或技术方案的一种设备的结构，该设备1200包括中央处理单元(CPU，Central Processing Unit)1201，其可以根据存储在只读存储器(ROM，Read Only Memory)1202中的程序或者从存储部分1208加载到随机访问存储器(RAM，Random Access Memory)1203中的程序而执行各种适当的动作和处理。在RAM1203中，还存储有系统操作所需的各种程序和数据。CPU 1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O，Input/Output)接口1205也连接至总线1204。
以下部件连接至I/O接口1205：包括键盘、鼠标、触摸屏、麦克风、红外传感器等的输入部分1206；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，LiquidCrystal Display)、LED显示器、OLED显示器等以及扬声器等的输出部分1207；包括硬盘、光盘、磁盘、半导体存储器等一个或多个计算机可读介质的存储部分1208；以及包括诸如LAN(局域网，Local Area Network)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。
特别地，本申请实施例中的方法和/或实施例可以被实现为计算机软件程序。例如，本申请公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在该计算机程序被中央处理单元(CPU)1201执行时，执行本申请的方法中限定的上述功能。
本申请另一实施例还提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现前述本申请的任意一个或多个实施例的方法和/或技术方案。
具体来说，本实施例可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图或框图示出了按照本申请各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的针对硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或页面组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一个计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (19)

1.一种用于进行数据处理和传输的方法，其中，所述方法包括：
获取目标数据，所述目标数据基于用户的推流服务请求确定；
将所述目标数据写入与目标磁盘对应的目标内存，所述目标内存用以将目标数据写入到所述目标磁盘；
获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息；
基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息。
2.根据权利要求1所述方法，所述第一运行状态信息包括以下至少任一项：
所述目标内存中数据队列的长度信息；
所述目标内存将目标数据写入到所述目标磁盘的速度信息。
3.根据权利要求2所述的方法，其中，所述方法还包括：
在所述目标内存中创建数据队列，所述数据队列用于存储目标数据。
4.根据权利要求2或3中任一项所述的方法，其中，若所述目标内存中数据队列的长度信息大于预设长度，和/或所述目标内存将目标数据写入到所述目标磁盘的速度信息小于预设速度，则所述目标磁盘的第二运行状态信息指示目标磁盘性能不合格。
5.根据权利要求4所述的方法，其中，所述方法还包括以下至少任一项：
向对应调度系统发送目标服务资源的第一运行调整请求，所述调度系统用于基于所述第一所述运行调整请求执行第一资源运行调整操作。
6.根据权利要求5所述的方法，其中，所述方法还包括：
若所述第二运行状态信息指示从目标磁盘性能不合格切换为目标磁盘性能合格，向对应调度系统发送目标服务资源的第二运行调整请求，所述调度系统用于基于所述第二所述运行调整请求执行第二资源运行调整操作。
7.据权利要起1至6中任一项所述的方法，其中，所述目标内存的提供方与所述目标磁盘的提供方不一致。
8.一种用于进行数据处理和传输的方法，其中，所述方法包括：
边缘计算设备获取用户的推流服务请求，所述推流服务请求包括目标数据，其中，所述边缘计算设备对应边缘计算上行资源；
所述边缘计算设备向目标服务设备发送所述目标数据，其中，所述目标服务设备对应目标服务资源；
所述目标服务设备将获取的目标数据写入与目标磁盘对应的目标内存，所述目标内存用以将目标数据写入到所述目标磁盘，其中，所述目标内存和目标磁盘部署在目标服务资源中；
所述目标服务设备获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息，并基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息。
9.根据权利要求8所述的方法，其中，所述方法还包括：
所述边缘计算设备获取用户的推流服务请求后，向调度系统发送相应的询问请求；
所述调度系统响应于来所述边缘计算设备的询问请求，从边缘计算设备所在的集群中选择满足预定条件的服务设备，从而将所选择的服务设备的访问地址反馈至所述边缘计算设备；
如果所述集群中没有满足预定条件的服务设备，调度系统从目标区域的其他集群中选择存在满足所述预定条件的服务设备的集群，并向所选择的集群的边缘计算设备进行推流。
10.根据权利要求9所述的方法，其中，所述预定条件包括以下至少任一项：
服务设备的目标磁盘的第二运行状态信息指示目标磁盘性能合格；
服务设备的磁盘使用率小于预定阈值。
11.根据权利要求8至10中任一项所述的方法，其中，所述方法还包括：
目标服务设备从调度系统获取上传指示信息，其中，所述上传指示信息包括上传速度；
目标服务设备基于所述上传指示信息将目标数据上传至云端存储中心。
12.根据权利要求11所述的方法，其中，所述方法还包括：
调度系统确定目标服务设备对应的上传速度；
调度系统将包含所述上传速度的上传指示信息发送至相应的目标服务设备。
13.根据权利要求12所述的方法，其中，所述调度系统确定目标服务设备对应的上传速度包括：
获取目标服务设备所在的边缘计算集群在预定时间范围内的计费带宽；
通过计算所述计费带宽与边缘计算集群的实时公网带宽的差值，得到边缘计算集群对应的可用于上传数据的带宽；
基于所述可用于上传数据的带宽，确定所述目标服务设备对应第一速度，作为目标服务设备对应的上传速度。
14.根据权利要求11或12所述的方法，其中，所述调度系统确定目标服务设备对应的上传速度包括：
若在第一时间段，确定目标服务设备对应的上传速度为第二速度；
若在第二时间段，确定目标服务设备对应的上传速度为第三速度。
15.根据权利要求14所述的方法，其中，所述第三速度对应于所述第一速度，所述目标服务设备基于所述上传指示信息将目标数据上传至云端存储中心包括：
若在所述第二时间段，目标服务设备基于第一速度将目标数据上传至云端存储中心。
16.根据权利要求14所述的方法，其中，所述第二速度为零，所述方法还包括：
若在所述第一时间段，目标服务设备将所述目标数据传输至对应的边缘磁盘中。
17.一种用于进行数据处理和传输的装置，其中，所述装置包括：
用于获取目标数据的装置，所述目标数据基于用户的推流服务请求确定；
用于将所述目标数据写入与目标磁盘对应的目标内存的装置，所述目标内存用以将目标数据写入到所述目标磁盘；
用于获取所述目标数据被写入目标内存时所述目标内存的第一运行状态信息的装置；
用于基于所述第一运行状态信息确定所述目标磁盘的第二运行状态信息的装置。
18.一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法，或者执行权利要求8至16中任一项所述的方法。
19.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行权利要求1至7中任一项所述的方法，或者执行权利要求8至16中任一项所述的方法。
CN202310798877.9A 2023-06-30 2023-06-30 用于进行数据处理和传输的方法、装置及计算机可读介质 Pending CN116932318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310798877.9A CN116932318A (zh) 2023-06-30 2023-06-30 用于进行数据处理和传输的方法、装置及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310798877.9A CN116932318A (zh) 2023-06-30 2023-06-30 用于进行数据处理和传输的方法、装置及计算机可读介质

Publications (1)

Publication Number Publication Date
CN116932318A true CN116932318A (zh) 2023-10-24

Family

ID=88387065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310798877.9A Pending CN116932318A (zh) 2023-06-30 2023-06-30 用于进行数据处理和传输的方法、装置及计算机可读介质

Country Status (1)

Country Link
CN (1) CN116932318A (zh)

Similar Documents

Publication Publication Date Title
US11146502B2 (en) Method and apparatus for allocating resource
CN110008050B (zh) 用于处理信息的方法和装置
US11259063B2 (en) Method and system for setting video cover
CN112218115B (zh) 流媒体音视频同步的控制方法、装置、计算机设备
US9648128B2 (en) Dynamic ad hoc cloud based memory management for mobile devices
CN103533087A (zh) 一种云服务平台中间件及云上传方法
CN102298547A (zh) 一种数据备份方法及其装置
CN110781149A (zh) 管理直播间信息的方法、装置、设备及存储介质
CN105786539B (zh) 一种文件下载方法及装置
US10587902B2 (en) Fault tolerant capacity exchange
EP3020206B1 (en) Cloud computing system and method utilizing unused resources of non-dedicated devices
CN112433920A (zh) 一种埋点数据上报方法、装置、设备及介质
CN116627333A (zh) 日志缓存方法、装置、电子设备及计算机可读存储介质
US10798249B2 (en) Managing live video stream connections and data usage
CN116932318A (zh) 用于进行数据处理和传输的方法、装置及计算机可读介质
EP4379543A1 (en) Cloud desktop data migration method, service node, management node, server, electronic device, and computer-readable storage medium
CN111090818A (zh) 资源管理方法、资源管理系统、服务器及计算机存储介质
CN113726882B (zh) 基于5g网络的信息服务系统、方法及装置、设备、介质
CN113535477B (zh) 一种用于数据容灾恢复的方法与设备
CN111726650B (zh) 视频直播方法及装置、计算机存储介质
CN108287793A (zh) 响应消息的缓冲方法及服务器
CN111405313B (zh) 存储流媒体数据的方法和系统
US10728438B1 (en) Distributed video and network camera management
CN112667180A (zh) 一种业务数据的显示方法、装置、计算机设备和存储介质
CN112506429A (zh) 进行删除处理的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination