CN115865518A - 一种基于大数据的云平台数据处理方法及系统 - Google Patents

一种基于大数据的云平台数据处理方法及系统 Download PDF

Info

Publication number
CN115865518A
CN115865518A CN202310046098.3A CN202310046098A CN115865518A CN 115865518 A CN115865518 A CN 115865518A CN 202310046098 A CN202310046098 A CN 202310046098A CN 115865518 A CN115865518 A CN 115865518A
Authority
CN
China
Prior art keywords
data
user terminal
server
cloud platform
rendered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310046098.3A
Other languages
English (en)
Other versions
CN115865518B (zh
Inventor
刘伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyun Rongchuang Data Science & Technology Beijing Co ltd
Original Assignee
Tianyun Rongchuang Data Science & Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyun Rongchuang Data Science & Technology Beijing Co ltd filed Critical Tianyun Rongchuang Data Science & Technology Beijing Co ltd
Priority to CN202310046098.3A priority Critical patent/CN115865518B/zh
Publication of CN115865518A publication Critical patent/CN115865518A/zh
Application granted granted Critical
Publication of CN115865518B publication Critical patent/CN115865518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供一种基于大数据的云平台数据处理方法及系统,属于数据处理技术领域,该方法包括如下步骤:接收用户终端请求上传的待渲染数据流和实时属性数据;根据用户终端的待渲染数据流和实时属性数据,计算用户终端资源需求参考值;采集服务器的服务性能评价指标数据,并根据服务性能评价指标数据,计算服务器的服务性能综合评价值;根据用户终端资源需求参考值和服务器的服务性能综合评价值,为用户终端匹配服务器。本申请实现了提高云平台数据处理的效率,以及提高数据安全性。

Description

一种基于大数据的云平台数据处理方法及系统
技术领域
本申请涉及数据处理技术领域,尤其涉及一种基于大数据的云平台数据处理方法及系统。
背景技术
随着新一代信息技术的发展,大数据在社会发展中起着至关重要的作用。随着云计算技术的广泛应用,越来越多的大数据处理服务被迁移部署到云平台当中。云平台又称云计算平台,云平台可以基于硬件资源和软件资源的服务提供计算、网络和存储服务。随着5G和互联网技术的快速发展,云平台可以为用户终端提供集中数据处理和海量数据存储,从而为用户提供对应的需求服务,现有的云平台采用集中式数据库实现数据存储与查询,但是由于云平台中数据规模的不断扩大,集中式的数据库已经无法承载大规模数据,导致云平台数据处理(例如读操作或写操作)效率降低。
另外,云平台的数据来源的多样性和综合性,能够为用户提供更全面、更优质的服务,然而,云平台为用户提供多样化服务时,用户终端会产生很多数据信息,在云平台上进行管理和保存。如果云平台的数据安全存在问题,则可能会导致秘密信息泄露,给用户带来威胁。
因此,目前亟需解决的技术问题是:如何提高云平台数据处理的效率,以及提高数据安全性。
发明内容
本申请的目的在于提供一种基于大数据的云平台数据处理方法及系统,实现了提高云平台数据处理的效率,以及提高数据安全性。
为达到上述目的,本申请提供一种基于大数据的云平台数据处理方法,该方法包括如下步骤:接收用户终端请求上传的待渲染数据流和实时属性数据;根据用户终端的待渲染数据流和实时属性数据,计算用户终端资源需求参考值;
采集服务器的服务性能评价指标数据,并根据服务性能评价指标数据,计算服务器的服务性能综合评价值;根据用户终端资源需求参考值和服务器的服务性能综合评价值,为用户终端匹配服务器。
如上所述的基于大数据的云平台数据处理方法,其中,该方法还包括如下步骤:通过为用户终端匹配的服务器,对用户终端上传的待渲染数据流进行渲染,并将渲染后的数据流传输至用户终端进行播放。
如上所述的基于大数据的云平台数据处理方法,其中,该方法还包括如下步骤:采集用户终端的播放异常指标数据和网络阻塞数据,并根据播放异常指标数据和网络阻塞数据,计算服务器服务异常值;比较服务器服务异常值和预设阈值的大小,若服务器服务异常值大于预设阈值,则为用户终端重新匹配服务器,否则,无需更换为用户终端匹配的服务器。
如上所述的基于大数据的云平台数据处理方法,其中,实时属性数据包括用户终端网速流量、用户终端渲染数据的在线播放量、访客量和在线平均播放时长。
如上所述的基于大数据的云平台数据处理方法,其中,根据用户终端的待渲染数据流和实时属性数据,计算用户终端资源需求参考值的方法包括如下子步骤:根据待渲染数据流,获取用户终端上传云平台的数据流量和渲染指标数据;根据用户终端上传云平台的数据流量、渲染指标数据和实时属性数据,计算用户终端资源需求参考值。
如上所述的基于大数据的云平台数据处理方法,其中,根据用户终端资源需求参考值和服务器的服务性能综合评价值,为用户终端匹配服务器的方法包括如下子步骤:针对请求渲染数据的用户终端,按照资源需求参考值的大小进行从大到小排序,得到用户终端需求列表;选取服务器的服务性能综合评价值大于用户终端最小资源需求参考值的服务器,并将选取的服务器按照服务性能综合评价值进行从大到小排序,得到服务器服务列表;将服务器服务列表中的服务器对应分配给用户终端需求列表中的用户终端。
如上所述的基于大数据的云平台数据处理方法,其中,通过匹配的服务器对用户终端上传的待渲染数据流进行渲染,并将渲染后的数据流传输至用户终端进行播放的方法包括如下子步骤:服务器接收云平台发送的待渲染数据;服务器对待渲染数据进行渲染处理;服务器将渲染后的数据发送给云平台;云平台接收到服务器发送的渲染后的数据后,将渲染后的数据发送给对应的用户终端。
本申请还提供一种基于大数据的云平台数据处理系统,用于执行所述的基于大数据的云平台数据处理方法,该系统包括:云平台和多个服务器,所述云平台与用户终端通信连接,所述云平台与多个服务器通信连接;云平台包括:数据接收模块,用于接收用户终端请求上传的待渲染数据流和实时属性数据;处理器,用于根据用户终端的待渲染数据流和实时属性数据,计算用户终端资源需求参考值;采集模块,用于采集服务器的服务性能评价指标数据;处理器,还根据服务性能评价指标数据,计算服务器的服务性能综合评价值;匹配模块,用于根据用户终端资源需求参考值和服务器的服务性能综合评价值,为用户终端匹配服务器。
如上所述的基于大数据的云平台数据处理系统,其中,所述云平台,将用户终端上传的待渲染数据流发送给为用户终端匹配的服务器;所述服务器,用于接收云平台发送的待渲染数据流,并对待渲染数据流进行渲染,并将渲染后的数据流传输至所述云平台;所述云平台,将所述服务器发送的渲染后的数据流发送给用户终端;所述用户终端,对渲染后的数据流进行播放。
如上所述的基于大数据的云平台数据处理系统,其中,所述采集模块,还用于采集用户终端的播放异常指标数据和网络阻塞数据;所述处理器,还用于根据播放异常指标数据和网络阻塞数据,计算服务器服务异常值;所述云平台还包括比较模块,所述比较模块,用于比较服务器服务异常值和预设阈值的大小,若服务器服务异常值大于预设阈值,则为用户终端重新匹配服务器,否则,无需更换为用户终端匹配的服务器。
本申请实现的有益效果如下:
(1)本申请为不同需求的用户终端提供匹配性能的服务器进行数据处理,从而提高云平台的数据处理效率。
(2)本申请对与云平台进行通信的用户终端进行身份认证,认证通过后的用户终端与云平台进行数据传输,防止非法用户与云平台建立通信连接,提高云平台数据的安全性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种基于大数据的云平台数据处理方法的流程图。
图2为本申请实施例的计算用户终端资源需求参考值的方法流程图。
图3为本申请实施例的为用户终端匹配服务器的方法流程图。
图4为本申请实施例的服务器与云平台之间数据流传输方法流程图。
图5为本申请实施例的一种基于大数据的云平台数据处理系统的结构示意图。
附图标记:10-数据接收模块,20-数据采集模块;30-数据处理器;40-比较模块;50-匹配模块;100-用户终端;200-云平台;300-服务器。
具体实施方式
下面结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一
如图1所示,本申请提供一种基于大数据的云平台数据处理方法,该方法包括如下步骤:
步骤S1,接收用户终端请求上传的待渲染数据流和实时属性数据。
作为本发明的具体实施例,用户终端为请求渲染数据的终端,例如:主播终端。用户终端包括多个,多个用户终端与云平台通过网络通信连接。
作为本发明的具体实施例,云平台和用户终端之间进行双向身份验证,比如云平台与用户终端之间进行数据传输时,都需要验证身份,例如,通过数字证书来进行身份验证。具体的,用户终端请求与云平台通信连接,云平台对请求与其通信连接的用户终端进行身份认证后,建立与用户终端的通信连接通道。云平台对用户终端的身份认证方法为:获取用户终端的身份信息(名称、IP地址和数据证书等),判断用户终端的身份信息是否与云平台内存储的授权用户信息一致,若是,则允许用户终端与云平台通讯连接,否则,禁止用户终端与云平台通讯连接,从而避免非法用户终端与云平台通讯连接,提高云平台的安全性。
作为本发明的具体实施例,待渲染数据流包括:请求渲染的数据流、渲染指标数据、渲染执行程序和渲染模型。
作为本发明的具体实施例,渲染模型例如为虚拟人物模型或虚拟物体模型。请求渲染的数据流为用户终端获取的数据,用户终端具有视频摄像功能,可以采集视频数据和音频数据。
作为本发明的具体实施例,请求渲染的数据流例如为主播的动作行为数据、场景数据和声音数据等,请求渲染的数据流可以包括图像、文字、视频、音频等任意形式。请求渲染的数据用于在虚拟人物模型上进行渲染。
作为本发明的具体实施例,渲染执行程序用于自动执行渲染步骤。
作为本发明的具体实施例,渲染指标数据包括帧率(每秒需要渲染的图像帧数)、流畅值(两帧图像渲染时间间隔)、视频分辨率和渲染图像分辨率(用以描述图像细节分辨能力)等。
作为本发明的具体实施例,实时属性数据包括用户终端(例如:主播终端)网速流量、用户终端渲染数据的在线播放量、访客量和在线平均播放时长(即观看直播间的观众平均播放时长)等。通过监测用户终端的直播间的在线播放情况获取实时属性数据。
作为本发明的具体实施例,用户终端与云平台之间通过安全协议进行数据交互传输,提高数据传输的安全性。
步骤S2,根据用户终端的待渲染数据流和实时属性数据,计算用户终端资源需求参考值。
如图2所示,步骤S2包括如下步骤:
步骤S210,根据待渲染数据流,获取用户终端上传云平台的数据流量和渲染指标数据。
作为本发明的具体实施例,渲染指标数据包括帧率、流畅值、渲染图像分辨率和视频分辨率等。
步骤S220,根据用户终端上传云平台的数据流量、渲染指标数据和实时属性数据,计算用户终端资源需求参考值。
作为本发明的具体实施例,用户终端资源需求参考值的计算方法为:
Figure SMS_1
其中,
Figure SMS_3
表示用户终端资源需求参考值;/>
Figure SMS_8
表示用户终端数据流量的需求权重;
Figure SMS_12
表示用户终端上传云平台的平均数据流量大小;/>
Figure SMS_4
;/>
Figure SMS_9
表示预设T时间段内(例如:60S、120S等)传输的数据流量;/>
Figure SMS_11
表示实时属性数据的需求权重;/>
Figure SMS_14
表示实时属性数据的总种类数;/>
Figure SMS_2
表示第i种实时属性数据的权重;/>
Figure SMS_6
表示第i种实时属性数据的值;
Figure SMS_10
表示渲染指标的需求权重;/>
Figure SMS_13
表示渲染指标数据的总种类数;/>
Figure SMS_5
表示第j个渲染指标的权重;/>
Figure SMS_7
表示第j个渲染指标的值。
步骤S3,采集服务器的服务性能评价指标数据,并根据服务性能评价指标数据,计算服务器的服务性能综合评价值。
作为本发明的具体实施例,云平台中包括多个服务器。不同的服务器具有不同的存储能力、数据传输能力和数据处理能力。
作为本发明的具体实施例,服务器的服务性能评价指标数据包括剩余可用空间大小、已被占用资源指标数据和性能指标数据。
作为本发明的具体实施例,已被占用资源指标数据包括存储空间已使用率、CPU占用率、正在运行的进程数量和负载率等。性能指标数据包括:数据处理速率、数据传输速率等。
作为本发明的具体实施例,计算服务器的服务性能综合评价值的方法为:
Figure SMS_15
其中,
Figure SMS_16
表示服务器的服务性能综合评价值;/>
Figure SMS_20
表示服务器剩余可用空间影响权重;/>
Figure SMS_24
表示服务器剩余可用空间大小;/>
Figure SMS_18
表示性能指标影响权重;/>
Figure SMS_21
表示第/>
Figure SMS_26
个性能指标的权重因子;/>
Figure SMS_28
表示第/>
Figure SMS_17
个性能指标的值;/>
Figure SMS_22
表示已被占用资源指标影响权重;/>
Figure SMS_25
表示第/>
Figure SMS_27
个已被占用资源指标的权重因子;/>
Figure SMS_19
表示第/>
Figure SMS_23
个已被占用资源指标的值。
步骤S4,根据用户终端资源需求参考值和服务器的服务性能综合评价值,为用户终端匹配服务器。服务器用于对用户终端上传的待渲染数据流进行处理。
如图3所示,步骤S4包括如下步骤:
步骤S410,针对请求渲染数据的用户终端,按照资源需求参考值的大小进行从大到小排序。排序后的用户终端得到用户终端需求列表。
步骤S420,选取服务器的服务性能综合评价值大于用户终端最小资源需求参考值的服务器,并将选取的服务器按照服务性能综合评价值进行从大到小排序。排序后的服务器得到服务器服务列表。
步骤S430,将排序后的服务器按照顺序依次分配给资源需求参考值从大到小的用户终端。
具体的,将服务器服务列表中的服务器对应分配给用户终端需求列表中的用户终端。
作为本发明的具体实施例,将服务性能综合评价值最大的服务器分配给资源需求参考值最大的用户终端,将服务性能综合评价值第二大的服务器分配给资源需求参考值第二大的用户终端,按照上述原理,依次为多个用户终端分配服务器,从而使得服务器的处理性能与用户终端的需求性能匹配,提高云平台数据处理效率。
步骤S5,通过匹配的服务器对用户终端上传的待渲染数据流进行渲染,并将渲染后的数据流传输至用户终端进行播放。
作为本发明的具体实施例,流数据的传输路径为:用户终端向云平台传输待渲染数据流,云平台将待渲染数据流分配给服务器进行渲染处理,服务器将渲染后的数据发送给云平台,云平台将渲染后的数据发送给用户终端。
如图4所示,步骤S5包括如下步骤:
步骤S510,服务器接收云平台发送的待渲染数据。
步骤S520,服务器对待渲染数据进行渲染处理。
作为本发明的具体实施例,服务器对待渲染数据进行渲染处理的方法包括:服务器执行渲染执行程序,根据请求渲染的数据流,将请求渲染的数据流渲染在虚拟人物模型上。
作为本发明的具体实施例,对虚拟人物模型进行渲染时,根据数据流中的主播表情数据和动作行为数据,驱动虚拟人物模型与主播进行一致的表情和动作,获得虚拟人物模型的表情动作视频,根据数据流中的音频数据,渲染入虚拟人物模型的表情动作视频中。
作为本发明的其他实施例,获取请求渲染的数据流中的纹理贴图,基于纹理贴图,渲染虚拟人物模型。本发明不限制对虚拟人物模型的渲染处理方法,可以采用其他对虚拟人物模型的渲染处理方法,在此不在赘述。
步骤S530,服务器将渲染后的数据发送给云平台。
作为本发明的具体实施例,云平台接收到服务器发送的渲染后的数据之后,云平台将渲染后的数据发送给对应的用户终端。
作为本发明的具体实施例,用户终端接收到云平台发送的渲染后的数据流后,对渲染后的数据流进行播放。
作为本发明的具体实施例,云平台和服务器之间进行双向身份验证,比如云平台与服务器之间进行数据传输时,都需要验证身份。通过数字证书来进行身份验证。
步骤S6,采集用户终端的播放异常指标数据和网络阻塞数据,并根据播放异常指标数据和网络阻塞数据,计算服务器服务异常值。
作为本发明的具体实施例,在预设时间段
Figure SMS_29
内采集用户终端的播放异常指标数据和网络阻塞数据,并根据播放异常指标数据和网络阻塞数据,计算服务器服务异常值。
作为本发明的具体实施例,播放异常指标数据包括:流媒体播放设备(边缘终端)播放渲染后的数据流时发生播放延迟数据、画面延迟数据、音频卡顿数据、渲染要素缺失数据等类型。
作为本发明的具体实施例,网络阻塞数据是由服务器渲染后的数据由于网络中断等网络问题导致的服务器向用户终端发送但未被用户终端接收到播放的数据。网络阻塞数据包括画面、文字和音频等类型的数据。可以理解的是,网络阻塞数据并非由于服务器的性能不足导致的用户终端的播放异常,而是由于服务器与云平台之间或者云平台与用户终端之间网络异常问题导致的用户终端播放异常,通过排除网络阻塞数据对用户终端播放异常的影响因素,从而提高计算服务器服务异常值的准确度。
具体的,服务器服务异常值的计算公式为:
具体的,服务器服务异常值的计算公式为:
Figure SMS_30
其中,
Figure SMS_36
表示服务器服务异常值;/>
Figure SMS_33
表示播放异常指标数据的总种类数;/>
Figure SMS_41
表示第/>
Figure SMS_32
种播放异常指标数据发生的次数;/>
Figure SMS_37
表示第/>
Figure SMS_35
种播放异常指标数据的异常严重因子;
Figure SMS_43
表示第/>
Figure SMS_44
种播放异常指标数据第/>
Figure SMS_47
次发生的时长;/>
Figure SMS_31
表示采集的用户终端播放渲染后的数据流的时长;/>
Figure SMS_39
表示网络阻塞数据总类型数量;/>
Figure SMS_42
表示第/>
Figure SMS_46
种网络阻塞数据的阻塞数量;/>
Figure SMS_45
表示第/>
Figure SMS_48
种网络阻塞数据的权重;/>
Figure SMS_34
表示第/>
Figure SMS_40
种网络阻塞数据的第/>
Figure SMS_38
次被阻塞的时长。
步骤S7,比较服务器服务异常值和预设阈值的大小,若服务器服务异常值大于预设阈值,则为用户终端重新匹配服务器,否则,无需更换为用户终端匹配的服务器。
作为本发明具体的实施例,比较服务器服务异常值和预设阈值的大小,若服务器服务异常值大于预设阈值,则为用户终端匹配比当前服务器更高性能的服务器,否则,无需更换为用户终端匹配的服务器。
作为本发明具体的实施例,为用户终端匹配更高性能的服务器即为用户终端匹配比当前服务器(即为用户终端匹配的当前的服务器)的服务器的服务性能综合评价值更高的服务器,使用匹配后服务性能综合评价值更高的服务器对用户终端上传的待渲染数据流进行渲染,并将渲染后的数据流发送至用户终端,从而提高服务器对用户终端上传的待渲染数据的渲染效果和数据处理速率,减少用户终端播放渲染后数据流出现的异常现象。
实施例二
如图5所示,本申请提供一种基于大数据的云平台数据处理系统,该系统包括:云平台200和多个服务器300,云平台200与用户终端100通信连接,云平台200与多个服务器300通信连接。
作为本发明的具体实施例,云平台200包括:
数据接收模块10,用于接收用户终端100请求上传的待渲染数据流和实时属性数据。
数据采集模块20,用于采集服务器300的服务性能评价指标数据。
数据处理器30,用于根据用户终端100的待渲染数据流和实时属性数据,计算用户终端资源需求参考值。
数据处理器30,还根据服务性能评价指标数据,计算服务器300的服务性能综合评价值。
匹配模块50,用于根据用户终端资源需求参考值和服务器的服务性能综合评价值,为用户终端100匹配服务器300,以通过匹配后的服务器300对待渲染数据流进行渲染处理。
云平台200,将用户终端100上传的待渲染数据流发送给为用户终端100匹配的服务器300,以通过服务器300对待渲染数据流进行渲染处理。
服务器300,用于接收云平台200发送的待渲染数据流,并对待渲染数据流进行渲染,并将渲染后的数据流传输至所述云平台。
云平台200,将服务器300发送的渲染后的数据流发送给用户终端100,以供用户终端100播放。
用户终端100,对渲染后的数据流进行播放,以供观众观看,观众客户端通过网络接入用户终端100,从而观看用户终端100上播放的渲染后的数据流。
数据采集模块20,还用于采集用户终端100的播放异常指标数据和网络阻塞数据。
数据处理器30,还用于根据播放异常指标数据和网络阻塞数据,计算服务器服务异常值。
作为本发明的具体实施例,云平台200还包括比较模块40,比较模块40,用于比较服务器服务异常值和预设阈值的大小,若服务器服务异常值大于预设阈值,则为用户终端100重新匹配服务器300,否则,无需更换为用户终端100匹配的服务器300。
作为本发明的具体实施例,云平台200包括处理引擎、网络模块。云平台200通过网络模块与用户终端100通信连接,以及与服务器300通信连接。
作为本发明的具体实施例,处理引擎处理相关的信息和/或数据以执行本申请中描述的一个或多个功能。例如,在一些实施例中,处理引擎可以包括至少一个处理引擎(例如,单核处理引擎或多核处理器)。仅作为示例,处理引擎可以包括中央处理单元(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或其任意组合。
作为本发明的具体实施例,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实现的有益效果如下:
(1)本申请为不同需求的用户终端提供匹配性能的服务器进行数据处理,从而提高云平台的数据处理效率。
(2)本申请对与云平台进行通信的用户终端进行身份认证,认证通过后的用户终端与云平台进行数据传输,防止非法用户与云平台建立通信连接,提高云平台数据的安全性。
在本申请的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请的描述中,“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本发明。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本发明的描述变得晦涩。因此,本发明并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上所述仅为本发明的实施方式而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理内所做的任何修改、等同替换、改进等,均应包括在本发明的权利要求范围之内。

Claims (10)

1.一种基于大数据的云平台数据处理方法,其特征在于,该方法包括如下步骤:
接收用户终端请求上传的待渲染数据流和实时属性数据;
根据用户终端的待渲染数据流和实时属性数据,计算用户终端资源需求参考值;
采集服务器的服务性能评价指标数据,并根据服务性能评价指标数据,计算服务器的服务性能综合评价值;
根据用户终端资源需求参考值和服务器的服务性能综合评价值,为用户终端匹配服务器。
2.根据权利要求1所述的基于大数据的云平台数据处理方法,其特征在于,该方法还包括如下步骤:
通过为用户终端匹配的服务器,对用户终端上传的待渲染数据流进行渲染,并将渲染后的数据流传输至用户终端,用户终端对数据流进行实时播放。
3.根据权利要求2所述的基于大数据的云平台数据处理方法,其特征在于,该方法还包括如下步骤:
采集用户终端的播放异常指标数据和网络阻塞数据,并根据播放异常指标数据和网络阻塞数据,计算服务器服务异常值;
比较服务器服务异常值和预设阈值的大小,若服务器服务异常值大于预设阈值,则为用户终端重新匹配服务器,否则,无需更换为用户终端匹配的服务器。
4.根据权利要求1所述的基于大数据的云平台数据处理方法,其特征在于,实时属性数据包括用户终端网速流量、用户终端渲染数据的在线播放量、访客量和在线平均播放时长。
5.根据权利要求1所述的基于大数据的云平台数据处理方法,其特征在于,根据用户终端的待渲染数据流和实时属性数据,计算用户终端资源需求参考值的方法包括如下子步骤:
根据待渲染数据流,获取用户终端上传云平台的数据流量和渲染指标数据;
根据用户终端上传云平台的数据流量、渲染指标数据和实时属性数据,计算用户终端资源需求参考值。
6.根据权利要求1所述的基于大数据的云平台数据处理方法,其特征在于,根据用户终端资源需求参考值和服务器的服务性能综合评价值,为用户终端匹配服务器的方法包括如下子步骤:
针对请求渲染数据的用户终端,按照资源需求参考值的大小进行从大到小排序,得到用户终端需求列表;
选取服务器的服务性能综合评价值大于用户终端最小资源需求参考值的服务器,并将选取的服务器按照服务性能综合评价值进行从大到小排序,得到服务器服务列表;
将服务器服务列表中的服务器对应分配给用户终端需求列表中的用户终端。
7.根据权利要求1所述的基于大数据的云平台数据处理方法,其特征在于,通过匹配的服务器对用户终端上传的待渲染数据流进行渲染,并将渲染后的数据流传输至用户终端进行播放的方法包括如下子步骤:
服务器接收云平台发送的待渲染数据;
服务器对待渲染数据进行渲染处理;
服务器将渲染后的数据发送给云平台;
云平台接收到服务器发送的渲染后的数据后,将渲染后的数据发送给对应的用户终端。
8.一种基于大数据的云平台数据处理系统,用于执行权利要求1-7之一所述的方法,其特征在于,该系统包括:云平台和多个服务器,所述云平台与用户终端通信连接,所述云平台与多个服务器通信连接;
云平台包括:
数据接收模块,用于接收用户终端请求上传的待渲染数据流和实时属性数据;
处理器,用于根据用户终端的待渲染数据流和实时属性数据,计算用户终端资源需求参考值;
采集模块,用于采集服务器的服务性能评价指标数据;
处理器,还根据服务性能评价指标数据,计算服务器的服务性能综合评价值;
匹配模块,用于根据用户终端资源需求参考值和服务器的服务性能综合评价值,为用户终端匹配服务器。
9.根据权利要求8所述的基于大数据的云平台数据处理系统,其特征在于,
所述云平台,将用户终端上传的待渲染数据流发送给为用户终端匹配的服务器;
所述服务器,用于接收云平台发送的待渲染数据流,并对待渲染数据流进行渲染,并将渲染后的数据流传输至所述云平台;
所述云平台,将所述服务器发送的渲染后的数据流发送给用户终端;
所述用户终端,对渲染后的数据流进行播放。
10.根据权利要求8所述的基于大数据的云平台数据处理系统,其特征在于,
所述采集模块,还用于采集用户终端的播放异常指标数据和网络阻塞数据;
所述处理器,还用于根据播放异常指标数据和网络阻塞数据,计算服务器服务异常值;
所述云平台还包括比较模块,所述比较模块,用于比较服务器服务异常值和预设阈值的大小,若服务器服务异常值大于预设阈值,则为用户终端重新匹配服务器,否则,无需更换为用户终端匹配的服务器。
CN202310046098.3A 2023-01-30 2023-01-30 一种基于大数据的云平台数据处理方法及系统 Active CN115865518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310046098.3A CN115865518B (zh) 2023-01-30 2023-01-30 一种基于大数据的云平台数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310046098.3A CN115865518B (zh) 2023-01-30 2023-01-30 一种基于大数据的云平台数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN115865518A true CN115865518A (zh) 2023-03-28
CN115865518B CN115865518B (zh) 2023-05-16

Family

ID=85657376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310046098.3A Active CN115865518B (zh) 2023-01-30 2023-01-30 一种基于大数据的云平台数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN115865518B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116155618A (zh) * 2023-04-04 2023-05-23 天云融创数据科技(北京)有限公司 基于大数据和人工智能的数据维护方法及系统
CN116506507A (zh) * 2023-06-29 2023-07-28 天津市城市规划设计研究总院有限公司 基于客户端特性的数据处理方法
CN117032939A (zh) * 2023-10-08 2023-11-10 腾讯科技(深圳)有限公司 一种云业务的控制方法、相关装置、设备以及存储介质
CN117520345A (zh) * 2023-11-15 2024-02-06 北京宝联之星科技股份有限公司 基于云计算和区块链的数据处理方法、系统和介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017088484A1 (zh) * 2015-11-24 2017-06-01 成都赫尔墨斯科技有限公司 基于云计算的实时离屏渲染方法、装置及系统
CN107992392A (zh) * 2017-11-21 2018-05-04 国家超级计算深圳中心(深圳云计算中心) 一种用于云渲染系统的自动监控修复系统和方法
US20200242532A1 (en) * 2019-01-30 2020-07-30 Salesforce.Com, Inc. Computation of customer experience metrics in a multi-tenant cloud computing environment
CN111494936A (zh) * 2020-02-12 2020-08-07 阿里巴巴集团控股有限公司 画面渲染方法、设备、系统及存储介质
CN111726416A (zh) * 2020-06-30 2020-09-29 北京百度网讯科技有限公司 Vr教学管理方法、装置和系统
CN111790159A (zh) * 2019-12-20 2020-10-20 厦门雅基软件有限公司 数据处理的方法、装置、设备及计算机可读存储介质
CN112966200A (zh) * 2021-03-04 2021-06-15 北京百度网讯科技有限公司 一种服务降级方法和渲染服务器
WO2021190651A1 (zh) * 2020-03-27 2021-09-30 华为技术有限公司 渲染质量调整方法以及相关设备
CN114968521A (zh) * 2022-05-20 2022-08-30 每平每屋(上海)科技有限公司 分布式渲染方法及设备
CN115174580A (zh) * 2022-09-05 2022-10-11 睿至科技集团有限公司 一种基于大数据的数据处理方法及系统
CN115225636A (zh) * 2022-07-12 2022-10-21 深圳壹账通智能科技有限公司 请求处理方法、装置、计算机设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017088484A1 (zh) * 2015-11-24 2017-06-01 成都赫尔墨斯科技有限公司 基于云计算的实时离屏渲染方法、装置及系统
CN107992392A (zh) * 2017-11-21 2018-05-04 国家超级计算深圳中心(深圳云计算中心) 一种用于云渲染系统的自动监控修复系统和方法
US20200242532A1 (en) * 2019-01-30 2020-07-30 Salesforce.Com, Inc. Computation of customer experience metrics in a multi-tenant cloud computing environment
CN111790159A (zh) * 2019-12-20 2020-10-20 厦门雅基软件有限公司 数据处理的方法、装置、设备及计算机可读存储介质
CN111494936A (zh) * 2020-02-12 2020-08-07 阿里巴巴集团控股有限公司 画面渲染方法、设备、系统及存储介质
WO2021190651A1 (zh) * 2020-03-27 2021-09-30 华为技术有限公司 渲染质量调整方法以及相关设备
CN111726416A (zh) * 2020-06-30 2020-09-29 北京百度网讯科技有限公司 Vr教学管理方法、装置和系统
CN112966200A (zh) * 2021-03-04 2021-06-15 北京百度网讯科技有限公司 一种服务降级方法和渲染服务器
CN114968521A (zh) * 2022-05-20 2022-08-30 每平每屋(上海)科技有限公司 分布式渲染方法及设备
CN115225636A (zh) * 2022-07-12 2022-10-21 深圳壹账通智能科技有限公司 请求处理方法、装置、计算机设备和存储介质
CN115174580A (zh) * 2022-09-05 2022-10-11 睿至科技集团有限公司 一种基于大数据的数据处理方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116155618A (zh) * 2023-04-04 2023-05-23 天云融创数据科技(北京)有限公司 基于大数据和人工智能的数据维护方法及系统
CN116155618B (zh) * 2023-04-04 2023-06-23 天云融创数据科技(北京)有限公司 基于大数据和人工智能的数据维护方法及系统
CN116506507A (zh) * 2023-06-29 2023-07-28 天津市城市规划设计研究总院有限公司 基于客户端特性的数据处理方法
CN117032939A (zh) * 2023-10-08 2023-11-10 腾讯科技(深圳)有限公司 一种云业务的控制方法、相关装置、设备以及存储介质
CN117032939B (zh) * 2023-10-08 2024-02-02 腾讯科技(深圳)有限公司 一种云业务的控制方法、相关装置、设备以及存储介质
CN117520345A (zh) * 2023-11-15 2024-02-06 北京宝联之星科技股份有限公司 基于云计算和区块链的数据处理方法、系统和介质
CN117520345B (zh) * 2023-11-15 2024-04-23 北京宝联之星科技股份有限公司 基于云计算和区块链的数据处理方法、系统和介质

Also Published As

Publication number Publication date
CN115865518B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN115865518B (zh) 一种基于大数据的云平台数据处理方法及系统
CN108184144B (zh) 一种直播方法、装置、存储介质及电子设备
CN113068052B (zh) 确定直播间刷量的方法、直播方法以及数据处理方法
US20190156434A1 (en) Identification of rule violations in a network community
JP5086189B2 (ja) 動画コンテンツのダイジェスト映像を生成するサーバ、方法及びプログラム
Chen et al. T-gaming: A cost-efficient cloud gaming system at scale
CN109639786B (zh) 多媒体资源的分发方法、装置、服务器及存储介质
CN112399194B (zh) 一种直播数据处理方法、装置、计算机及可读存储介质
WO2014090075A1 (en) System and method for estimating an effective bandwidth
CN109451326A (zh) 一种主播信息的展示方法、装置、服务器和存储介质
US10855803B2 (en) Performance evaluation in a network community
CN112272327B (zh) 数据处理方法、装置、存储介质及设备
US20190156433A1 (en) Event processing and allocation
CN111464819A (zh) 直播图像检测方法、装置、设备及存储介质
CN112511849A (zh) 一种游戏显示方法、装置、设备、系统及存储介质
CN111314747B (zh) 一种资源停播控制方法、装置、设备及存储介质
Wang et al. Internet multimedia traffic classification from QoS perspective using semi-supervised dictionary learning models
CN105872537A (zh) 视频播放方法、装置及系统
CN114945097B (zh) 视频流处理方法及装置
CN109561050A (zh) 一种识别批量账号的方法和装置
CN110366035B (zh) 帧率控制方法、装置、计算机设备和计算机可读存储介质
CN110139160B (zh) 一种预测系统及方法
CN108989905B (zh) 媒体流控制方法、装置、计算设备及存储介质
CN112417452B (zh) 一种风险控制方法及系统
CN112202802B (zh) C-ran架构中基于强化学习的vr视频多级缓存方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant