CN104702653B - 云端平台的监测数据调控方法及系统 - Google Patents
云端平台的监测数据调控方法及系统 Download PDFInfo
- Publication number
- CN104702653B CN104702653B CN201410035318.3A CN201410035318A CN104702653B CN 104702653 B CN104702653 B CN 104702653B CN 201410035318 A CN201410035318 A CN 201410035318A CN 104702653 B CN104702653 B CN 104702653B
- Authority
- CN
- China
- Prior art keywords
- monitoring
- data
- matrix
- main control
- control end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 title claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 57
- 230000006798 recombination Effects 0.000 claims abstract description 28
- 238000005215 recombination Methods 0.000 claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 21
- 239000000872 buffer Substances 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 13
- 241001269238 Data Species 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 4
- 238000013468 resource allocation Methods 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 36
- 238000004364 calculation method Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000010606 normalization Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
Abstract
本发明公开了一种云端平台的监测数据调控方法及系统。该调控方法包括下列步骤:由一监测状态收集器收集多个虚拟机内各运算程序的各监测数据。该监测状态收集器依据一参照矩阵及目前可用的网络带宽对所述多个监测数据进行取样,以得到多个监测系数数据。该监测状态收集器将所述多个监测系数数据传输至一主控端。该主控端根据该参照矩阵处理所述多个监测系数数据,以重建多个监测重组数据。该主控端根据所述多个监测重组数据,判定所述多个虚拟机内各运算程序中是否有效能异常的运算程序。
Description
技术领域
本发明涉及云端平台运算方法,特别涉及一种云端平台的监测数据调控方法及系统。
背景技术
近年来由于多媒体应用及视讯监控等需求提升,造成视讯数据量巨幅地成长。因此,运用计算机处理大量视讯数据的需求日渐提高,例如:(1)针对视讯监控影片,进行车牌辨识或人流计数等功能,以协助统计分析;(2)针对录像画面进行质量强化处理,以提高其画面能见度;(3)针对录像画面进行视讯浓缩,以减少调阅影片所耗费的时间;(4)自大量影片中检索一特定对象出现的时间及地点;或(5)针对高分辨率视讯内容进行压缩格式转码,以降低数据量以利储存传送等应用。上述针对视讯内容所做的辨识、统计、强化、浓缩、检索或转码等应用泛称视讯处理(Video Processing,VP)。伴随视讯分辨率不断提升,传统单机运算架构已无法负荷视讯处理的大量运算需求。因此具有运算资源扩充性的云端平台是需要的,来满足这些大量且不断增加的运算需求。
云端平台将多台实体运算机器,利用虚拟化技术,产生大量虚拟运算机器。云端平台并根据使用者需求及应用服务运算需求,配置不同资源的虚拟机(CPU、内存、储存空间、网络带宽)来执行各种视讯处理。习知云端视讯处理将单一影片切割成多组片段,均匀分配至云端处理程序进行处理,其总体运算时间取决于最慢的处理程序。由于视讯处理具有许多变因(虚拟机的运算资源、视讯处理复杂度、处理的视讯内容差异),须不断监测处理程序的实时处理状态才能动态调配运算资源。
因为各种视讯处理运算复杂度的差异,不同视讯处理功能的运算资源需求也不同。即使是同一种视讯处理功能,也可能因为视讯源随着时间变化。在不同时段,同时出现在摄影机画面中的对象个数不同,所需要的运算资源也随着变化。
发明内容
本发明所要解决的问题是:如何同时监测各种视讯处理功能在虚拟机上的处理状态,以发现资源不足的处理程序。或是如何根据监测处理状态的结果,找出系统中执行效能最差的处理程序集合,配置较多的资源给这些程序,以优化整体的运算效能,皆成为重要的议题。为此,本发明提出一种云端平台的监测数据调控方法。针对大量数据处理应用需求,在兼顾可用的传输带宽及实时发现最异常处理程序条件下,有效利用运算资源,以提升系统整体运算效能。
本发明的一实施例提出一种云端平台的监测数据调控方法。该调控方法包括下列步骤:由一监测状态收集器收集多个虚拟机内各运算程序的各监测数据。该监测状态收集器,依据一参照矩阵及目前可用的网络带宽对所述多个监测数据进行取样,以得到多个监测系数数据。该监测状态收集器将所述多个监测系数数据传输至一主控端。该主控端根据该参照矩阵处理所述多个监测系数数据,以重建多个监测重组数据。该主控端依所述多个监测重组数据,判定所述多个虚拟机内各运算程序中是否有效能异常的运算程序。
本发明的实施例提出一种云端平台的监测数据调控系统。该调控系统包括:多个虚拟机、一监测状态收集器、一第一缓存器、一主控端以及一第二缓存器。该监测状态收集器耦接所述多个虚拟机,收集所述多个虚拟机内各运算程序的各监测数据。该监测状态收集器依据一参照矩阵及目前可用的网络带宽对所述多个监测数据进行取样,以得到多个监测系数数据。该第一缓存器耦接该监测状态收集器,用以储存该参照矩阵。该主控端接收来自该监测状态收集器的所述多个监测系数数据。该主控端根据该参照矩阵处理所述多个监测系数数据,以重建多个监测重组数据。该主控端依据所述多个监测重组数据,判定所述多个虚拟机内各运算程序中是否有效能异常的运算程序。该第二缓存器耦接该主控端,接收并储存来自该监测状态收集器的该参照矩阵。
附图说明
图1是依据本发明的一实施例提出的一云端平台系统框架图10。
图2A~2B是本发明中以流程图举例说明该云端平台10的监测数据调控方法。
图3是本发明中以流程图举例说明该主控端110如何针对上述判定处理状态异常的运算程序进行资源调配动作。
图4是使用本发明的监测数据调控方法在所述多个监测数据不同的压缩率下,所需使用到的网络带宽。
附图标记说明:
10~云端平台;
100~虚拟机群组;
101~监测状态收集器;
102~第一缓存器;
103、104、105、106~虚拟机;
110~主控端;
111~第二缓存器。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。
图1是依据本发明的一实施例提出的一云端平台10框架图。如图1所示的一实施例,本发明的该云端平台10包括至少一虚拟机群组100以及一主控端110。该虚拟机群组100与该主控端110通过一实体网络进行数据传输,且该实体网络的带宽有限。该虚拟机群组100包括一监测状态收集器101、一第一缓存器102以及多个虚拟机103-106。该监测状态收集器101耦接所述多个虚拟机103-106,其中每一虚拟机可执行一至多个运算程序。该第一缓存器102位于该监测状态收集器101之中,用以储存来自该监测状态收集器101的数据。该第二缓存器111则位于该主控端110之中,用以储存该主控端110的数据以及来自该监测状态收集器101的数据。
值得注意的是,本发明并不以此为限。例如,该云端平台10亦能包括多个虚拟机群组,其中每一虚拟机群组皆具有对应的一监测状态收集器、一第一缓存器以及多个虚拟机;该第一缓存器102和该第二缓存器111亦可分别从外部连接至该监测状态收集器101和该主控端110。
图2A~2B以流程图举例说明该云端平台10的监测数据调控方法。在步骤S210中,该监测状态收集器101周期性收集所述多个虚拟机103-106中各运算程序的各监测数据,并记录所有运算程序(或所述多个监测数据)的一第一数目N。举例来说,假设所述多个虚拟机103-106中分别执行一、三、一和二个运算程序(共7个运算程序),该监测状态收集器101就会周期性收集到7个监测数据,此时该第一数目N为7。
在步骤S220中,该监测状态收集器101依据该第一数目N构建维度为N乘N的一参照矩阵LNxN;接着,该监测状态收集器101将该参照矩阵LNxN储存于该第一缓存器102之中,并透过该实体网络将该参照矩阵LNxN传输至该主控端110中的该第二缓存器111储存。因此,该监测状态收集器101与该主控端110具有相同的该参照矩阵LNxN。该参照矩阵LNxN为一结构化的随机矩阵(Structured Random Matrix)。该参照矩阵LNxN可以采用随机部份傅立叶矩阵(Random Partial Fourier Matrix)或是采用随机方式搭配高斯分布(GaussianDistribution)产生,但是并非限定于此。
在步骤S230中,该监测状态收集器101依据该参照矩阵LNxN以及该实体网络目前可用的网络带宽,对该N个监测数据x1~xN取样得到M个监测系数数据y1~yM,其中M为一取样系数数量,且M不大于N。有关步骤S230更详细的实施方式如图2B所示,其具体步骤S231~S233如下:
在步骤S231中,该监测状态收集器101先将收集到的该N个监测数据x1~xN正规化转换为具有稀疏特性的N个监测数值x’1~x’N,其中该稀疏特性代表该N个监测数值x’1~x’N仅含有少量非零的数值。这是由于该云端平台10中异常的运算程序的数量为相对少数,故可利用稀疏编码(Sparse Coding)算法将该N个监测数据正规化转换为具有稀疏特性的N个监测数值x’1~x’N。目前已知相关的算法有Linear Generative Model、Feature-Sign、Least Angle Regression、Grafting及QP Solver等。举例来说,可运用Linear GenerativeModel计算得到对应的一转换矩阵WNxN。该监测状态收集器101再使用该转换矩阵WNxN对该N个监测数据x1~xN进行正规化转换后,可得到该N个监测数值x’1~x’N,其中该正规化转换的表达式为X’Nx1=WNxN TXNx1=[x’1,x’2,…,x’N]T。
在步骤S232中,该监测状态收集器101依据该实体网络目前可用的网络带宽决定用以取样的该取样系数数量M。当M的值越小,所述多个监测数据的压缩率越高;反之亦然。此时,定义BMAX为该云端平台10配置给该虚拟机群组100用于传输监测数据的网络带宽上限(可为网络带宽的固定比率,例如1GB网络带宽的1%),以及BFREE为目前可用的网络剩余带宽,此剩余带宽可由已知的估测技术得到,其中BMAX及BFREE的单位为bytes/sec。在每秒传送一次监测数据的周期下,每个监测数据的数据量为D bytes,则可依以下两种情况计算该取样系数数量M:
(一)当BFREE小于BMAX-时,
(二)否则,其中表示对数值A取下整得到的一整数。因此,本发明的实施例可藉由该实体网络目前可用的网络带宽动态调整所述多个监测数据的压缩比率。
在步骤S233中,该监测状态收集器101依据该取样系数数量M,取出该参照矩阵LNxN的前M个列形成一子参照矩阵AMxN。接着,该监测状态收集器101依据该子参照矩阵AMxN及该N个监测数值x’1~x’N运算得到M个监测系数数据y1~yM,其中该运算过程如下:YMx1([y1,y2,…,yM]T)=AMxNX’Nx1。
在步骤S240中,该监测状态收集器101通过该实体网络将该M个监测系数数据y1~yM传送至该主控端110。
在步骤250中,该主控端110依据接收到的该M个监测系数数据y’1~y’M得知该监测状态收集器101进行取样的该取样系数数量M的大小,并取出该参照矩阵LNxN的前M个列形成相同的该子参照矩阵AMxN。该主控端110再依据该子参照矩阵AMxN及该接收到的M个监测系数数据y’1~y’M重建出N个监测重组数据x’1~x’N,其中该重建过程依据下式:
虽然满足上述限制条件YMx1=AMxNX’Nx1的解x’1~x’N有无限多组,但由于上述执行过正规化转换的该N个监测数值x’1~x’N具有稀疏(Sparse)的特性,即大部分的元素值为0或接近0。理论上该N个监测数值x’1~x’N的绝对值总和是很小的。因此,为了得到接近或等于x’1~x’N的解,可选择上式所有可能解中绝对值总和最小的解作为该N个监测重组数据x’1~x’N。在本实施例中,由于求该最小的解属于一线性优化(l1-Minimization)的问题,可利用相关的算法(例如IRLS(Iteratively Re-Weighted Least Squares)算法)求得该N个监测重组数据x’1~x’N满足X’Nx1=AT NxMYMx1,其中X’Nx1=[x’1,x’2,…,x’N]T。
在步骤S260中,该主控端110依据该N个监测重组数据x’1~x’N判定所述多个运算程序是否异常。由于处理状态正常的一运算程序Pi(i=1~N)对应的监测数据在经由上述正规化转换后,其监测数值x’i会接近于0,且该监测数值x’i再经过取样并传输至该主控端110重组后,亦会接近于0。利用上述特性,可以说明若该运算程序Pi对应的监测重组数据值|x’i|小于一阈值ε,则可判定该运算程序Pi的处理状态正常;反之即可找出处理状态较异常的多个运算程序,其中该阈值ε可根据所述多个监测数据的特性调整。
此外由于监测数据正规化后的数据x’1~x’N具有稀疏(Sparse)的特性,当处理状态越异常的运算程序的监测重组数据绝对值|x’i|越大。另外,步骤S250中所述的数据重构过程的准确度取决于该取样系数数量M的大小,M越大重建结果越准确。当仅有小量的M时,该N个监测数值x’1~x’N之中具有最大值的一监测数值将会被重建出来。随着该取样系数数量M的增加,其余监测数值由大至小逐一被重建出来。
因此,即使取样的系数数量M很小,仍然能够反应该稀疏特性于该N个监测重组数据值x’1~x’N,且处理状态越异常的运算程序的监测重组数据绝对值|x’i|会有越高的机率能够远大于0。基于此原理,尽管使用较少的网络带宽传输会让该主控端110只能得到少量的取样数据,却仍能发现处理状态最异常的运算程序,并藉此改善该云端平台10的运算效能。
在步骤S270中,该主控端110针对上述判定处理状态异常的运算程序进行运算资源调配的动作,其中更详细的运算资源调配过程可参见图3所示的实施例。
图3以流程图举例说明该主控端110如何针对上述判定处理状态异常的运算程序进行资源调配的动作。在步骤S310中,该主控端110依据该N个监测重组数据绝对值|x’1|~|x’N|大小排序该N个运算程序。在步骤S320中,该主控端110判断该N个运算程序是否都已处理完毕。若是,结束本流程;若否,则进入步骤S330。在步骤S330中,该主控端110自所有运算程序中选择一未处理且处理状态最异常的运算程序(即所有监测重组数据的绝对值|x’i|中数值最高的一运算程序)。在步骤S340中,该主控端110判断该处理状态异常的运算程序是否需要被处理。若是,进入步骤S350;若否,则进入步骤S320。
在步骤S350中,该主控端110判断该处理状态异常的运算程序是否已经停止执行,若是,进入步骤S360;若否,进入步骤S370。在步骤S360中,该主控端110通知该处理状态异常的运算程序所在的虚拟机重新启动该处理状态异常的运算程序,回到步骤S320。在步骤S370中,该主控端110检查该处理状态异常的运算程序是否具有足够的运算资源。若是,回到步骤S320;若否,进入步骤S380。在步骤S380中,该主控端110配置较多的运算资源给该处理状态异常的运算程序。
在本发明的一实施例中,该监测状态收集器101收集所述多个虚拟机103-106中五个运算程序的监测数据,分别为X5x1=[x1,x2,x3,x4,x5]T=[30,29,30,28,6]T,其中每一监测数据的数值代表该运算程序每秒可以处理几个帧(frame)的画面数据,但并非限定于此。由上述监测数据的特性,可以知道前4个处理状态正常的运算程序的监测数据数值较接近,而第5个处理状态异常的运算程序的监测数据数值则为6。如同步骤S231,该监测状态收集器101会利用稀疏编码(Sparse Coding)算法(例如,运用Linear Generative Model得到的该转换矩阵WNxN执行正规化转换)将上述5个监测数据正规化转换为具有稀疏特性的5个监测数值。如上述步骤S231,本发明的最佳实施例采用稀疏编码的该转换矩阵WNxN执行该正规化运算。但为了使本发明更浅显易懂,本实施例选用一常见的转换矩阵P5x5取代该转换矩阵WNxN执行该正规化运算。该监测状态收集器101得到5个监测数值X’5x1=P5x5X5x1=[5.4,4.4,5.4,3.4,-18.6]T,其中
P5x5=[0.8,0.8,0.8,0.8,0.8;
0.8,0.8,0.8,0.8,0.8;
0.8,0.8,0.8,0.8,0.8;
0.8,0.8,0.8,0.8,0.8;
0.8,0.8,0.8,0.8,0.8]。
接着,该监测状态收集器101随机产生一参照矩阵
L5x5=[0.2428,0.1958,0.0593,0.0911,0.4024;
0.0267,0.1253,0.2437,0.2435,0.0974;
0.2943,0.4406,0.3702,0.3913,0.0344;
0.3979,0.2722,0.3743,0.0541,0.2121;
0.0490,0.1135,0.3727,0.3830,0.3734]
,并将该参照矩阵L5x5传送至该主控端110中的该第二缓存器111储存。该监测状态收集器101依据目前的网络带宽决定上述取样系数数量M为1,并对该参照矩阵L5x5取第一列得到一子参照矩阵A1x5=[0.2428,0.1958,0.0593,0.0911,0.4024]。该监测状态收集器101再依据该子参照矩阵与所述多个监测数值计算得到一监测系数数据Y1x1=A1x5X’5x1=[y1]=[-4.6818],并将其传输至该主控端110。由于原先监测数据有五个值在经取样后只剩一个值,因此压缩率为(N-M)/N=4/5=0.8。
最后,该主控端110接收到该监测系数数据Y1x1后,利用上述步骤S250重建五个监测重组数据X’5x1=[0,0,0,0,-11.6348]T。同上述步骤S260,该主控端110藉由重建出来的该监测重组数据X’5x1中的前四个监测重组的绝对值为0,小于定义的一阈值ε,判定前四个运算程序的处理状态为正常的,且该主控端110藉由第五个运算程序的大于0的监测重组数据绝对值(|x’5|=11.6348),大于定义的一阈值ε,判定第五个运算程序为处理状态异常的运算程序。因此,该监测系数数据Y1x1被正确地重建以判定出处理状态异常的第五个运算程序。
图4为使用本发明的监测数据调控方法在所述多个监测数据不同的压缩率下,所需使用到的网络带宽。在本实施例中,该监测状态收集器101依据六种不同的压缩率(N-M)/N对所述多个监测数据进行取样,并根据目前的带宽限制决定要传送哪一压缩率的监测系数数据给该主控端110,其中该监测状态收集器101在传送压缩率为0.89的所述多个监测系数数据下,该主控端110仍能找出处理状态最异常的一运算程序。由图4可知,传输未经压缩的监测数据所需要的网络带宽为320Mb/sec。在应用本发明的监测数据调控方法后,传输经压缩后的监测数据所需要的网络带宽则降低至35.2~92.8Mb/sec。如此一来,大幅降低了该云端平台10传送监测数据的网络带宽需求。另外,该云端平台10可根据目前可用的网络带宽决定取样后监测系数数据不同的压缩比例(亦即不同的取样系数数量M)。
本发明虽以较佳实施例揭露如上,使得本领域具有通常知识者能够更清楚地理解本发明的内容。然而,本领域具有通常知识者应理解到他们可轻易地以本发明作为基础,设计或修改流程以及使用不同的云端平台进行相同的目的和/或达到这里介绍的实施例的相同优点。因此本发明的保护范围当依据随附权利要求范围为准。
Claims (6)
1.一种云端平台的监测数据调控方法,包括:
由一监测状态收集器收集多个虚拟机内各运算程序的各监测数据;
由该监测状态收集器依据运算程序的第一数目构建一参照矩阵,并将该参照矩阵传送至主控端;
由该监测状态收集器,将所述多个虚拟机内各运算程序的各监测数据转换为具有稀疏特性的多个监测数值,其中该稀疏特性代表所述多个监测数值仅含有少数非零数值;
由该监测状态收集器依据该参照矩阵及目前可用的网络带宽决定多个监测系数数据的第二数目;
由该监测状态收集器依据该第二数目决定该参照矩阵的一子参照矩阵;
由该监测状态收集器再依据该子参照矩阵将具有稀疏特性的所述多个监测数值转换为所述多个监测系数数据,其中该第二数目小于该第一数目;
由该监测状态收集器将所述多个监测系数数据通过一实体网络传输至一主控端;
由该主控端根据该参照矩阵处理所述多个监测系数数据,以重建多个监测重组数据;以及
由该主控端依所述多个监测重组数据,判定所述多个虚拟机内各运算程序中是否有效能异常的运算程序。
2.如权利要求1所述的监测数据调控方法,其中该主控端重建所述多个监测重组数据时,进一步依据接收所述多个监测系数数据的该第二数目决定该参照矩阵的该子参照矩阵,该主控端再依据该子参照矩阵重建所述多个监测重组数据。
3.如权利要求1所述的监测数据调控方法,其中由该主控端针对该效能异常的运算程序进行资源调配动作。
4.一种云端平台系统,包括:
多个虚拟机;
一监测状态收集器,耦接所述多个虚拟机,收集所述多个虚拟机内各运算程序的各监测数据,该监测状态收集器依据一参照矩阵及目前可用的网络带宽对所述多个监测数据进行取样,以得到多个监测系数数据;
一第一缓存器,耦接该监测状态收集器,用以储存该参照矩阵;
一主控端,透过一实体网络接收来自该监测状态收集器的所述多个监测系数数据;该主控端根据该参照矩阵处理所述多个监测系数数据,以重建多个监测重组数据;该主控端依据所述多个监测重组数据,判定所述多个虚拟机内各运算程序中是否有效能异常的运算程序;以及
一第二缓存器,耦接该主控端,接收并储存来自该监测状态收集器的该参照矩阵;
其中,该监测状态收集器进一步依据运算程序的第一数目构建该参照矩阵,并将该参照矩阵传送至该第二缓存器;
其中,该监测状态收集器在收集该监测数据时,进一步包括将所述多个监测数据转换为具有稀疏特性的多个监测数值,其中该稀疏特性代表所述多个监测数值仅含有少数非零数值;
其中,该监测状态收集器对所述多个监测数据进行取样时,进一步依据该目前可用的网络带宽决定所述多个监测系数数据的第二数目,以及依据该第二数目决定该参照矩阵的一子参照矩阵,该监测状态收集器再依据该子参照矩阵将具有稀疏特性的所述多个监测数值转换为所述多个监测系数数据,其中该第二数目小于该第一数目。
5.如权利要求4所述的云端平台系统,其中该主控端重建所述多个监测重组数据时,进一步依据接收所述多个监测系数数据的该第二数目决定该参照矩阵的该子参照矩阵,该主控端再依据该子参照矩阵重建所述多个监测重组数据。
6.如权利要求4所述的云端平台系统,其中该主控端针对该效能异常的运算程序进行资源调配动作。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102144362A TWI476584B (zh) | 2013-12-04 | 2013-12-04 | 雲端平台之監測資料調控方法及系統 |
TW102144362 | 2013-12-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104702653A CN104702653A (zh) | 2015-06-10 |
CN104702653B true CN104702653B (zh) | 2018-11-06 |
Family
ID=53185895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410035318.3A Active CN104702653B (zh) | 2013-12-04 | 2014-01-24 | 云端平台的监测数据调控方法及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN104702653B (zh) |
TW (1) | TWI476584B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108228308B (zh) * | 2016-12-21 | 2021-07-06 | 中国电信股份有限公司 | 虚拟机的监控方法以及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102799512A (zh) * | 2012-07-04 | 2012-11-28 | 南京邮电大学 | 一种基于向量自回归的云计算中虚拟机监控方法 |
US8327354B1 (en) * | 2007-05-31 | 2012-12-04 | Hewlett-Packard Development Company, L.P. | Virtualization with binary translation |
CN103002005A (zh) * | 2011-09-07 | 2013-03-27 | 埃森哲环球服务有限公司 | 云服务监测系统 |
US8479276B1 (en) * | 2010-12-29 | 2013-07-02 | Emc Corporation | Malware detection using risk analysis based on file system and network activity |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8145760B2 (en) * | 2006-07-24 | 2012-03-27 | Northwestern University | Methods and systems for automatic inference and adaptation of virtualized computing environments |
US8239509B2 (en) * | 2008-05-28 | 2012-08-07 | Red Hat, Inc. | Systems and methods for management of virtual appliances in cloud-based network |
TWI425421B (zh) * | 2010-07-07 | 2014-02-01 | Univ Shu Te | Load Balancing Design Method of Virtual Machine in Cloud Computing Environment |
US9274919B2 (en) * | 2011-04-29 | 2016-03-01 | Dynatrace Software Gmbh | Transaction tracing mechanism of distributed heterogenous transactions having instrumented byte code with constant memory consumption and independent of instrumented method call depth |
-
2013
- 2013-12-04 TW TW102144362A patent/TWI476584B/zh active
-
2014
- 2014-01-24 CN CN201410035318.3A patent/CN104702653B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8327354B1 (en) * | 2007-05-31 | 2012-12-04 | Hewlett-Packard Development Company, L.P. | Virtualization with binary translation |
US8479276B1 (en) * | 2010-12-29 | 2013-07-02 | Emc Corporation | Malware detection using risk analysis based on file system and network activity |
CN103002005A (zh) * | 2011-09-07 | 2013-03-27 | 埃森哲环球服务有限公司 | 云服务监测系统 |
CN102799512A (zh) * | 2012-07-04 | 2012-11-28 | 南京邮电大学 | 一种基于向量自回归的云计算中虚拟机监控方法 |
Also Published As
Publication number | Publication date |
---|---|
TWI476584B (zh) | 2015-03-11 |
CN104702653A (zh) | 2015-06-10 |
TW201523238A (zh) | 2015-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022037337A1 (zh) | 机器学习模型的分布式训练方法、装置以及计算机设备 | |
CN110637460B (zh) | 利用深层神经网络的视觉质量保持量化参数预测 | |
US7895012B2 (en) | Systems and methods for organizing and storing data | |
CN110389820B (zh) | 一种基于v-TGRU模型进行资源预测的私有云任务调度方法 | |
CN105204971A (zh) | 一种基于朴素贝叶斯分类技术的动态监控间隔调整方法 | |
CN107908536B (zh) | Cpu-gpu异构环境中对gpu应用的性能评估方法及系统 | |
CN111435463A (zh) | 数据处理方法及相关设备、系统 | |
CN109743356B (zh) | 工业互联网数据采集方法及装置、可读存储介质和终端 | |
CN110704371A (zh) | 大规模数据管理与数据分发系统及方法 | |
CN111176792A (zh) | 一种资源调度方法、装置及相关设备 | |
Minh et al. | A realistic integrated model of parallel system workloads | |
CN111898578A (zh) | 人群密度的获取方法、装置、电子设备及计算机程序 | |
CN113746798B (zh) | 基于多维度分析的云网络共享资源异常根因定位方法 | |
CN110895706B (zh) | 一种目标聚类数的获取方法、装置及计算机系统 | |
CN104702653B (zh) | 云端平台的监测数据调控方法及系统 | |
Farias et al. | Machine learning approach for cloud nosql databases performance modeling | |
CN110796164A (zh) | 数据聚类的簇数确定方法、系统、电子设备及存储介质 | |
CN113568759A (zh) | 一种基于云计算的大数据处理方法及其系统 | |
CN110851282B (zh) | 一种基于内存网格的分布式数据计算方法及系统 | |
JP7160441B2 (ja) | 情報処理装置及び制御方法 | |
CN114756352A (zh) | 一种调度服务器计算资源的方法、装置及介质 | |
CN115391047A (zh) | 资源调度方法及装置 | |
Celebi et al. | Color quantization using c-means clustering algorithms | |
CN111539863A (zh) | 一种基于多源任务线的智能城市运行的方法和系统 | |
CN117255134B (zh) | 一种基于云边协同的数据传输方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |