CN104796673B - 一种面向能耗优化的云视频监控系统任务接入方法 - Google Patents

一种面向能耗优化的云视频监控系统任务接入方法 Download PDF

Info

Publication number
CN104796673B
CN104796673B CN201510255965.XA CN201510255965A CN104796673B CN 104796673 B CN104796673 B CN 104796673B CN 201510255965 A CN201510255965 A CN 201510255965A CN 104796673 B CN104796673 B CN 104796673B
Authority
CN
China
Prior art keywords
virtual machine
task
video
bandwidth
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510255965.XA
Other languages
English (en)
Other versions
CN104796673A (zh
Inventor
熊永华
吴敏
万少云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201510255965.XA priority Critical patent/CN104796673B/zh
Publication of CN104796673A publication Critical patent/CN104796673A/zh
Application granted granted Critical
Publication of CN104796673B publication Critical patent/CN104796673B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种面向能耗优化的云视频监控系统任务接入方法，在每个视频任务接入前进行调度，获取已开启虚拟机的剩余可利用带宽，选择现有的虚拟机、创建新的虚拟机、或者在新的服务器上创建虚拟机，作为目标虚拟机完成视频接入任务，重复以上过程直到所有视频任务接入完成，最后关闭空闲虚拟机和空闲服务器。本发明充分考虑了云视频监控系统的特性，对虚拟机的选取仅考虑带宽约束即可，大大提高了调度效率，能有效满足云视频监控任务的实时性要求，直接应用于云视频监控系统，在每个云视频监控任务接入之前对其进行合理调度，提高资源利用率，减少服务器的数量，最终实现能耗优化。

Description

一种面向能耗优化的云视频监控系统任务接入方法
技术领域
本发明涉及一种面向能耗优化的云视频监控系统任务接入方法，属于云视频监控领域。
背景技术
云视频监控服务是基于云计算提出的一种新的服务模式，当前并没有直接针对云视频监控系统的能耗而提出相关的优化方法，而云视频监控系统的能耗大多来自云视频监控中心，因此只能从传统的数据中心的角度来分析云视频监控系统的能耗优化。目前针对数据中心能耗优化提出的解决方法主要分为两大类：基于比例模型的方法和基于两段模型的方法。
基于比例模型的方法假设节点能耗和设备(磁盘、CPU、交换机等)的利用率成正比关系，且忽略设备空闲时的能耗。该类方法根据负载需求动态改变服务器的CPU频率、电压以及磁盘转速以达到节能。然而以上这类方法忽略了服务器空闲时的电能消耗，其节能空间较为有限，因为服务器闲置状态的能耗仍达到其峰值能耗的一半以上，同时受硬件是否具备动态调压调频技术(DVFS)的约束而难以推广。
基于两段模型的方法认为服务器空闲的能耗不可忽略，对没有负载接入的空服务器或虚拟机应该挂起或者关闭而实现节能。基于两段模型的方法主要包括动态迁移和优化调度，然而动态迁移在迁移过程中本身存在迁移能耗，是不容小觑的，且存在一定的时延，这对实时性要求较高的云视频监控任务接入是难以满足的。此外，以上两种方法操作前需要确定目标宿主机是否有能力承担此负载，否则该负载由于宿主机自身性能的约束而不能被正常执行将导致迁移失败，由于国内外目前还没有统一的评价体系和标准来评价目标虚拟机是否有接受该类负载的能力，由此现有的节能方法均难以直接应用于云视频监控系统中。
发明内容
为了解决现有技术的不足，本发明提供了一种面向能耗优化的云视频监控系统任务接入方法，直接应用于云视频监控系统，在每个云视频监控任务接入之前对其进行合理调度，提高资源利用率，减少服务器的数量，最终实现能耗优化。
本发明为解决其技术问题所采用的技术方案是：提供了一种面向能耗优化的云视频监控系统任务接入方法，包括以下步骤：
(1)在云视频监控系统的各个服务器上创建设置数量的虚拟机，每个虚拟机占用设置的初始带宽，依次接入每个视频任务，其中每次接入视频任务时，重复以下步骤：
(1-1)获取视频任务的视频质量以及视频任务IP地址，根据视频质量计算该视频任务需要的带宽
(1-2)依次获取服务器上所有虚拟机的剩余可利用带宽，直到当前获取的虚拟机的剩余可利用带宽等于初始带宽，则获取停止，得到一组虚拟机的剩余可利用带宽进入步骤(1-3)；
(1-3)对于步骤(1-2)获得的每个虚拟机剩余可利用带宽，分别根据以下公式将该虚拟机的剩余可利用带宽减去视频任务需要的带宽得到差值：
其中Δ表示差值，表示获得的第j个虚拟机的剩余可利用带宽，表示第i个视频任务需要的带宽；
统计所有差值中正数的数量，如果有且仅有一个，则该差值对应的虚拟机作为当前视频任务接入的目标虚拟机，进入步骤(1-5)；否则，进入步骤(1-4)；
(1-4)搜索所有为正数的差值中最小的差值，该差值对应的虚拟机作为当前视频任务接入的目标虚拟机，进入步骤(1-5)；
(1-5)将视频任务IP地址发送至目标虚拟机，使目标虚拟机与视频任务对应的监控终端建立连接以获取视频数据，完成视频任务接入；
(1-6)返回步骤(1-1)进行下一个视频任务接入，直到所有视频任务接入完成；
(2)任务全部接入完成之后，对未接入任务的虚拟机进行关闭，同时对未开启虚拟机的服务器进行休眠或关闭。
步骤(1)中调用Virtualbox的SDK实现在服务器上创建虚拟机。
步骤(1-5)完成视频任务接入后，云视频监控系统重新获取当前完成了视频任务接入的虚拟机的剩余可利用带宽。
步骤(1-5)完成视频任务接入后，当前完成了视频任务接入的虚拟机更新自己的资源映射表。
步骤(2)中调用Virtualbox的SDK实现在服务器上关闭虚拟机。
本发明基于其技术方案所具有的有益效果在于：
(1)本发明针对现有云视频监控的具体应用场景，其监控中心电能利用率较低，且现有的能耗优化方法不能直接应用于云视频监控系统中的问题，对所有任务在接入之前进行优化调度至合适的虚拟机；
(2)本发明以云视频监控中心虚拟机的CPU利用率、可用内存、存储磁盘和最大可用带宽等参数为约束条件，虚拟机数量最少为优化目标，建立一种面向能耗优化的云视频监控中心任务接入调度模型，将该四维bin-packing模型转换为一维bin-packing问题进行求解，大大降低方法的计算复杂度，从而在满足云视频任务对实时性要求的基础上，最终实现系统的能耗优化；
(3)本发明充分考虑了云视频监控系统的特性，对虚拟机的选取仅考虑带宽约束即可，大大提高了调度效率，能有效满足云视频监控任务的实时性要求；
(4)本发明能有效提高资源利用率，在调度的最后关闭空闲的虚拟机和空闲的服务器，减小虚拟机的数量，间接减少服务器的数量，同时避免了动态迁移带来的额外能耗，最终以最大化实现系统节能，当任务数量大于2000个时，小于3000个时，其能耗与未采用此方法相比能降低25.1％，节能效果显著，且随着任务数量的增加，节能效果进一步提升。
附图说明
图1是云视频监控系统架构示意图。
图2是面向能耗优化的云视频监控系统任务接入方法流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明提供了一种面向能耗优化的云视频监控系统任务接入方法，云视频监控系统如图1所示，系统包括6个服务器，均采用Xen E5620(2.4G)4核8线程的CPU、36GB内存、SAS2TB硬盘、1000M网卡以及windows sever 2003操作系统。其中一个服务器为接入控制服务器，另外五个为执行服务器，接入控制服务器与5个执行服务器分别连接。接入点AP采用TP-LINK TL-WDR4900(2.4GHz、5GHz双频段、最高无线传输速率为450Mbps)。视频任务的监控端采用DS-2CD8153F-E(I)网络摄像头。从接入控制服务器依次接入每个视频任务，如图2所示，该接入过程包括以下步骤：
(1)在云视频监控系统的各个执行服务器上创建10个虚拟机，每个虚拟机占用设置的初始带宽，依次接入每个视频任务，其中每次接入视频任务时，重复以下步骤：
(1-1)获取视频任务的视频质量以及视频任务IP地址，根据视频质量计算该视频任务需要的带宽
(1-2)依次获取执行服务器上所有虚拟机的剩余可利用带宽，直到当前获取的虚拟机的剩余可利用带宽等于初始带宽，则获取停止，得到一组虚拟机的剩余可利用带宽进入步骤(1-3)；
(1-3)对于步骤(1-2)获得的每个虚拟机剩余可利用带宽，分别根据以下公式将该虚拟机的剩余可利用带宽减去视频任务需要的带宽得到差值：
其中Δ表示差值，表示获得的第j个虚拟机的剩余可利用带宽，表示第i个视频任务需要的带宽；第i个视频任务即当前正在接入的视频任务；
统计所有差值中正数的数量，如果有且仅有一个，则该差值对应的虚拟机作为当前视频任务接入的目标虚拟机，进入步骤(1-5)；否则，进入步骤(1-4)；
(1-4)搜索所有为正数的差值中最小的差值，该差值对应的虚拟机作为当前视频任务接入的目标虚拟机，进入步骤(1-5)；
(1-5)将视频任务IP地址发送至目标虚拟机，使目标虚拟机与视频任务对应的监控终端建立连接以获取视频数据，完成视频任务接入；
(1-6)返回步骤(1-1)进行下一个视频任务接入，直到所有视频任务接入完成；
(2)任务全部接入完成之后，对未接入任务的虚拟机即空闲虚拟机进行关闭，同时对未开启虚拟机的执行服务器即空闲服务器进行休眠或关闭。
步骤(1)中调用Virtualbox的SDK实现在执行服务器上创建虚拟机。
步骤(1-5)完成视频任务接入后，云视频监控系统重新获取当前完成了视频任务接入的虚拟机的剩余可利用带宽。
步骤(1-5)完成视频任务接入后，当前完成了视频任务接入的虚拟机更新自己的资源映射表。
步骤(2)中调用Virtualbox的SDK实现在执行服务器上关闭虚拟机。
本发明的原理阐述如下。
本发明运用了云视频监控中心能耗模型。对于云视频监控系统而言，它由大量服务器和在服务器上运行的虚拟机组成，其总能耗P可表示如下：
其中为单台物理服务器运行时的能耗，k是云视频监控中心开启服务器的数量，是一台物理服务器在不运行虚拟机时所消耗的能耗值，为在第l台服务器上开启的虚拟机数目。
在考虑服务器性能的情况下，每台服务器开启的虚拟机数量是有限的假设最大为另假设一批新任务所需要的虚拟机总数量为N，则
综合以上两式，云视频监控中心能耗则可表示成如下式：
本发明还运用了云视频任务调度模型。从云视频监控系统能耗模型分析看来，其能耗主要取决于虚拟机的总数量N，由此可通过减少虚拟机总数量来实现降低云视频监控中心的能耗。然而对于一批指定的任务，其所需要的总资源是一定的，应通过提高每个已开启虚拟机的资源利用率来减少虚拟机的总数量，由此任务调度模型可以描述如下：
其中Ji为第i(i∈{1,2,…,m})视频任务需要的资源，Vj为第j台虚拟机可利用的初始资源，δij表示任务Ji是否在虚拟机Vj上执行，如果是，则其值为1，否则为0。从上述调度模型可以看出，任务调度的目的主要是集中视频任务在某些虚拟机上运行，同时所有在此虚拟机上运行的任务需要的资源之和不能超过其本身拥有的初始资源大小。
对任务调度模型进行简化，每个视频任务需要的资源包括带宽、CPU、内存和磁盘，且执行任务的虚拟机以上资源都是有限的，任务调度模型是一个4维bin-packing问题。由于一个视频任务传输过程中，其需要的带宽和内存与其比特率有关，且此任务是一个IO密集型任务，CPU资源占用较小可忽略，同时虚拟机采用的是共享磁盘方式，其磁盘大小与其宿主机硬盘大小相同，对虚拟机的选取无影响，由此仅需要考虑任务对带宽和内存的需求。然而带宽和内存之间存在一定的比例关系，假设虚拟机的初始带宽和内存大小存在相同的比例关系，则任务调度模型仅考虑任务的带宽需求即可，即
其中为第i(i∈{1,2,…,m})视频任务需要的带宽资源，为第j台虚拟机可利用的初始带宽资源。
本发明能有效提高资源利用率，减小虚拟机的数量，间接减少服务器的数量，同时避免了动态迁移带来的额外能耗，最终以最大化实现系统节能，当任务数量大于2000个时，小于3000个时，其能耗与未采用此方法相比能降低25.1％，节能效果显著，且随着任务数量的增加，节能效果进一步提升；充分考虑了云视频监控系统的特性，对虚拟机的选取仅考虑带宽约束即可，大大提高了调度效率，能有效满足云视频监控任务的实时性要求。

Claims (5)

1.一种面向能耗优化的云视频监控系统任务接入方法，其特征在于包括以下步骤：
(1)在云视频监控系统的执行服务器上创建设置数量的虚拟机，每个虚拟机占用设置的初始带宽，依次接入每个视频任务，其中每次接入视频任务时，重复以下步骤：
(1-1)获取视频任务的视频质量以及视频任务IP地址，根据视频质量计算该视频任务需要的带宽
(1-2)依次获取执行服务器上所有虚拟机的剩余可利用带宽，直到当前获取的虚拟机的剩余可利用带宽等于初始带宽，则获取停止，得到一组虚拟机的剩余可利用带宽进入步骤(1-3)；
(1-3)对于步骤(1-2)获得的每个虚拟机剩余可利用带宽，分别根据以下公式将该虚拟机的剩余可利用带宽减去视频任务需要的带宽得到差值：
<mrow> <mi>&amp;Delta;</mi> <mo>=</mo> <msubsup> <mi>B</mi> <mi>j</mi> <mi>V</mi> </msubsup> <mo>-</mo> <msubsup> <mi>B</mi> <mi>i</mi> <mi>J</mi> </msubsup> </mrow>
其中Δ表示差值，表示获得的第j个虚拟机的剩余可利用带宽，表示第i个视频任务需要的带宽；
统计所有差值中正数的数量，如果有且仅有一个，则该差值对应的虚拟机作为当前视频任务接入的目标虚拟机，进入步骤(1-5)；否则，进入步骤(1-4)；
(1-4)搜索所有为正数的差值中最小的差值，该差值对应的虚拟机作为当前视频任务接入的目标虚拟机，进入步骤(1-5)；
(1-5)将视频任务IP地址发送至目标虚拟机，使目标虚拟机与视频任务对应的监控终端建立连接以获取视频数据，完成视频任务接入；
(1-6)返回步骤(1-1)进行下一个视频任务接入，直到所有视频任务接入完成；
(2)任务全部接入完成之后，对未接入任务的虚拟机进行关闭，同时对未开启虚拟机的执行执行服务器进行休眠或关闭。
2.根据权利要求1所述的面向能耗优化的云视频监控系统任务接入方法，其特征在于：步骤(1)中调用Virtualbox的SDK实现在执行服务器上创建虚拟机。
3.根据权利要求1所述的面向能耗优化的云视频监控系统任务接入方法，其特征在于：步骤(1-5)完成视频任务接入后，云视频监控系统重新获取当前完成了视频任务接入的虚拟机的剩余可利用带宽。
4.根据权利要求1所述的面向能耗优化的云视频监控系统任务接入方法，其特征在于：步骤(1-5)完成视频任务接入后，当前完成了视频任务接入的虚拟机更新自己的资源映射表。
5.根据权利要求1所述的面向能耗优化的云视频监控系统任务接入方法，其特征在于：步骤(2)中调用Virtualbox的SDK实现在执行服务器上关闭虚拟机。
CN201510255965.XA 2015-05-19 2015-05-19 一种面向能耗优化的云视频监控系统任务接入方法 Expired - Fee Related CN104796673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510255965.XA CN104796673B (zh) 2015-05-19 2015-05-19 一种面向能耗优化的云视频监控系统任务接入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510255965.XA CN104796673B (zh) 2015-05-19 2015-05-19 一种面向能耗优化的云视频监控系统任务接入方法

Publications (2)

Publication Number Publication Date
CN104796673A CN104796673A (zh) 2015-07-22
CN104796673B true CN104796673B (zh) 2017-08-25

Family

ID=53561152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510255965.XA Expired - Fee Related CN104796673B (zh) 2015-05-19 2015-05-19 一种面向能耗优化的云视频监控系统任务接入方法

Country Status (1)

Country Link
CN (1) CN104796673B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509276B (zh) * 2018-03-30 2021-11-30 南京工业大学 一种边缘计算环境中的视频任务动态迁移方法
CN110795203B (zh) * 2018-08-03 2023-05-02 阿里巴巴集团控股有限公司 资源调度方法、装置、系统和计算设备
CN109358946A (zh) * 2018-09-30 2019-02-19 南京邮电大学 一种基于云计算的低能耗流媒体传输任务调度策略
CN109194933A (zh) * 2018-11-03 2019-01-11 天天安途(江苏)信息技术有限公司 一种安监综合应急指挥通讯系统
CN113923206A (zh) * 2020-07-07 2022-01-11 华为技术有限公司 数据传输方法、装置及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102185928A (zh) * 2011-06-01 2011-09-14 广州杰赛科技股份有限公司 一种在云计算系统创建虚拟机的方法及云计算系统
CN102270157A (zh) * 2011-07-25 2011-12-07 浪潮(北京)电子信息产业有限公司 一种实现服务器资源分配的系统及方法
CN102270104A (zh) * 2011-07-14 2011-12-07 华中科技大学 虚拟化环境中动态磁盘带宽分配方法
CN102833355A (zh) * 2012-09-22 2012-12-19 广东电子工业研究院有限公司 一种面向云计算的负载均衡系统及机制
CN103164283A (zh) * 2012-05-10 2013-06-19 上海兆民云计算科技有限公司 一种虚拟桌面系统中虚拟化资源动态调度管理方法及系统
CN103346978A (zh) * 2013-07-16 2013-10-09 上海大学 一种虚拟机网络带宽公平性和稳定性保障方法
CN103560967A (zh) * 2013-10-17 2014-02-05 电子科技大学 一种业务需求感知的虚拟数据中心映射方法
CN103838520A (zh) * 2014-02-19 2014-06-04 华为技术有限公司 一种输入/输出流量控制方法及设备
CN103870314A (zh) * 2014-03-06 2014-06-18 中国科学院信息工程研究所 一种单节点同时运行不同类型虚拟机的方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102185928A (zh) * 2011-06-01 2011-09-14 广州杰赛科技股份有限公司 一种在云计算系统创建虚拟机的方法及云计算系统
CN102270104A (zh) * 2011-07-14 2011-12-07 华中科技大学 虚拟化环境中动态磁盘带宽分配方法
CN102270157A (zh) * 2011-07-25 2011-12-07 浪潮(北京)电子信息产业有限公司 一种实现服务器资源分配的系统及方法
CN103164283A (zh) * 2012-05-10 2013-06-19 上海兆民云计算科技有限公司 一种虚拟桌面系统中虚拟化资源动态调度管理方法及系统
CN102833355A (zh) * 2012-09-22 2012-12-19 广东电子工业研究院有限公司 一种面向云计算的负载均衡系统及机制
CN103346978A (zh) * 2013-07-16 2013-10-09 上海大学 一种虚拟机网络带宽公平性和稳定性保障方法
CN103560967A (zh) * 2013-10-17 2014-02-05 电子科技大学 一种业务需求感知的虚拟数据中心映射方法
CN103838520A (zh) * 2014-02-19 2014-06-04 华为技术有限公司 一种输入/输出流量控制方法及设备
CN103870314A (zh) * 2014-03-06 2014-06-18 中国科学院信息工程研究所 一种单节点同时运行不同类型虚拟机的方法及系统

Also Published As

Publication number Publication date
CN104796673A (zh) 2015-07-22

Similar Documents

Publication Publication Date Title
CN104796673B (zh) 一种面向能耗优化的云视频监控系统任务接入方法
CN106970831B (zh) 一种面向云平台的虚拟机资源动态调度系统及方法
CN104734915B (zh) 一种复合多进程多线程的多网络并发动态仿真方法
CN106059835B (zh) 一种低能耗计算机集群节点的高可靠性控制方法
CN103188277A (zh) 负载能耗管理系统、方法和服务器
CN104636197A (zh) 一种数据中心虚拟机迁移调度策略的评价方法
WO2023015788A1 (zh) 一种面向能耗优化的无服务器计算资源分配系统
CN104572307A (zh) 一种对虚拟资源进行弹性调度的方法
CN103345298A (zh) 一种基于虚拟it资源分配技术的数据中心节能系统及方法
CN105045761B (zh) 一种数据中心的高速并行处理架构
CN104035542B (zh) 一种计算与制冷能耗权衡的虚拟机迁移方法及系统
CN102104496A (zh) 一种云计算环境下中间数据的容错性优化方法
CN103108039B (zh) 一种低能耗集群环境下的服务质量保证方法
CN106961367A (zh) 基于openstack的云资源监控系统和方法
CN103823541A (zh) 虚拟数据中心节能调度方法和设备
CN104360724B (zh) 一种基于作业调度的刀片服务器的散热方法
CN106897133A (zh) 一种基于pbs作业调度管理集群负载的实现方法
CN107506286A (zh) Cpu和内存块的自动上下线方法和系统
CN102855157A (zh) 一种综合性调度服务器负载的方法
CN114741200A (zh) 面向数据中台的计算资源分配方法、装置及电子设备
Cao et al. Research on intelligent traffic control model and simulation based on the internet of things and cloud platform
CN103617090A (zh) 一种基于分布式管理的节能方法
Zhao et al. Research on traffic scheduling based on private cloud platform [J]
CN106357800A (zh) 一种基于QoE的云计算服务架构
CN102521715B (zh) 一种控制应用系统资源分配的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170825

Termination date: 20190519