CN106325997B - 一种虚拟资源分配方法及装置 - Google Patents

一种虚拟资源分配方法及装置 Download PDF

Info

Publication number
CN106325997B
CN106325997B CN201510362175.1A CN201510362175A CN106325997B CN 106325997 B CN106325997 B CN 106325997B CN 201510362175 A CN201510362175 A CN 201510362175A CN 106325997 B CN106325997 B CN 106325997B
Authority
CN
China
Prior art keywords
virtual
vnf
virtual resource
efficiency
trend
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510362175.1A
Other languages
English (en)
Other versions
CN106325997A (zh
Inventor
程骐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing ZTE New Software Co Ltd
Original Assignee
Nanjing ZTE New Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing ZTE New Software Co Ltd filed Critical Nanjing ZTE New Software Co Ltd
Priority to CN201510362175.1A priority Critical patent/CN106325997B/zh
Priority to PCT/CN2016/078610 priority patent/WO2016206441A1/zh
Publication of CN106325997A publication Critical patent/CN106325997A/zh
Application granted granted Critical
Publication of CN106325997B publication Critical patent/CN106325997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种虚拟资源分配方法及装置,涉及网络功能虚拟化技术。其中,所述虚拟资源分配方法包括:获取当前有虚拟资源请求的虚拟网络功能VNF的使用效率值;根据所述使用效率值,获取当前有虚拟资源请求的虚拟网络功能VNF的效能评分;根据VNF的效能评分,对当前有虚拟资源请求的VNF赋予权重值;根据VNF被赋予的权重值,分配空闲虚拟资源至有虚拟资源请求的VNF。本发明提供的虚拟资源分配方法通过分析VNF以往对虚拟资源的使用效率,获得VNF的效能评分,根据VNF的效能评分对VNF的虚拟资源请求进行权重分配,提升了系统全局资源分配的合理性与效率。

Description

一种虚拟资源分配方法及装置
技术领域
本发明涉及网络功能虚拟化技术,尤其涉及一种虚拟资源分配方法及装置。
背景技术
越来越多的运营商希望业务运行在价格相对低廉的IT服务器上,而不是传统的电信设备上,这样系统整体更加节能环保,同时业务系统的部署能够透明化,运维自动化,监控、容灾等更易实现。为了满足上述需求,欧洲电信标准化协会ETSI组织提出了NFV(Network Function Virtualization,网络功能虚拟化)的概念。其中NFVO(NetworkFunction Virtualization Orchestrator,虚拟网络功能编排器)负责VNF(VirtualNetwork Function,虚拟网络功能)的规划、部署与整网虚拟资源的调度。
目前大多数NFVO提供的虚拟资源分配方法就是基于虚拟资源请求的简单多要素匹配。此方法根据VNF虚拟资源申请需要的虚拟CPU核数、虚拟内存、虚拟硬盘等,与当前NFVI(Network Function Virtualization Infrastructure,虚拟资源管理池)的空闲虚拟资源逐个匹配,所有要素满足时才确认分配。如果某一项资源不满足,则失败。由于NFVO要针对多VNF进行虚拟资源编排与分配,该方法不能保证虚拟资源使用的公平性和整体效率。例如,当A、B两VNF同时发起虚拟资源请求,传统做法会将A、B的请求按到达顺序排队,若A先到达,则先满足A请求再满足B请求。如果此时满足A的请求后空余虚拟资源较少,则B的资源申请失败。再比如某些应用在使用虚拟资源后,不向系统及时归还,造成系统可用的空闲虚拟资源越来越少。
发明内容
本发明实施例所要解决的技术问题在于提供一种虚拟资源分配方法及装置,对于多VNF竞争的环境下虚拟资源分配问题,避免人为的通过应用优先级进行虚拟资源分配带来的盲目性,提升了系统全局虚拟资源分配的合理性与效率。
为了解决上述技术问题,本发明采用如下技术方案:
依据本发明实施例的一个方面提供了一种虚拟资源分配方法,包括:
获取当前有虚拟资源请求的虚拟网络功能VNF的使用效率值;
根据所述使用效率值,获取当前有虚拟资源请求的虚拟网络功能VNF的效能评分;
根据VNF的效能评分,对当前有虚拟资源请求的VNF赋予权重值;
根据VNF被赋予的权重值,分配空闲虚拟资源至有虚拟资源请求的VNF。
进一步的,所述获取当前有虚拟资源请求的VNF的使用效率值的步骤包括:
分别获取每个当前有虚拟资源请求的VNF的虚拟CPU的使用效率值、虚拟内存的使用效率值和虚拟硬盘的使用效率值。
进一步的,利用公式:
Figure BDA0000746185780000021
计算虚拟CPU的使用效率值,其中VCPU为虚拟CPU,分配的VCPU总和为虚拟资源系统已分配的VCPU总和,VCPU占用率为每个VNF对被分配的VCPU的使用率,资源交还时间为一次从VNF被分配VCPU开始到归还VCPU的总时间。
进一步的,利用公式:
Figure BDA0000746185780000022
计算虚拟内存的使用效率值,其中VMEM为虚拟内存,分配的VMEM总和为虚拟资源系统已分配的VMEM总和,VMEM占用率为每个VNF对被分配的VMEM的使用率,资源交还时间为一次从VNF被分配VMEM开始到归还VMEM的总时间。
进一步的,利用公式:
Figure BDA0000746185780000023
计算虚拟硬盘的使用效率值,其中,VHD为虚拟硬盘,分配的VHD总和为虚拟资源系统已分配的VHD总和,VHD占用率为每个VNF对被分配的VHD的使用率,资源交还时间为一次从VNF被分配VHD开始到归还VHD的总时间。
进一步的,所述根据所述使用效率值,获取当前有虚拟资源请求的虚拟网络功能VNF的效能评分的步骤包括:
根据虚拟CPU、虚拟内存和虚拟硬盘的使用效率值,确定虚拟CPU、虚拟内存和虚拟硬盘的效能评分。
进一步的,所述根据虚拟CPU、虚拟内存和虚拟硬盘的使用效率值,确定虚拟CPU、虚拟内存和虚拟硬盘的效能评分的步骤包括:
获取在第一预定时间段内每个有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的多个使用效率值;
将每个有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的多个使用效率值按时间先后顺序生成分析序列;
确定所述分析序列的走向趋势,其中所述分析序列的走向趋势包括:渐好趋势、上下波动趋势和渐差趋势;
若所述分析序列的走向趋势为渐好趋势,则选取时间靠后的预定使用效率值的个数中,使用效率值最大的数值作为效能评分;
若所述分析序列的走向趋势为渐差趋势,则选取时间靠后的预定使用效率值的个数中,使用效率值最小的数值作为效能评分;
若所述分析序列的趋势为上下波动趋势,则选取分析序列中使用效率值的的中位数作为效能评分。
进一步的,所述根据VNF的效能评分,对当前有虚拟资源请求的VNF赋予权重值的步骤包括:
分别对有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的效能评分求和,得到虚拟CPU总效能评分、虚拟内存总效能评分和虚拟硬盘总效能评分;
将每个有虚拟资源请求的VNF的虚拟CPU的效能评分与虚拟CPU总效能评分的比值、虚拟内存的效能评分与虚拟内存总效能评分的比值和虚拟硬盘的效能评分与虚拟硬盘总效能评分的比值,依次作为赋予每个VNF的虚拟CPU的权重值、虚拟内存的权重值和虚拟硬盘的权重值。
进一步的,在所述获取当前有虚拟资源请求的VNF的使用效率值的步骤之前,所述方法还包括:
获取当前有虚拟资源请求的VNF的虚拟资源申请信息以及当前空闲虚拟资源状况;
根据当前空闲虚拟资源与有虚拟资源请求的VNF的虚拟资源申请需求之间的关系,将当前空闲虚拟资源分配给有虚拟资源请求的VNF。
进一步的,所述根据当前空闲虚拟资源与有虚拟资源请求的VNF的虚拟资源申请需求之间的关系,将当前空闲虚拟资源分配给有虚拟资源请求的VNF的步骤包括:
判断当前空闲虚拟资源是否满足所有有虚拟资源请求的VNF的虚拟资源申请需求;
若满足,则将当前空闲虚拟资源按VNF的虚拟资源申请需求分配空闲虚拟资源;
若不满足,则释放空闲VNF占用的虚拟资源。
进一步的,所述释放当前空闲VNF占用的虚拟资源的步骤之后,还包括:
若当前空闲资源加上释放的空闲VNF占用的虚拟资源后,满足有虚拟资源请求的VNF的虚拟资源申请需求,则将当前空闲虚拟资源按VNF的虚拟资源申请需求分配空闲虚拟资源;
若当前空闲资源加上释放的空闲VNF占用的虚拟资源后,无法满足有虚拟资源请求的VNF的虚拟资源申请需求,则获取当前有虚拟资源请求的VNF的使用效率值。
进一步的,所述释放空闲VNF占用的虚拟资源的步骤包括:
获取当前已分配虚拟资源的每个VNF的活跃程度;
释放活跃程度低于一预设值的VNF的虚拟资源。
进一步的,所述获取当前已分配虚拟资源的每个VNF的活跃程度的步骤包括:
利用公式:(DA×D+WA×W+MA×M)/(D+W+M),计算当前已分配虚拟资源VNF在第二预设时间段内的活跃程度;
其中,DA表示VNF每天所述第二预设时间段的平均活跃度,WA表示VNF每周该天所述第二预设时间段的平均活跃度,MA表示VNF每月该天所述第二预设时间段的平均活跃度,D为统计天数,W为统计周数,M为统计月数。
进一步的,利用公式:(∑DAT)/(T×D),计算VNF每天所述第二预设时间段的平均活跃度,其中,DAT为VNF每天在第二预设时间段内的资源占用时长,∑DAT为在统计天数内对VNF每天在第二预设时间段内的资源占用时长的求和,T为所述第二预设时间段的长度。
进一步的,利用公式:(∑WAT)/(T×W),计算VNF每周该天所述第二预设时间段的平均活跃度,其中,WAT为VNF每周该天在所述第二预设时间段内的资源占用时长,∑WAT为在统计周数内对VNF每周该天在所述第二预设时间段内的资源占用时长的求和,T为所述第二预设时间段的长度。
进一步的,利用公式:(∑MAT)/(T×M),计算VNF每月该天所述第二预设时间段的平均活跃度,其中,MAT为VNF每月该天在所述第二预设时间段内的资源占用时长,∑MAT在统计月数内对VNF每月该天在所述第二预设时间段内的资源占用时长的求和,T为所述第二预设时间段的长度。
依据本发明实施例的另一个方面提供了一种虚拟资源分配装置,包括:
第一获取模块,用于获取当前有虚拟资源请求的虚拟网络功能VNF的使用效率值;
第二获取模块,用于根据所述使用效率值,获取当前有虚拟资源请求的虚拟网络功能VNF的效能评分;
赋予模块,用于根据VNF的效能评分,对当前有虚拟资源请求的VNF赋予权重值;
分配模块,用于根据VNF被赋予的权重值,分配空闲虚拟资源至有虚拟资源请求的VNF。
进一步的,所述第一获取模块具体用于分别获取每个当前有虚拟资源请求的VNF的虚拟CPU的使用效率值、虚拟内存的使用效率值和虚拟硬盘的使用效率值。
本发明的有益效果是:本发明实施例提供的虚拟资源分配方法通过分析VNF以往对资源的使用效率,获得VNF的效能评分,根据VNF的效能评分对VNF的虚拟资源请求进行权重分配,对于多VNF竞争的环境下虚拟资源分配问题,避免了人为的通过应用优先级进行虚拟资源分配带来的盲目性,提升了系统全局虚拟资源分配的合理性与效率。同时,通过该方法系统可自动调整分配方案,大大降低了虚拟资源分配管理成本。
附图说明
图1表示本发明实施例提供的虚拟资源分配方法的流程图之一;
图2表示本发明实施例提供的效能评分获取方法的流程图;
图3表示本发明实施例提供的分析序列走向趋势示意图;
图4表示本发明实施例提供的权重值获取方法的流程图;
图5表示本发明实施例提供的虚拟资源分配方法的流程图之二;
图6表示本发明实施例提供的虚拟资源分配方法的流程图之三;
图7表示本发明实施例提供的虚拟资源释放方法的流程图;
图8表示本发明实施例提供的虚拟资源分配装置框图;
图9表示本发明实施例提供的示例中虚拟资源分配装置构架图;
图10表示本发明实施例提供的应用行为效能信息数据库包含的信息模型图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
依据本发明实施例的一个方面,提供了一种虚拟资源分配方法,如图1所示,所述方法包括:
S101、获取当前有虚拟资源请求的虚拟网络功能VNF的使用效率值。
S102、根据所述使用效率值,获取当前有虚拟资源请求的虚拟网络功能VNF的效能评分。
S103、根据VNF的效能评分,对当前有虚拟资源请求的VNF赋予权重值。
S104、根据VNF被赋予的权重值,分配空闲虚拟资源至有虚拟资源请求的VNF。
本发明实施例提供的虚拟资源分配方法通过分析VNF以往对虚拟资源的使用效率,获得VNF的效能评分,根据VNF的效能评分对VNF的虚拟资源请求进行权重分配。该方法对于多VNF竞争的环境下虚拟资源分配问题,避免了人为的通过应用优先级进行虚拟资源分配带来的盲目性,提升了系统全局虚拟资源分配的合理性与效率。同时,通过该方法系统可自动调整分配方案,大大降低了虚拟资源分配管理成本。
进一步的,步骤S101包括:分别获取每个当前有虚拟资源请求的VNF的虚拟CPU的使用效率值、虚拟内存的使用效率值和虚拟硬盘的使用效率值。
具体的,步骤S101利用公式:
Figure BDA0000746185780000071
计算虚拟CPU的使用效率值,其中VCPU为虚拟CPU,分配的VCPU总和为虚拟资源系统已分配的VCPU总和,单位:Hz;VCPU占用率为每个VNF对被分配的VCPU的使用率,单位:%;虚拟资源交还时间为一次从VNF被分配VCPU开始到归还VCPU的总时间,单位:秒。其中,分配的VCPU总和的单位和虚拟资源交还时间也可根据实际需要进行设定。
具体的,步骤S101利用公式:
Figure BDA0000746185780000072
计算虚拟内存的使用效率值,其中VMEM为虚拟内存,分配的VMEM总和为虚拟资源系统已分配的VMEM总和,单位:GB;VMEM占用率为每个VNF对被分配的VMEM的使用率,单位:%;虚拟资源交还时间为一次从VNF被分配VMEM开始到归还VMEM的总时间,单位:秒。其中,分配的VCPU总和的单位和虚拟资源交还时间也可根据实际需要进行设定。
具体的,步骤S101利用公式:
Figure BDA0000746185780000073
计算虚拟硬盘的使用效率值,其中,VHD为虚拟硬盘,分配的VHD总和为虚拟资源系统已分配的VHD总和,单位:GB;VHD占用率为每个VNF对被分配的VHD的使用率,单位:%;虚拟资源交还时间为一次从VNF被分配VHD开始到归还VHD的总时间,单位:秒。其中,分配的VCPU总和的单位和虚拟资源交还时间也可根据实际需要进行设定。
进一步的,在获得步骤S102包括:根据虚拟CPU、虚拟内存和虚拟硬盘的使用效率值,确定虚拟CPU、虚拟内存和虚拟硬盘的效能评分。
在获得虚拟CPU、虚拟内存和虚拟硬盘的使用效率值后,可通过分析使用效率值,得到虚拟CPU、虚拟内存和虚拟硬盘的效能评分。如图2所示,其具体实现方法为:
S201、获取在第一预定时间段内每个有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的多个使用效率值。
S202、将每个有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的多个使用效率值按时间先后顺序生成分析序列。
S203、确定所述分析序列的走向趋势,其中所述分析序列的走向趋势包括:渐好趋势、上下波动趋势和渐差趋势。
S204、若所述分析序列的走向趋势为渐好趋势,则选取时间靠后的预定使用效率值的个数中,使用效率值最大的数值作为效能评分。
S205、若所述分析序列的走向趋势为渐差趋势,则选取时间靠后的预定使用效率值的个数中,使用效率值最小的数值作为效能评分。
S206、若所述分析序列的趋势为上下波动趋势,则选取分析序列中使用效率值的的中位数作为效能评分。
需要说明的是,上述方法中的第一预定时间段可以为系统判断有VNF进行虚拟资源请求时刻附近的一段时间,也可为其它时间,可根据实际需要进行选取。
为进一步理解本发明实施例提供的上述方法,下面举例说明:
如图3所示,以虚拟CPU的效能评分确定过程为例。将在一段时间内采集的多个虚拟CPU的使用效率值按照时间先后顺序组成分析序列,并做趋势分析。其中,由图3可看出,该分析序列为渐好趋势,则在时间靠后的几个使用效率值中选取最大的数值作为该虚拟CPU的效能评分,例如选取时间靠后的最后三个数值中最大的数值作为该虚拟CPU的效能评分,即图3中的A点。对于虚拟内存和虚拟硬盘的效能评分确定过程同虚拟CPU的效能评分确定过程类似,这里不再进行赘述。
进一步的,在获得每个有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的效能评分后,再分别对所有有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的效能评分求和,根据总的效能评分得到每个有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的权重值。如图4所示,其具体实现过程为:
S401、分别对有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的效能评分求和,得到虚拟CPU总效能评分、虚拟内存总效能评分和虚拟硬盘总效能评分。
S402、将每个有虚拟资源请求的VNF的虚拟CPU的效能评分与虚拟CPU总效能评分的比值、虚拟内存的效能评分与虚拟内存总效能评分的比值和虚拟硬盘的效能评分与虚拟硬盘总效能评分的比值,依次作为赋予每个VNF的虚拟CPU的权重值、虚拟内存的权重值和虚拟硬盘的权重值。
为进一步理解本发明实施例提供的上述方法,下面举例说明:
假设将所有有虚拟资源请求的VNF的虚拟CPU的效能评分求和后得到的数值为2000,而其中一个有虚拟资源请求的VNF的虚拟CPU的效能评分为20,则该有虚拟资源请求的VNF的虚拟CPU的权重值为20/2000,即0.01,化成百分数为1%。对于虚拟内存和虚拟硬盘的权重值确定过程同虚拟CPU的权重值的确定过程类似。
进一步的,如图5所示,在步骤S101之前,所述方法还包括:
S501、获取当前有虚拟资源请求的VNF的虚拟资源申请信息以及当前空闲虚拟资源状况。
S502、根据当前空闲虚拟资源与有虚拟资源请求的VNF的虚拟资源申请需求之间的关系,将当前空闲虚拟资源分配给有虚拟资源请求的VNF。
当有VNF有虚拟资源请求时,系统首先会根据虚拟资源申请信息和当前空闲虚拟资源状况,判断当前空闲虚拟资源是否能满足当前所有有虚拟资源请求的VNF的虚拟资源申请,并根据满足情况,确定虚拟资源的分配方案。如图6所示,其具体实现方法为:
S601、判断当前空闲虚拟资源是否满足所有有虚拟资源请求的VNF的虚拟资源申请需求。
S602、若满足,则将当前空闲虚拟资源按VNF的虚拟资源申请需求分配空闲虚拟资源。
S603、若不满足,则释放空闲VNF占用的虚拟资源。
其中,若当前空闲虚拟资源无法满足所有有虚拟资源请求的VNF的虚拟资源申请需求时,会选择性的释放一些VNF占用的虚拟资源,对于如何选择虚拟资源的释放对象,可通过分析VNF对资源占用的周期性规律,估算VNF的未来某时间段的活跃程度,系统优先选择释放一些活跃程度低的VNF占用的虚拟资源,如图7所示,其具体实现方法为:
S701、获取当前已分配虚拟资源的每个VNF的活跃程度。
S702、释放活跃程度低于一预设值的VNF的虚拟资源。例如释放活跃程度低于20%的VNF的虚拟资源。所述预设值可根据实际需要设定。
其中,获取当前已分配虚拟资源的每个VNF的活跃程度的具体实现方式为:
利用公式:(DA×D+WA×W+MA×M)/(D+W+M),计算当前已分配虚拟资源VNF在第二预设时间段内的活跃程度;
其中,DA表示VNF每天所述第二预设时间段的平均活跃度,WA表示VNF每周该天所述第二预设时间段的平均活跃度,MA表示VNF每月该天所述第二预设时间段的平均活跃度,D为统计天数,W为统计周数,M为统计月数。
需要说明的是,第二预设时间端可以为系统判断有VNF进行虚拟资源请求时刻附近的一段时间,具体时长可以通过分析VNF以往虚拟资源使用的平均时长,获得分析时段,即第二预设时间段,也可根据实际需要进行设定。
具体的,步骤S701利用公式:(∑DAT)/(T×D),计算VNF每天所述第二预设时间段的平均活跃度,其中,DAT为VNF每天在第二预设时间段内的资源占用时长,∑DAT为在统计天数内对VNF每天在第二预设时间段内的资源占用时长的求和,T为所述第二预设时间段的长度。
具体的,步骤S701利用公式:(∑WAT)/(T×W),计算VNF每周该天所述第二预设时间段的平均活跃度,其中,WAT为VNF每周该天在所述第二预设时间段内的资源占用时长,∑WAT为在统计周数内对VNF每周该天在所述第二预设时间段内的资源占用时长的求和,T为所述第二预设时间段的长度。其中,每周该天的意思为若当前系统检测到有VNF进行虚拟资源请求的时间为周一,则每周该天即每周周一,也就是计算每周周一所述第二预设时间段的VNF的平均活跃程度。
具体的,步骤S701利用公式:(∑MAT)/(T×M),计算VNF每月该天所述第二预设时间段的平均活跃度,其中,MAT为VNF每月该天在所述第二预设时间段内的资源占用时长,∑MAT在统计月数内对VNF每月该天在所述第二预设时间段内的资源占用时长的求和,T为所述第二预设时间段的长度。其中,每月该天的意思为若当前系统检测到有VNF进行虚拟资源请求的时间为1号,则每月该天即每月1号,也就是计算每月1号所述第二预设时间段的VNF的平均活跃程度。
进一步的,如图6所示,在步骤S603之后,所述方法还包括:
S604、若当前空闲资源加上释放的空闲VNF占用的虚拟资源后,满足有虚拟资源请求的VNF的虚拟资源申请需求,则将当前空闲虚拟资源按VNF的虚拟资源申请需求分配空闲虚拟资源。
S605、若当前空闲资源加上释放的空闲VNF占用的虚拟资源后,无法满足有虚拟资源请求的VNF的虚拟资源申请需求,则获取当前有虚拟资源请求的VNF的使用效率值,即进入步骤S101。
本发明实施例提供的虚拟资源分配方法,通过合理分析VNF的虚拟资源请求和系统已分配出去的虚拟资源,将虚拟资源分配至有虚拟资源请求的VNF,为虚拟资源控制系统提供一种整体较优的虚拟资源分配方法。
依据本发明实施例的另一个方面提供了一种虚拟资源分配装置,如图8所示,包括:
第一获取模块801,用于获取当前有虚拟资源请求的虚拟网络功能VNF的使用效率值;
第二获取模块802,用于根据所述使用效率值,获取当前有虚拟资源请求的虚拟网络功能VNF的效能评分;
赋予模块803,用于根据VNF的效能评分,对当前有虚拟资源请求的VNF赋予权重值;
第一分配模块804,用于根据VNF被赋予的权重值,分配空闲虚拟资源至有虚拟资源请求的VNF。
进一步的,所述第一获取模块具体用于分别获取每个当前有虚拟资源请求的VNF的虚拟CPU的使用效率值、虚拟内存的使用效率值和虚拟硬盘的使用效率值。
其中,所述第一获取模块获取每个当前有虚拟资源请求的VNF的虚拟CPU的使用效率值、虚拟内存的使用效率值和虚拟硬盘的使用效率值,具体过程为:
利用公式:
Figure BDA0000746185780000121
计算虚拟CPU的使用效率值,其中VCPU为虚拟CPU,分配的VCPU总和为虚拟资源系统已分配的VCPU总和,VCPU占用率为每个VNF对被分配的VCPU的使用率,资源交还时间为一次从VNF被分配VCPU开始到归还VCPU的总时间。
利用公式:
Figure BDA0000746185780000122
计算虚拟内存的使用效率值,其中VMEM为虚拟内存,分配的VMEM总和为虚拟资源系统已分配的VMEM总和,VMEM占用率为每个VNF对被分配的VMEM的使用率,资源交还时间为一次从VNF被分配VMEM开始到归还VMEM的总时间。
利用公式:
Figure BDA0000746185780000123
计算虚拟硬盘的使用效率值,其中,VHD为虚拟硬盘,分配的VHD总和为虚拟资源系统已分配的VHD总和,VHD占用率为每个VNF对被分配的VHD的使用率,资源交还时间为一次从VNF被分配VHD开始到归还VHD的总时间。
进一步的,所述第二获取模块具体用于根据虚拟CPU、虚拟内存和虚拟硬盘的使用效率值,确定虚拟CPU、虚拟内存和虚拟硬盘的效能评分。
其中,所述第二获取模块包括:
第一获取单元,用于获取在第一预定时间段内每个有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的多个使用效率值;
生成单元,用于将每个有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的多个使用效率值按时间先后顺序生成分析序列;
确定单元,用于确定所述分析序列的走向趋势,其中所述分析序列的走向趋势包括:渐好趋势、上下波动趋势和渐差趋势;
第一效能评分确定单元,用于若所述分析序列的走向趋势为渐好趋势,则选取时间靠后的预定使用效率值的个数中,使用效率值最大的数值作为效能评分;
第二效能评分确定单元,用于若所述分析序列的走向趋势为渐差趋势,则选取时间靠后的预定使用效率值的个数中,使用效率值最小的数值作为效能评分;
第三效能评分确定单元,用于若所述分析序列的趋势为上下波动趋势,则选取分析序列中使用效率值的的中位数作为效能评分。
进一步的,所述赋予模块包括:
总效能评分获取单元,用于分别对有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的效能评分求和,得到虚拟CPU总效能评分、虚拟内存总效能评分和虚拟硬盘总效能评分;
权重值赋予单元,用于将每个有虚拟资源请求的VNF的虚拟CPU的效能评分与虚拟CPU总效能评分的比值、虚拟内存的效能评分与虚拟内存总效能评分的比值和虚拟硬盘的效能评分与虚拟硬盘总效能评分的比值,依次作为赋予每个VNF的虚拟CPU的权重值、虚拟内存的权重值和虚拟硬盘的权重值。
进一步的,如图8所示,所述装置还包括:
第三获取模块805,用于获取当前有虚拟资源请求的VNF的虚拟资源申请信息以及当前空闲虚拟资源状况;
第二分配模块806,用于根据当前空闲虚拟资源与有虚拟资源请求的VNF的虚拟资源申请需求之间的关系,将当前空闲虚拟资源分配给有虚拟资源请求的VNF。
进一步的,所述第二分配模块包括:
判断单元,用于判断当前空闲虚拟资源是否满足所有有虚拟资源请求的VNF的虚拟资源申请需求。
第一分配单元,用于当当前空闲虚拟资源满足所有有虚拟资源请求的VNF的虚拟资源申请需求时,将当前空闲虚拟资源按VNF的虚拟资源申请需求分配空闲虚拟资源。
释放单元,用于当当前空闲虚拟资源无法满足所有有虚拟资源请求的VNF的虚拟资源申请需求时,释放空闲VNF占用的虚拟资源。
第二分配单元,用于当当前空闲资源加上释放的空闲VNF占用的虚拟资源后,满足有虚拟资源请求的VNF的虚拟资源申请需求时,将当前空闲虚拟资源按VNF的虚拟资源申请需求分配空闲虚拟资源。
第二获取单元,用于当当前空闲资源加上释放的空闲VNF占用的虚拟资源后,无法满足有虚拟资源请求的VNF的虚拟资源申请需求时,获取当前有虚拟资源请求的VNF的使用效率值。
进一步的,所述释放单元包括:
获取子单元,用于获取当前已分配虚拟资源的每个VNF的活跃程度。
释放子单元,用于释放活跃程度低于一预设值的VNF的虚拟资源。
进一步的,所述获取子单元获取当前已分配虚拟资源的每个VNF的活跃程度具体过程为:
利用公式:(DA×D+WA×W+MA×M)/(D+W+M),计算当前已分配虚拟资源VNF在第二预设时间段内的活跃程度;
其中,DA表示VNF每天所述第二预设时间段的平均活跃度,WA表示VNF每周该天所述第二预设时间段的平均活跃度,MA表示VNF每月该天所述第二预设时间段的平均活跃度,D为统计天数,W为统计周数,M为统计月数。
具体的,利用公式:(∑DAT)/(T×D),计算VNF每天所述第二预设时间段的平均活跃度,其中,DAT为VNF每天在第二预设时间段内的资源占用时长,∑DAT为在统计天数内对VNF每天在第二预设时间段内的资源占用时长的求和,T为所述第二预设时间段的长度。
具体的,利用公式:(∑WAT)/(T×W),计算VNF每周该天所述第二预设时间段的平均活跃度,其中,WAT为VNF每周该天在所述第二预设时间段内的资源占用时长,∑WAT为在统计周数内对VNF每周该天在所述第二预设时间段内的资源占用时长的求和,T为所述第二预设时间段的长度。
具体的,利用公式:(∑MAT)/(T×M),计算VNF每月该天所述第二预设时间段的平均活跃度,其中,MAT为VNF每月该天在所述第二预设时间段内的资源占用时长,∑MAT在统计月数内对VNF每月该天在所述第二预设时间段内的资源占用时长的求和,T为所述第二预设时间段的长度。
为了进一步理解本发明实施例提供的虚拟资源分配装置,下面举例说明:
如图9所示,为本发明实施例提供的一种虚拟资源分配装置构架图。
其中,资源使用效能分析模块负责计算VNF对虚拟资源使用情况的效能评分和分配权重值。该模块对应上述装置中的第二获取模块和赋予模块。
应用行为分析模块用于分析VNF对虚拟资源占用的周期性规律,计算VNF的活跃程度,向虚拟资源分配模块提供虚拟资源释放建议。该模块对应上述装置中的第二分配模块中的释放单元。
虚拟资源分配模块用于接收NFVO转发的VNF虚拟资源申请,采集NFVI的空闲虚拟资源情况,结合效能分析模块与行为分析模块的分析结果,向NFVO提出资源分配方案。该模块对应上述装置中的第一分配模块、第二分配和第三获取模块。
资源使用情况采集模块负责收集VNF实际的虚拟资源使用信息,包括VCPU负载、VMEM占用率、VHD占用率等。该模块独立运行在VNF虚拟机中,定期上报使用信息,存入效能信息数据库。该模块对应上述装置的第一获取模块。
应用行为效能信息数据库存储VNF的虚拟资源需求信息与虚拟资源实际使用的情况。其包含的信息模型如图10所示。图中虚拟机左侧部分为VNF的虚拟资源需求信息,虚拟机右侧部分为VNF的虚拟资源实际使用的情况。其中,VCPU_E为虚拟CPU的使用效能,即虚拟CPU的使用效率;VMEM_E为虚拟内存的使用效能,即虚拟内存的使用效率;VHD_E为虚拟硬盘的使用效能,即虚拟硬盘的使用效率;usage为占用率。
需要说明的是,该虚拟资源分配装置是与上述虚拟资源分配方法对应的装置,上述方法实施例中所有实现方式均适用于该装置的实施例中,也能达到相同的技术效果。
以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。

Claims (14)

1.一种虚拟资源分配方法,其特征在于,包括:
获取当前有虚拟资源请求的虚拟网络功能VNF的使用效率值,所述获取当前有虚拟资源请求的VNF的使用效率值的步骤包括:分别获取每个当前有虚拟资源请求的VNF的虚拟CPU的使用效率值、虚拟内存的使用效率值和虚拟硬盘的使用效率值;
根据所述使用效率值,获取当前有虚拟资源请求的虚拟网络功能VNF的效能评分;
根据VNF的效能评分,对当前有虚拟资源请求的VNF赋予权重值;
根据VNF被赋予的权重值,分配空闲虚拟资源至有虚拟资源请求的VNF;
根据所述使用效率值,获取当前有虚拟资源请求的虚拟网络功能VNF的效能评分包括:
获取在第一预定时间段内每个有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的多个使用效率值;
将每个有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的多个使用效率值按时间先后顺序生成分析序列;
确定所述分析序列的走向趋势,其中所述分析序列的走向趋势包括:渐好趋势、上下波动趋势和渐差趋势;
若所述分析序列的走向趋势为渐好趋势,则选取时间靠后的预定使用效率值的个数中,使用效率值最大的数值作为效能评分;
若所述分析序列的走向趋势为渐差趋势,则选取时间靠后的预定使用效率值的个数中,使用效率值最小的数值作为效能评分;
若所述分析序列的趋势为上下波动趋势,则选取分析序列中使用效率值的中位数作为效能评分。
2.如权利要求1所述的虚拟资源分配方法,其特征在于,
利用公式:
Figure FDA0002425416460000011
计算虚拟CPU的使用效率值,其中VCPU为虚拟CPU,分配的VCPU总和为虚拟资源系统已分配的VCPU总和,VCPU占用率为每个VNF对被分配的VCPU的使用率,资源交还时间为一次从VNF被分配VCPU开始到归还VCPU的总时间。
3.如权利要求1所述的虚拟资源分配方法,其特征在于,
利用公式:
Figure FDA0002425416460000021
计算虚拟内存的使用效率值,其中VMEM为虚拟内存,分配的VMEM总和为虚拟资源系统已分配的VMEM总和,VMEM占用率为每个VNF对被分配的VMEM的使用率,资源交还时间为一次从VNF被分配VMEM开始到归还VMEM的总时间。
4.如权利要求1所述的虚拟资源分配方法,其特征在于,
利用公式:
Figure FDA0002425416460000022
计算虚拟硬盘的使用效率值,其中,VHD为虚拟硬盘,分配的VHD总和为虚拟资源系统已分配的VHD总和,VHD占用率为每个VNF对被分配的VHD的使用率,资源交还时间为一次从VNF被分配VHD开始到归还VHD的总时间。
5.如权利要求1所述的虚拟资源分配方法,其特征在于,所述根据VNF的效能评分,对当前有虚拟资源请求的VNF赋予权重值的步骤包括:
分别对有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的效能评分求和,得到虚拟CPU总效能评分、虚拟内存总效能评分和虚拟硬盘总效能评分;
将每个有虚拟资源请求的VNF的虚拟CPU的效能评分与虚拟CPU总效能评分的比值、虚拟内存的效能评分与虚拟内存总效能评分的比值和虚拟硬盘的效能评分与虚拟硬盘总效能评分的比值,依次作为赋予每个VNF的虚拟CPU的权重值、虚拟内存的权重值和虚拟硬盘的权重值。
6.如权利要求1所述的虚拟资源分配方法,其特征在于,在所述获取当前有虚拟资源请求的VNF的使用效率值的步骤之前,所述方法还包括:
获取当前有虚拟资源请求的VNF的虚拟资源申请信息以及当前空闲虚拟资源状况;
根据当前空闲虚拟资源与有虚拟资源请求的VNF的虚拟资源申请需求之间的关系,将当前空闲虚拟资源分配给有虚拟资源请求的VNF。
7.如权利要求6所述的虚拟资源分配方法,其特征在于,所述根据当前空闲虚拟资源与有虚拟资源请求的VNF的虚拟资源申请需求之间的关系,将当前空闲虚拟资源分配给有虚拟资源请求的VNF的步骤包括:
判断当前空闲虚拟资源是否满足所有有虚拟资源请求的VNF的虚拟资源申请需求;
若满足,则将当前空闲虚拟资源按VNF的虚拟资源申请需求分配空闲虚拟资源;
若不满足,则释放空闲VNF占用的虚拟资源。
8.如权利要求7所述的虚拟资源分配方法,其特征在于,所述释放当前空闲VNF占用的虚拟资源的步骤之后,还包括:
若当前空闲资源加上释放的空闲VNF占用的虚拟资源后,满足有虚拟资源请求的VNF的虚拟资源申请需求,则将当前空闲虚拟资源按VNF的虚拟资源申请需求分配空闲虚拟资源;
若当前空闲资源加上释放的空闲VNF占用的虚拟资源后,无法满足有虚拟资源请求的VNF的虚拟资源申请需求,则获取当前有虚拟资源请求的VNF的使用效率值。
9.如权利要求7所述的虚拟资源分配方法,其特征在于,所述释放空闲VNF占用的虚拟资源的步骤包括:
获取当前已分配虚拟资源的每个VNF的活跃程度;
释放活跃程度低于一预设值的VNF的虚拟资源。
10.如权利要求9所述的虚拟资源分配方法,其特征在于,所述获取当前已分配虚拟资源的每个VNF的活跃程度的步骤包括:
利用公式:(DA×D+WA×W+MA×M)/(D+W+M),计算当前已分配虚拟资源VNF在第二预设时间段内的活跃程度;
其中,DA表示VNF每天所述第二预设时间段的平均活跃度,WA表示VNF每周该天所述第二预设时间段的平均活跃度,MA表示VNF每月该天所述第二预设时间段的平均活跃度,D为统计天数,W为统计周数,M为统计月数。
11.如权利要求10所述的虚拟资源分配方法,其特征在于,
利用公式:(∑DAT)/(T×D),计算VNF每天所述第二预设时间段的平均活跃度,其中,DAT为VNF每天在第二预设时间段内的资源占用时长,∑DAT为在统计天数内对VNF每天在第二预设时间段内的资源占用时长的求和,T为所述第二预设时间段的长度。
12.如权利要求10所述的虚拟资源分配方法,其特征在于,
利用公式:(∑WAT)/(T×W),计算VNF每周该天所述第二预设时间段的平均活跃度,其中,WAT为VNF每周该天在所述第二预设时间段内的资源占用时长,∑WAT为在统计周数内对VNF每周该天在所述第二预设时间段内的资源占用时长的求和,T为所述第二预设时间段的长度。
13.如权利要求10所述的虚拟资源分配方法,其特征在于,
利用公式:(∑MAT)/(T×M),计算VNF每月该天所述第二预设时间段的平均活跃度,其中,MAT为VNF每月该天在所述第二预设时间段内的资源占用时长,∑MAT在统计月数内对VNF每月该天在所述第二预设时间段内的资源占用时长的求和,T为所述第二预设时间段的长度。
14.一种虚拟资源分配装置,其特征在于,包括:
第一获取模块,用于获取当前有虚拟资源请求的虚拟网络功能VNF的使用效率值,所述第一获取模块具体用于分别获取每个当前有虚拟资源请求的VNF的虚拟CPU的使用效率值、虚拟内存的使用效率值和虚拟硬盘的使用效率值;
第二获取模块,用于根据所述使用效率值,获取当前有虚拟资源请求的虚拟网络功能VNF的效能评分;
赋予模块,用于根据VNF的效能评分,对当前有虚拟资源请求的VNF赋予权重值;
分配模块,用于根据VNF被赋予的权重值,分配空闲虚拟资源至有虚拟资源请求的VNF;
根据所述使用效率值,获取当前有虚拟资源请求的虚拟网络功能VNF的效能评分包括:
获取在第一预定时间段内每个有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的多个使用效率值;
将每个有虚拟资源请求的VNF的虚拟CPU、虚拟内存和虚拟硬盘的多个使用效率值按时间先后顺序生成分析序列;
确定所述分析序列的走向趋势,其中所述分析序列的走向趋势包括:渐好趋势、上下波动趋势和渐差趋势;
若所述分析序列的走向趋势为渐好趋势,则选取时间靠后的预定使用效率值的个数中,使用效率值最大的数值作为效能评分;
若所述分析序列的走向趋势为渐差趋势,则选取时间靠后的预定使用效率值的个数中,使用效率值最小的数值作为效能评分;
若所述分析序列的趋势为上下波动趋势,则选取分析序列中使用效率值的中位数作为效能评分。
CN201510362175.1A 2015-06-26 2015-06-26 一种虚拟资源分配方法及装置 Active CN106325997B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510362175.1A CN106325997B (zh) 2015-06-26 2015-06-26 一种虚拟资源分配方法及装置
PCT/CN2016/078610 WO2016206441A1 (zh) 2015-06-26 2016-04-06 一种虚拟资源分配方法及装置、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510362175.1A CN106325997B (zh) 2015-06-26 2015-06-26 一种虚拟资源分配方法及装置

Publications (2)

Publication Number Publication Date
CN106325997A CN106325997A (zh) 2017-01-11
CN106325997B true CN106325997B (zh) 2020-10-02

Family

ID=57586579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510362175.1A Active CN106325997B (zh) 2015-06-26 2015-06-26 一种虚拟资源分配方法及装置

Country Status (2)

Country Link
CN (1) CN106325997B (zh)
WO (1) WO2016206441A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147517A (zh) 2017-03-24 2017-09-08 上海交通大学 一种针对虚拟网络功能的自适应计算资源分配方法
CN110865871A (zh) * 2019-11-14 2020-03-06 北京京航计算通讯研究所 基于资源合理化应用的虚拟化集群资源调度方法
CN113032101B (zh) * 2021-03-31 2023-12-29 深信服科技股份有限公司 虚拟机的资源分配方法、服务器及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067476A (zh) * 2012-12-25 2013-04-24 浙江大学 一种基于虚拟机的动态网络重构方法
CN103309719A (zh) * 2012-03-07 2013-09-18 上海聚耘信息科技有限公司 一种应用于云计算的虚拟机管理系统
CN103713956A (zh) * 2014-01-06 2014-04-09 山东大学 应用于云计算虚拟化管理环境中的智能加权负载均衡方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8667399B1 (en) * 2010-12-29 2014-03-04 Amazon Technologies, Inc. Cost tracking for virtual control planes
US8954978B1 (en) * 2010-12-29 2015-02-10 Amazon Technologies, Inc. Reputation-based mediation of virtual control planes
CN102103518B (zh) * 2011-02-23 2013-11-13 运软网络科技(上海)有限公司 一种在虚拟化环境中管理资源的系统及其实现方法
CN102223419A (zh) * 2011-07-05 2011-10-19 北京邮电大学 面向网络化操作系统的虚拟资源动态反馈均衡分配机制
CN103118124B (zh) * 2013-02-22 2015-08-05 桂林电子科技大学 一种基于分层多代理的云计算负载均衡方法
GB2512900A (en) * 2013-04-10 2014-10-15 Nec Corp Communication system
CN104065745A (zh) * 2014-07-07 2014-09-24 电子科技大学 云计算动态资源调度系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309719A (zh) * 2012-03-07 2013-09-18 上海聚耘信息科技有限公司 一种应用于云计算的虚拟机管理系统
CN103067476A (zh) * 2012-12-25 2013-04-24 浙江大学 一种基于虚拟机的动态网络重构方法
CN103713956A (zh) * 2014-01-06 2014-04-09 山东大学 应用于云计算虚拟化管理环境中的智能加权负载均衡方法

Also Published As

Publication number Publication date
CN106325997A (zh) 2017-01-11
WO2016206441A1 (zh) 2016-12-29

Similar Documents

Publication Publication Date Title
CN109936604B (zh) 一种资源调度方法、装置和系统
CN107688492B (zh) 资源的控制方法、装置和集群资源管理系统
CN109992422A (zh) 一种面向gpu资源的任务调度方法、装置和系统
CN107515786B (zh) 资源分配方法、主装置、从装置和分布式计算系统
CN103793272B (zh) 一种周期性任务调度方法及系统
US11496413B2 (en) Allocating cloud computing resources in a cloud computing environment based on user predictability
CN104239154B (zh) 一种Hadoop集群中的作业调度方法和作业调度器
CN116450358A (zh) 云计算系统中的用于虚拟机的资源管理
CN103927229A (zh) 在动态可用服务器集群中调度映射化简作业
CN111078369B (zh) 一种云计算机下虚拟机分配方法、装置以及服务器
CN106161485B (zh) 一种基础服务集群的资源调度方法、装置和系统
Hacker et al. Flexible resource allocation for reliable virtual cluster computing systems
CN109947532B (zh) 一种教育云平台中的大数据任务调度方法
CN103731372A (zh) 一种混合云环境下服务提供者的资源供应方法
CN112988390A (zh) 一种算力资源分配方法及装置
CN106325997B (zh) 一种虚拟资源分配方法及装置
CN105022668B (zh) 一种作业调度方法及系统
CN103988179A (zh) 用于在地理分布数据中心中降低延迟和改善弹性的优化机制
CN105045667B (zh) 一种用于虚拟机vCPU调度的资源池管理方法
CN114625500A (zh) 云环境下拓扑感知的微服务应用调度的方法及应用
CN107203256B (zh) 一种网络功能虚拟化场景下的节能分配方法与装置
Globa et al. Architecture and operation algorithms of mobile core network with virtualization
CN111796932A (zh) 一种gpu资源调度方法
CN109783236B (zh) 用于输出信息的方法和装置
CN114138453B (zh) 一种适合边缘计算环境的资源优化分配方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200911

Address after: Yuhuatai District of Nanjing City, Jiangsu province 210012 Bauhinia Road No. 68

Applicant after: Nanjing Zhongxing Software Co.,Ltd.

Address before: 518057 Nanshan District science and Technology Industrial Park, Guangdong high tech Industrial Park, ZTE building

Applicant before: ZTE Corp.