CN106507131B - 一种超高清视频编码的自适应云卸载方法 - Google Patents

一种超高清视频编码的自适应云卸载方法 Download PDF

Info

Publication number
CN106507131B
CN106507131B CN201611116361.8A CN201611116361A CN106507131B CN 106507131 B CN106507131 B CN 106507131B CN 201611116361 A CN201611116361 A CN 201611116361A CN 106507131 B CN106507131 B CN 106507131B
Authority
CN
China
Prior art keywords
cloud
mobile terminal
frame
time period
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611116361.8A
Other languages
English (en)
Other versions
CN106507131A (zh
Inventor
金欣
李倩
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201611116361.8A priority Critical patent/CN106507131B/zh
Publication of CN106507131A publication Critical patent/CN106507131A/zh
Application granted granted Critical
Publication of CN106507131B publication Critical patent/CN106507131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种超高清视频编码的自适应云卸载方法，属于计算机视觉与数字图像处理领域。所述方法包括，A1：在移动端输入YUV视频，将某段时间内的每帧图像代入云卸载模型，得到使移动端功耗最小化的最优分配结果，即确定该时间段每帧图像是在移动端还是云端进行编码；A2：每帧图像按照A1的分配结果在移动端或者云端利用相同的编码器对其进行编码；A3：将移动端和云端编码后的码流进行整合，在云端输出码流。利用本发明编码能够显著减少移动端功耗，应用于移动端的视频传输和视频播放等领域，能有效地提高编码效率。

Description

一种超高清视频编码的自适应云卸载方法
技术领域
本发明涉及计算机视觉与数字图像处理领域，特别涉及一种超高清视频编码的自适应云卸载方法。
背景技术
近些年来，随着移动设备技术的不断改进以及移动端的逐渐普及，移动端相关应用也越来越多，视频传输便是其主要方向之一。但是随着目前人们对高清视频的需求以及3D视频资源的普及，待传输的视频文件越来越大，视频下载和传输也将更费时，导致人们对编码的要求越来越高。
当前伴随着大量编码新技术的引入，超高清视频编码技术不断发展，编码效率大大提高。新一代视频编码标准HEVC是ITU-T VCEG继H.264之后所制定的新的视频编码标准，支持更加灵活的树状块划分结构、多参考帧帧间预测和更大的运动搜索范围。这些新技术的引入，实现了编码效率提升的同时，也毫无疑问地对编码器或者解码器的片内存储空间和片内外数据交互带宽提出了更高的要求。而且，编码本身算法非常复杂，移动端CPU的处理能力以及电池容量十分有限，导致在移动端上编码十分困难。
随着云计算的流行，越来越多的研究致力于将移动端的大量复杂的计算卸载到云端，用以降低移动端的功耗。移动终端通过无线网络连接到云端彼此以网络相连的分布式计算设备，将本应在本地终端进行的计算工作及数据发送到云端，由云端多个虚拟机完成计算，以降低本地终端功耗。但是，现存的云卸载的方法在卸载的同时会产生大量的功耗，而目前还没有特定的针对编码的云卸载方案。
发明内容
为解决上述技术问题，本发明提出一种超高清视频编码的自适应云卸载方法，可以有效地降低移动端的功耗。
为此，本发明采用如下技术方案包括如下步骤：
A1：在移动端输入YUV视频，将某段时间内的每帧图像带入云卸载模型，得到使移动端功耗最小化的最优分配结果，即确定该时间段每帧图像是在移动端还是云端进行编码；
A2：每帧图像按照A1的分配结果在移动端或者云端利用相同的编码器对其进行编码；
A3：将移动端和云端编码后的码流进行整合，在云端输出码流。
本发明的有益效果是：在移动端输入高清视频，移动端会将视频的某段时间内的每帧图像带入云卸载模型。通过本发明提出的云卸载模型，可以直接计算得到使移动端功耗最小化的最优分配结果，即该段视频帧是在移动端还是云端编码。最后整合码流的工作也是在云端完成，而不是在客户端完成。这使得同一视频的不同时段视频帧可以同时分别在移动端和云端进行编码，提高了视频编码的效率。而且部分视频帧编码和最后整合码流的工作被分配到了云端，降低了移动端的功耗。
附图说明
图1是本发明所提出的超高清视频编码的自适应云卸载方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1描述了本发明所提出的超高清视频编码的自适应云卸载方法流程图，其中该方法包括以下步骤：
A1：在移动端输入YUV视频，将某段时间内的每帧图像带入云卸载模型，得到使移动端功耗最小化的最优分配结果；
云卸载模型包括对高清视频某一时间段内每帧图像的负载预测，为了提高每帧负载预测的准确性，采用基于希尔伯特变换的负载预测模型，即采用希尔伯特变换。取前一时间段的n帧的时长对应负载的点的包络，预测上一时间段负载的整体走势，提高预测的准确性，同时引入误差抑制函数来减小负载预测的误差。为保证视频播放的流畅性，每秒至少播放N帧。设定某一时间段有n帧视频被编码，其中n<N且N/n整除，则第i个时间段内的第j帧视频的编码负载可以表示为
其中，Wi'(k)是第i个时间段预测到的第k帧的负载(k＝1,2，···，j-1),Wi-1(k)第i-1个时间段第k帧的实际编码负载(k＝j，j+1，···，n)，可表示为
其中，Ti-1,k为第i-1时间段中第k帧的实际编码时长，TM为编码过程中编码时间最长的一帧的编码时长。
其中，mean(～)表示取括号中的变量的平均值。A(j)反映上一时间段负载的整体走向，可以表示为
对于一般基于时间间隔的负载预测算法，L＝3。公式(3)中G(j)可以由上一时间段i-1的负载的平均值计算得到
为G(j)的希尔伯特变换，可以表示为
其中,F(·)和F-1(·)分别为傅里叶变换和傅里叶反变换，sgn(f)表示符号函数。
对于公式(4)中，是第i-1时间段的n帧平均负载。以时长为N/n时间段为单位，第i-1个时间段内的每一帧的负载预测可以表示为
其中，Tj为第i-1时间段中第j帧的编码时长。
对于公式(1)中，en-1表示误差抑制因子。
其中，表示梯度函数，fs为给定的编码速度的限制，优选地，fs为30f/s；Fn表示在编码结束之前所处理的帧数，可写为
Fn＝n×N-|n×N/fs|×fs 公式(8)
该云卸载模型还考虑移动端和云端的计算能力、移动端传输到云端的数据量的大小以及移动端和云端之间的传输速率的影响，算法包括：
针对移动端编码的云卸载模型定义为
s.t.Esum≤E′sum,
其中，为向量，n为选定时间段的帧数，如果Ii(i＝1,2…,n)为1，则第i帧分配到云端进行编码，若Ii为0，则第i帧在移动端进行编码；Esum和E′sum分别表示为使用云卸载模型和未使用云卸载模型时移动端消耗的能量，可表示为
其中，Pc,Pi和Ptr分别为移动端在计算，闲置和数据传送时的功耗；f和S分别为移动端和云端的处理速度，单位为每秒的指令数；D和D'分别是使用云卸载模型和未使用云卸载模型时云端和移动端之间传输的数据量的大小，B为带宽；Cc和Cm分别为未加入云卸载模型时分配到移动端和云端的帧编码时的算法指令数；C'c和C'm分别为某一时间段使用云卸载模型时分配到移动端和云端的帧进行编码时的算法指令数；
其中，Wij(j＝1,2,…,n)表示第i时间段第j帧进行编码时的负载,ft为当前设备的每秒处理速度；
当不使用云卸载模型时，传输到云端的数据量为编码后的数据。固定时间段内n帧传输的数据可表示为
D＝8nγWH 公式(13)
其中，W和H分别为每一帧视频的宽度和高度；对应于YUV 420,YUV 422和YUV 444的视频，γ分别为1.5,2和3；
当使用云卸载模型时，传输到云端的数据量为
D'＝D'm+Dc' 公式(14)
其中，D'm和Dc'分别为在移动端上和在云端编码时需要传输到云端的数据。对于某一时间段n帧中配到云端进行编码的帧，需要传输到云端的数据即原视频数据；
对于分配到移动端进行编码的帧，需要传输到云端的为已压缩之后的数据，设压缩后的数据约为原大小的1/K。
对于HEVC编码器，K为250；对于H.264编码器，K为100。
A2：每帧图像按照A1的分配结果在移动端或者云端利用相同的编码器对其进行编码；优选的，采用HEVC编码器或者H.264编码器。
A3：将移动端和云端编码后的码流进行整合，在云端按照编码前的顺序输出码流。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (5)

1.一种超高清视频编码的自适应云卸载方法，其特征在于，所述方法包括：
A1：在移动端输入YUV视频，将某段时间内的每帧图像代入云卸载模型，得到使移动端功耗最小化的最优分配结果，即确定该时间段每帧图像是在移动端还是云端进行编码；
A2：每帧图像按照A1的分配结果在移动端或者云端利用相同的编码器对其进行编码；
A3：将移动端和云端编码后的码流进行整合，在云端输出码流；
所述方法还包括：所述云卸载模型的参数包括对某时间段内每帧图像在移动端进行编码的功耗预测；
所述对某时间段内每帧图像在移动端进行编码的功耗预测算法包括：
每秒至少播放N帧；设定某一时间段有n帧视频被编码，其中n<N且N/n整除，则第i个时间段内的第j帧视频的编码负载可以表示为
其中，W′i(k)是第i个时间段预测到的第k帧的负载(k＝1,2，···，j-1),Wi-1(k)是第i-1个时间段第k帧的实际编码负载(k＝j，j+1，···，n)，可表示为
其中，Ti-1,k为第i-1时间段中第k帧的实际编码时长，TM为编码过程中编码时间最长的一帧的编码时长；
所述方法还包括：所述云卸载模型的参数还包括移动端和云端的计算能力、移动端传输到云端的数据量的大小以及移动端和云端之间的传输速率；
云卸载模型定义为
s.t.Esum≤E′sum,
其中，为向量，n为选定时间段的帧数，如果Ii(i＝1,2…,n)为1，则第i帧分配到云端进行编码，若Ii为0，则第i帧在移动端进行编码；Esum和E′sum分别表示为使用云卸载模型和未使用云卸载模型时移动端消耗的能量，可表示为
其中，Pc，Pi和Ptr分别为移动端在计算，闲置和数据传送时的功耗；f和S分别为移动端和云端的处理速度，单位为每秒的指令数；D和D′分别是使用云卸载模型和未使用云卸载模型时云端和移动端之间传输的数据量的大小，B为带宽；Cc和Cm分别为未加入云卸载模型时分配到移动端和云端的帧编码时的算法指令数；C′c和C′m分别为某一时间段使用云卸载模型时分配到移动端和云端的帧进行编码时的算法指令数。
2.根据权利要求1所述的方法，其特征在于，所述对某时间段内每帧图像在移动端进行编码的功耗预测算法还包括基于希尔伯特变换的负载预测模型；取前一时间段的n帧的时长对应负载的点的包络，预测上一时间段负载的整体走势，则第i个时间段内的第j帧视频的编码负载可以表示为
其中，mean(·)表示取括号中的变量的平均值；A(j)反映上一时间段负载的整体走向，可以表示为
对于一般基于时间间隔的负载预测算法，L＝3；G(j)可以由上一时间段i-1的负载的平均值计算得到
为G(j)的希尔伯特变换，可以表示为
其中,F(·)和F-1(·)分别为傅里叶变换和傅里叶反变换，sgn(f)表示符号函数；
其中，是第i-1时间段的n帧平均负载；以时长为N/n时间段为单位，第i-1个时间段内的每一帧的负载预测可以表示为
其中，Tj为第i-1时间段中第j帧的编码时长。
3.根据权利要求2所述的方法，其特征在于，所述对某时间段内每帧图像在移动端进行编码的功耗预测算法还包括误差抑制函数，则第i个时间段内的第j帧视频的编码负载可以表示为
其中ei-1表示误差抑制因子：
其中，|·|表示梯度函数，fs为给定的编码速度的限制；Fn表示在编码结束之前所处理的帧数，可写为
Fn＝n×N-|n×N/fs|×fs。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述云卸载模型中包括对Cc,Cm,C′c,C′m的算法：
Cc＝0，
其中，Wij(j＝1,2,…,n)表示第i时间段第j帧进行编码时的负载,ft为当前设备的每秒处理速度。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述云卸载模型中包括对D和D′的算法：
当不使用云卸载模型时，传输到云端的数据量为编码后的数据；固定时间段内n帧传输的数据可表示为D＝8nγWH，
其中，W和H分别为每一帧视频的宽度和高度；对应于YUV 420,YUV 422和YUV 444的视频，γ分别为1.5,2和3；
当使用云卸载模型时，传输到云端的数据量为
D′＝D′m+D′c，
其中，D′m和D′c分别为在移动端上和在云端编码时需要传输到云端的数据；对于某一时间段n帧中配到云端进行编码的帧，需要传输到云端的数据即原视频数据；
对于分配到移动端进行编码的帧，需要传输到云端的为已压缩之后的数据，设压缩后的数据约为原大小的1/K；
其中，所述方法的编码器为HEVC编码器或者H.264编码器，对于HEVC编码器，K为250；对于H.264编码器，K为100。
CN201611116361.8A 2016-12-07 2016-12-07 一种超高清视频编码的自适应云卸载方法 Active CN106507131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611116361.8A CN106507131B (zh) 2016-12-07 2016-12-07 一种超高清视频编码的自适应云卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611116361.8A CN106507131B (zh) 2016-12-07 2016-12-07 一种超高清视频编码的自适应云卸载方法

Publications (2)

Publication Number Publication Date
CN106507131A CN106507131A (zh) 2017-03-15
CN106507131B true CN106507131B (zh) 2019-04-30

Family

ID=58329637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611116361.8A Active CN106507131B (zh) 2016-12-07 2016-12-07 一种超高清视频编码的自适应云卸载方法

Country Status (1)

Country Link
CN (1) CN106507131B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893083A (zh) * 2016-03-29 2016-08-24 华中科技大学 云环境下基于容器的移动代码卸载支撑系统及其卸载方法
CN106462542A (zh) * 2014-03-10 2017-02-22 英特尔公司 通过向云计算基础设施的细粒度卸载进行的移动应用加速

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10397829B2 (en) * 2015-12-03 2019-08-27 The Trustees Of The Stevens Institute Of Technology System apparatus and methods for cognitive cloud offloading in a multi-rat enabled wireless device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462542A (zh) * 2014-03-10 2017-02-22 英特尔公司 通过向云计算基础设施的细粒度卸载进行的移动应用加速
CN105893083A (zh) * 2016-03-29 2016-08-24 华中科技大学 云环境下基于容器的移动代码卸载支撑系统及其卸载方法

Also Published As

Publication number Publication date
CN106507131A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
Liu et al. Learned video compression via joint spatial-temporal correlation exploration
WO2018121670A1 (zh) 压缩/解压缩的装置和系统、芯片、电子装置
EP3571841B1 (en) Dc coefficient sign coding scheme
CN103581665A (zh) 转码视频数据
Hu et al. Fvc: An end-to-end framework towards deep video compression in feature space
US20230023369A1 (en) Video processing method, video processing apparatus, smart device, and storage medium
WO2018120019A1 (zh) 用于神经网络数据的压缩/解压缩的装置和系统
CA3182110A1 (en) Reinforcement learning based rate control
Xiao et al. Dnn-driven compressive offloading for edge-assisted semantic video segmentation
CN115983349A (zh) 卷积神经网络的量化方法及装置、电子设备和存储介质
CN104202607B (zh) 一种图像无损压缩方法和电子设备
WO2022100173A1 (zh) 一种视频帧的压缩和视频帧的解压缩方法及装置
Yuan et al. AccDecoder: Accelerated decoding for neural-enhanced video analytics
Grassucci et al. Enhancing Semantic Communication with Deep Generative Models--An ICASSP Special Session Overview
CN106507131B (zh) 一种超高清视频编码的自适应云卸载方法
WO2020053688A1 (en) Rate distortion optimization for adaptive subband coding of regional adaptive haar transform (raht)
CN117079108A (zh) 一种基于深度估计的云边协同视频流分析方法和装置
WO2022258055A1 (zh) 点云属性信息编码方法、解码方法、装置及相关设备
US20220116611A1 (en) Enhanced video coding using region-based adaptive quality tuning
Yang et al. Graph-convolution network for image compression
CN115442617A (zh) 一种基于视频编码的视频处理方法和装置
CN112287803B (zh) 基于RoI编码的边缘协同目标检测方法及装置
CN109756735A (zh) 用于视频播放的方法及装置
EP2761597A1 (en) Systems, methods and computer program products for integrated post-processing and pre-processing in video transcoding
WO2018120290A1 (zh) 一种基于模板匹配的预测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant