CN103491381B - 一种动态规划优化视频编码关键帧位置方法 - Google Patents

一种动态规划优化视频编码关键帧位置方法 Download PDF

Info

Publication number
CN103491381B
CN103491381B CN201310370224.7A CN201310370224A CN103491381B CN 103491381 B CN103491381 B CN 103491381B CN 201310370224 A CN201310370224 A CN 201310370224A CN 103491381 B CN103491381 B CN 103491381B
Authority
CN
China
Prior art keywords
frame
key frame
video
scene switching
switching point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310370224.7A
Other languages
English (en)
Other versions
CN103491381A (zh
Inventor
焦华龙
高飞
吴岷
姚键
潘柏宇
卢述奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Youku Network Technology Beijing Co Ltd
Original Assignee
1Verge Internet Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 1Verge Internet Technology Beijing Co Ltd filed Critical 1Verge Internet Technology Beijing Co Ltd
Priority to CN201310370224.7A priority Critical patent/CN103491381B/zh
Publication of CN103491381A publication Critical patent/CN103491381A/zh
Application granted granted Critical
Publication of CN103491381B publication Critical patent/CN103491381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种动态规划优化视频编码关键帧位置方法，涉及音视频编码领域。包括步骤：指定转码工具与预编码的参数，进行预编码；所述预编码结束后得到编码视频的每一帧的编码大小以及所有的场景切换点位置；所述场景切换点的视频帧均设为关键帧；根据任意相邻两个所述场景切换点之间一个编码帧的大小信息，计算出这一段的优化的关键帧分配方案。本发明的有益效果是在不影响播放拖动精度和画面质量的情况下，能够节省码率；或者说在相同的码率和播放拖动精度的条件下，能够对画面质量有部分的改善。

Description

一种动态规划优化视频编码关键帧位置方法
技术领域
本发明涉及多媒体领域，特别涉及音视频编码领域。
背景技术
编码视频的关键帧是指那些在视频中不需要之前帧的数据，依靠帧自身的信息就能完成编解码的视频帧，比如H.264中的IDR帧；相邻两个关键帧的间隔对编码压缩的质量效率以及播放时可以拖动的精度都有较大的影响；在H.264编码码率固定时，关键帧间隔越长，压缩误差越小，清晰度主观感觉越好，但是播放拖动精度会较差；关键帧间隔越短，压缩误差越大，清晰度主观感觉越差，但是播放拖动精度较好；
目前行业内大多数编码器的设计构思分为两种：一种是根据预先人工设定的关键帧间隔来设置每个关键帧位置；还有一种是综合考虑关键帧间隔与视频的场景切换点来设置关键帧位置，技术手段主要是采用简单的帧数累加统计和场景变化部分在整个帧画面中的占比统计来实现。对于这两种方法，都容易将关键帧切分在画面变化较小的部分，将本来只需要很少码率编码的画面用很大的码率来编码，浪费了带宽，并且容易人为的引入播放的不流畅；在码率固定时也会影响画质。
发明内容
针对现有技术中存在的缺陷，本发明提出如下发明构思：通过对视频的预编码，来分析计算出关键帧位置的合理安排，达到既不影响拖动精度又能节省编码码率（或改善画质）的效果。
本发明的方法包括：对于每一个需要转码的视频，分析出播放拖动精度固定的情况下，一个较优的安排视频关键帧的位置方案，以节省码率或提升画面清晰度。
具体实现步骤如下：
1.指定转码工具与预编码的参数，进行预编码；
2.所述预编码结束后得到编码视频的每一帧的编码大小以及所有的场景切换点位置；
3.所述场景切换点的视频帧均设为关键帧；
4.根据任意相邻两个所述场景切换点之间一个编码帧的大小信息，计算出这一段的优化的关键帧分配方案；
综合所述步骤3，4的结果，得到整个视频的所述优化关键帧分配方案，应用于后续的转码。
其中所述步骤1中的指定参数，对于H.264压缩标准，设一个超过编码帧数的关键帧间隔，同时需要设定场景切换阈值，以及一个大小适中的量化因子QP；
其中所述步骤4中，计算每一段的关键帧分配方案，具体通过求解动态规划的递归算法来计算得到。
设前一个场景切换点的位置在第0帧，后一个场景切换点的位置在第N+1帧，设定关键帧最大间隔为K，第i帧在预编码中的码率大小是Xi（i=1～N）；其中N、K、i均为正整数；
出于播放时定位精度考虑，会设定一个最大关键帧间隔K来达到相应的拖动精度；于是对于这N帧的视频中，就至少需要Kn=[N/K]个关键帧，[x]表示将数x取整；
一般来说，编码关键帧所需要的码率比非关键帧会大很多，将本来非关键帧编码码率较小的帧用关键帧来编码意味着较大的浪费，所以要尽量用非关键帧编码消耗码率较大的帧作为关键帧，以减少这种浪费；于是问题就变成求下面的最优化问题：
设关键帧的位置选取在第tj帧（j＝1～Kn），那么就是在限制条件tj+1-tj≤K(j＝1～Kn-1)和t1≤K,tKn≥N+1-K下，取得最大值时，tj（j＝1～Kn）的取值就是对应的关键帧安排的优化位置。
这是一个经典的动态规划问题，可以使用求解动态规划的递归算法来求解此类问题。
但是求解动态规划的递归算法复杂度是与(K(Kn+1)-N)Kn成正比，当计算复杂度过高是时采用一个复杂度很低的算法来代替，将限制条件tj+1-tj≤K(j＝1～Kn-1)用tj+1-tj＝K(j＝1～Kn-1)来简化最优化问题。
本发明使用视频预编码获得的每帧的码流大小及场景变化帧之间的编码帧数等信息，通过优化算法计算出一种在不影响播放拖动精度情况下的节省码率的关键帧分配方案。
有益效果：在不影响播放拖动精度和画面质量的情况下，能够节省码率（节省的程度和要求播放拖动精度相关）；或者说在相同的码率和播放拖动精度的条件下，能够对画面质量有部分的改善。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
一个有50帧的视频关键帧的选择，设定最大关键帧间隔为10帧。
1.用带场景检测和关键帧最大间隔为300(>50)的编码参数对这个视频进行快速预编码，得到每个场景变化点的帧位置以及每一帧的类型及大小如下：
根据目前现有技术，会选择第11，21，31以及43帧为关键帧，这些帧的大小总计为1300+400+300+500=2500个字节，假设每个相同画质的关键帧的大小都为15000个字节，那么总计需要增加15000×4-2500=57500个字节，以达到播放拖动精度在10帧的要求。
本发明的方法的技术，以场景分割帧33将关键帧的优化分成独立2个子部分分别优化；
第1部分K=10,N=33-1-1=31,Kn=[N/K]=3,Xi(i=1～31)的值对应表中的第2～32帧的大小，关键帧的位置分别在tj(j＝1,2,3)帧；最优化问题就是：
在条件t1≤11,t2-t1≤10,t3-t2≤10,t3≥23下，求的最大值，用编程写好的动态规划递归算法程序求解这个问题，得到在t1＝6,t2＝15,t3＝25时，满足条件t1≤11,t2-t1≤10,t3-t2≤10,t3≥23，同时取得最大值为3200+2000+5000=10200.
第2部分K=10，N=51-33-1=17，Kn=[N/K]=1,Xi(i=1～17)对应表中的34～50帧的大小，关键帧的位置在t1帧；最优化问题就是：在条件41≤t1≤43下,的最大值很明显是t1=41时取最大值2300.
综合第1和第2部分，整个视频的优化的关键帧位置分配应该是在第6，15，25和41帧；这些帧的大小总计为10200+2300=12500，假设每个相同画质关键帧的大小为15000，那么要达到拖动播放精度在10帧内的要求，需增加15000×4-12500=47500；在提供相同用户播放体验情况下，比现有技术节省57500-47500=10000个字节，占整个视频的近6%。
实施例二
另一个60帧的视频关键帧的选择，设最大关键帧间隔为8帧。
1.用带场景检测和最大关键帧间隔为1000（1000>60）的编码参数对这个视频进行快速预编码，得到每一帧的大小如下：
根据现有技术会选择第9,17,25,33,41,49和57帧为关键帧，这些帧的大小总计为1500+300+500+400+800+1000+300=4800个字节，假设每个相同画质的关键帧的大小都为15000，那么总计需要增加15000×7-4800=100200个字节，以达到播放拖动精度在8帧的要求。
本发明的方法技术，由于表中的数据没有检测到场景切换点，所以需要作为一个整体来求取关键帧的优化位置。本例中K=8，N=61-1-1=59，Kn=[N/K]=7,Xi(i=1～59)的值对应表中的第2～60帧大小，关键帧的位置分别在tj(j＝1～7)帧，最优化问题就是：在条件t1≤9,tj+1-tj≤8(j＝1～6),t7≥53下，求的最大值。
由于求解这个问题的计算复杂度与（8×（7+1）-59））^8=390625成正比，假定认为这个计算复杂度过高，最优化问题需要简化为：在条件t1≤9,tj+1-tj＝8,t7≥53下，求的最大值。调用求解这个问题的程序，得到t1=7，tj=7+8×（j-1）(j=1～7),同时取值为16100，即这些帧的大小和我16100字节，需要增加15000×7-16100=88900字节，以达到播放拖动精度为8帧的要求，比现有算法节省100200-88900=2300字节，节省了大约1%的码率。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种动态规划优化视频编码关键帧位置方法，其特征在于，包括如下步骤：
(1)指定转码工具与预编码的参数，进行预编码；
(2)所述预编码结束后得到编码视频的每一帧的编码大小以及所有的场景切换点位置；
(3)所述场景切换点的视频帧均设为关键帧；
(4)根据任意相邻两个所述场景切换点之间一个编码帧的大小信息，计算出这一段的优化的关键帧分配方案，前一个场景切换点的位置在第0帧，后一个场景切换点的位置在第N+1帧，设定关键帧最大间隔为K，第i帧在预编码中的码率大小是Xi(i＝1～N)；其中N、K、i均为正整数；具体的：
出于播放时定位精度考虑，设定一个最大关键帧间隔K来达到相应的拖动精度；于是对于这N帧的视频中，就至少需要Kn＝[N/K]个关键帧，[x]表示将数x取整；
设关键帧的位置选取在第tj帧(j＝1～Kn)，那么就是在限制条件tj+1-tj≤K(j＝1～Kn-1)和t1≤K,tKn≥N+1-K下，取得最大值时，tj(j＝1～Kn)的取值就是对应的关键帧安排的优化位置。
2.根据权利要求1所述的固定码率的自适应分辨率转码方法，其特征在于，综合所述步骤(3)、(4)的结果，得到整个视频的所述优化关键帧分配方案，应用于后续的转码。
3.根据权利要求1或2所述的固定码率的自适应分辨率转码方法，其特征在于，其中所述步骤(1)中的指定参数，对于H.264压缩标准，设一个超过编码帧数的关键帧间隔，同时需要设定场景切换阈值，以及一个大小适中的量化因子QP。
4.根据权利要求1或2所述的固定码率的自适应分辨率转码方法，其特征在于，其中所述步骤(4)中，计算每一段的关键帧分配方案，具体通过求解动态规划的递归算法来计算得到。
CN201310370224.7A 2013-08-22 2013-08-22 一种动态规划优化视频编码关键帧位置方法 Active CN103491381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310370224.7A CN103491381B (zh) 2013-08-22 2013-08-22 一种动态规划优化视频编码关键帧位置方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310370224.7A CN103491381B (zh) 2013-08-22 2013-08-22 一种动态规划优化视频编码关键帧位置方法

Publications (2)

Publication Number Publication Date
CN103491381A CN103491381A (zh) 2014-01-01
CN103491381B true CN103491381B (zh) 2016-03-02

Family

ID=49831298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310370224.7A Active CN103491381B (zh) 2013-08-22 2013-08-22 一种动态规划优化视频编码关键帧位置方法

Country Status (1)

Country Link
CN (1) CN103491381B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898319A (zh) * 2015-12-22 2016-08-24 乐视云计算有限公司 视频转码方法和装置
CN110267041B (zh) * 2019-06-28 2021-11-09 Oppo广东移动通信有限公司 图像编码方法、装置、电子设备和计算机可读存储介质
CN111277826B (zh) * 2020-01-22 2022-03-11 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置及存储介质
CN112019850B (zh) * 2020-08-27 2022-08-23 广州市百果园信息技术有限公司 基于场景切换的图像组划分方法、视频编码方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101489138A (zh) * 2009-02-11 2009-07-22 四川长虹电器股份有限公司 基于场景的二次编码图像组划分方法
CN101790049A (zh) * 2010-02-25 2010-07-28 深圳市茁壮网络股份有限公司 一种新闻节目视频分段方法及系统
CN102611910A (zh) * 2011-01-19 2012-07-25 北京东方文骏软件科技有限责任公司 基于关键帧图像质量加权的无参考视频质量客观评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101489138A (zh) * 2009-02-11 2009-07-22 四川长虹电器股份有限公司 基于场景的二次编码图像组划分方法
CN101790049A (zh) * 2010-02-25 2010-07-28 深圳市茁壮网络股份有限公司 一种新闻节目视频分段方法及系统
CN102611910A (zh) * 2011-01-19 2012-07-25 北京东方文骏软件科技有限责任公司 基于关键帧图像质量加权的无参考视频质量客观评价方法

Also Published As

Publication number Publication date
CN103491381A (zh) 2014-01-01

Similar Documents

Publication Publication Date Title
CN101547349B (zh) 一种对视频信号的二次avs编码码率控制的方法
CN105376568B (zh) 一种abr视频编码码率控制的优化方法
CN103491381B (zh) 一种动态规划优化视频编码关键帧位置方法
CN103841418B (zh) 一种3g网络中视频监控器码率控制的优化方法及系统
CN102630013B (zh) 基于场景切换的码率控制视频压缩方法和装置
CN108235016B (zh) 一种码率控制方法及装置
CN1288910C (zh) 基于对象的比特率控制方法和系统
ID28372A (id) Kontrol laju yang dapat disesuaikan untuk kompresi video digital
CN113038127B (zh) 一种基于roi的实时视频多路并行传输码率控制方法
CN105898300A (zh) 一种基于恢复变换系数的改进变换系数符号位隐藏方法
CN110225343A (zh) 一种视频编码的码率控制方法及装置
CN105227955A (zh) 超高清低延时视频编码系统及超高清低延时码率控制方法
CN102752598A (zh) 快速自适应码率控制方法
CN105681803B (zh) 一种大容量的hevc视频信息隐藏方法
CN115118985A (zh) 编码器及相关的信号处理方法
CN103888770A (zh) 一种基于数据挖掘的高效自适应的视频转码系统
CN101511026B (zh) 一种基于场景的avs二次编码码率控制方法
US10075196B2 (en) Information processing apparatus, information processing method, and program
CN105323592A (zh) 一种码率控制方法及装置
CN104270634B (zh) 一种质量自适应的无线视频编码方法
CN112040246A (zh) 一种低时延低复杂度的固定码率控制算法
JP2008514058A (ja) Ｅ−ｄｃｈ専用物理制御チャネルの符号化方法及び符号化装置
CN105049871B (zh) 一种基于hevc的音频信息嵌入方法及提取和重构方法
CN110933416B (zh) 高动态范围视频自适应预处理方法
CN102811349A (zh) 可自动调节冗余的无反馈多描述分布式视频编解码器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Patentee after: Youku network technology (Beijing) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Patentee before: 1VERGE INTERNET TECHNOLOGY (BEIJING) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200323

Address after: 310006 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Alibaba (China) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Patentee before: Youku network technology (Beijing) Co.,Ltd.