CN104320671A - 一种基于h.264标准的在线视频转码方法 - Google Patents

一种基于h.264标准的在线视频转码方法 Download PDF

Info

Publication number
CN104320671A
CN104320671A CN201410639805.0A CN201410639805A CN104320671A CN 104320671 A CN104320671 A CN 104320671A CN 201410639805 A CN201410639805 A CN 201410639805A CN 104320671 A CN104320671 A CN 104320671A
Authority
CN
China
Prior art keywords
block
select
type
online video
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410639805.0A
Other languages
English (en)
Inventor
刘兆广
纪秀花
徐新艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Finance and Economics
Original Assignee
Shandong University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Finance and Economics filed Critical Shandong University of Finance and Economics
Priority to CN201410639805.0A priority Critical patent/CN104320671A/zh
Publication of CN104320671A publication Critical patent/CN104320671A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的一种基于H.264标准的在线视频转码方法,所述的方法包括以下步骤:S1:在线解码;S2:缩小图像尺寸;S3:选择宏块类型及相应模式;S4:重新计算运动矢量;S5:细化重新计算后的运动矢量;S6:重新编码。该方法适用于无线视频监控、互联网视频监控、视频点播等领域,不仅可以显著加快转码速度,而且保证了重新编码后的图像质量,满足了实时性的要求。

Description

一种基于H.264标准的在线视频转码方法
技术领域
本发明属于多媒体信号处理领域,特别是一种能够应用于在线视频点播中的基于H.264标准的在线视频转码方法。
背景技术
在视频点播的应用中,不同的用户的使用环境差异巨大,如网络带宽、处理器性能,显示性能等。为了能给各种各样的用户提供丰富的视频资源,视频内容提供商需要保存各种格式下的视频资源,如高清,标清等。为了能解决不同用户终端带来的差异,可以使用视频转码技术。该技术实时地对视频流中的图像大小,帧率,图像质量等各参数进行调整,从而符合接入网络和播放终端的要求。比如在附图2所述的视频点播网络中,在视频服务器上加入视频转码模块,用户通过接收终端连接无线或有线网络,就可以完成点播,然而,目前转码的效率较低,质量也不高,不能满足流畅、实时的观影体验。
发明内容
本发明提供了一种基于H.264标准的在线视频转码方法,该方法适用于无线视频监控、互联网视频监控、视频点播等领域,本方法不仅可以显著加快转码速度,而且保证了重新编码后的图像质量,满足了实时性的要求。
本发明采用以下技术方案:一种基于H.264标准的在线视频转码方法,其特征在于,所述的方法包括以下步骤:
S1:在线解码;
S2:缩小图像尺寸;
S3:选择宏块类型及相应模式;
S4:重新计算运动矢量;
S5:细化重新计算后的运动矢量;
S6:重新编码。
进一步的,步骤S1的具体过程为:启动解码器将在线的实时视频流完全解码,得到解码信息。
进一步的,所述的解码信息包括宏块类型信息、残差数据信息、量化参数、运动矢量信息。
进一步的,在步骤S2的操作过程中,缩小后的图像尺寸位于接收终端的数据流接收范围内。
进一步的,步骤S3的具体过程为:
1)判断统计方式:如果横向图像缩放因子和纵向图像缩放因子均小于Th1,则选择基于块的统计方式(flag=0),否则选择基于像素的统计方式(flag=1),其中,Th1为事先设定的阈值;
2)选定统计区域的划分单位,划分标准为:
a)如果flag=0,以块为单位统计区域内所有4*4子块的类型;
b)如果flag=1,以像素为单位统计区域内所有像素所在4*4子块的类型;
3)选择当前宏块的类型,选择标准为:
a)如果超过半数块或像素为I16MB,则从所有候选模式中选择具有最小SAD的模式;
b)如果超过半数块或像素为I4MB,将当前宏块划分为16个4*4子块,记录区域内每个子块的预测模式,形成集合P,以SAD为准则选择集合P中具有最小SAD的模式;
c)如果I16MB类型和I4MB类型的块或像素个数相同,则以SAD为准则,从所有模式中选择最小SAD的模式;
d)如果超过半数块或像素为SKIP模式,则当前宏块选择为SKIP模式;
e)如果不满足以上的任何一个条件,则以SAD为准则,从所有模式中选择最小SAD的模式。
进一步的,计算SAD的等式为:其中,Pred(i,j)为预测块在坐标(i,j)的值,Ref(i,j)为参考块在坐标(i,j)的值,B*B为块大小。
进一步的,步骤S5的具体过程为:
1)统计宏块的NZ值,所述的NZ值是指宏块所对应的区域中残差数据的非零系数的个数比例;
2)根据表1,
表1
Q 步长
Q<=10 2
10<Q<=30 3
30<Q 4
运动矢量的细化步长根据NZ值自适应的改变,具体细化步长计算公式为:step=SR_TAB[Q]·NZ,其中,SR_TAB指的是表1,表1中的Q是重新量化参数,该参数可以由人工输入,当接收终端的带宽越小时,Q的值越大,此时,图片的质量也就越差。
进一步的,步骤S6的具体过程为:利用步骤S3选择宏块的类型和步骤S5重新计算并细化后的运动矢量,计算出残差数据,然后对残差数据作量化、熵编码处理,最后得到重新编码后的码流。
本发明的有益效果是:
1、结合接收终端的能力压缩图片尺寸,能够完全匹配接收终端的数据流接受能力。
2、本发明通过比对横向图像缩放因子、纵向图像缩放因子与设定阀值的大小,快速、清晰的确定了区域划分的方式,并结合区域中块或像素的数量选定相应的宏块类型和相应模式,整个处理过程快速准确。
3、利用NZ值对运动矢量进行细化,大大提高了重新编码后的图像质量。
附图说明
图1为本发明方法的流程图;
图2为现有的视频点播服务网络的示意图;
图3(a)为本发明转码前图像的示意图;
图3(b)为当前宏块的示意图。
具体实施方式
为了便于理解和实施本发明,下面结合无线视频点播实例来对本发明作进一步详细描述。
在无线视频点播中,已编码的视频流存放在视频服务器上,这些视频流都是在高比特率的前提下压缩的,即图像尺寸大、帧率高、图像质量较好。
当有用户进行点播某个视频段,会将相应所要求的参数同时发送到视频服务器,这些参数包括:图像尺寸、帧率、比特率等。视频服务器根据这些参数的要求,启动转码模块,将已经编码好的视频流转码到所要求的格式下,并实时地将转码后的视频流发送到用户终端。
空间分辨率转码即图像尺寸转码,从较大尺寸图像转码到较小尺寸图像。图像尺寸缩放因子一般分为整数和任意值两种。本发明支持任意值缩放因子的情况,约定图像尺寸缩放前图像尺寸为N1*M1,图像尺寸缩放后图像尺寸为:N2*M2,因此横向和纵向的图像缩放因子分别为:N1/N2和M1/M2。附图3中给出了图像尺寸缩放前后图像中子块的对应关系。图3的子图(b)为图像尺寸缩放后一个子块,宽度和高度均为B个像素,本说明称之为B*B子块。图3的子图(a)为B*B子块对应到图像尺寸缩放前图像中的位置,其中阴影区域(图中标识为区域A2)为B*B子块在图像尺寸缩放前图像中的对应区域,设B*B子块在图像尺寸缩放后图像中的左上角坐标为(x,y),则区域A2在图像尺寸缩放前图像中的左上角坐标为:(x·N1/N2,y·M1/M2)。区域A1定义为:其横向和纵向尺寸均为B个像素的整数倍,且刚好完全包含区域A2。
选择图像中16*16像素的子块作为一个宏块,称为当前宏块。在标准H.264中,每个编码的宏块都对应一种宏块类型,宏块类型从预测模式上分为帧内预测模式和帧间预测模式,其中帧内预测模式分为I4MB和I16MB,帧间预测模式则分为P16*16,P16*8,P8*16,P8*8。具体的划分方法可参考H.264标准文件。
结合上述描述和附图2中的网络,如图1所示,一种基于H.264标准的在线视频转码方法包括以下步骤:
S1:在线解码:启动解码器将在线的实时视频流完全解码,得到解码信息,所述的解码信息包括宏块类型信息、残差数据信息、量化参数、运动矢量信息。
S2:缩小图像尺寸:结合终端的数据流接收能力,缩小图像尺寸;此处所述的缩小图像尺寸的算法可以使用公开的算法,如下采样、低通滤波等方法。
S3:选择宏块类型及相应模式,具体过程为:
1)判断统计方式:如果横向图像缩放因子和纵向图像缩放因子均小于Th1,则选择基于块的统计方式(flag=0),否则选择基于像素的统计方式(flag=1),其中,Th1为事先设定的阈值;
2)选定统计区域的划分单位,划分标准为:
a)如果flag=0,以块为单位统计区域内所有4*4子块的类型;
b)如果flag=1,以像素为单位统计区域内所有像素所在4*4子块的类型;
3)选择当前宏块的类型,选择标准为:
a)如果超过半数块或像素为I16MB,则从所有候选模式中选择具有最小SAD的模式;
b)如果超过半数块或像素为I4MB,将当前宏块划分为16个4*4子块,记录区域内每个子块的预测模式,形成集合P,以SAD为准则选择集合P中具有最小SAD的模式;
c)如果I16MB类型和I4MB类型的块或像素个数相同,则以SAD为准则,从所有模式中选择最小SAD的模式;
d)如果超过半数块或像素为SKIP模式,则当前宏块选择为SKIP模式;
e)如果不满足以上的任何一个条件,则以SAD为准则,从所有模式中选择最小SAD的模式。
其中,计算SAD的等式为:其中,Pred(i,j)为预测块在坐标(i,j)的值,Ref(i,j)为参考块在坐标(i,j)的值。BxB为块大小。
S4:重新计算运动矢量:如果是帧间的宏块类型,则每个宏块都对应着一个或多个运动矢量,因此选择宏块类型之后需要重新计算运动矢量。计算方法使用公开的算法,如中间值法、均值法等。
S5:细化重新计算后的运动矢量,具体过程为:
1)统计当前宏块的NZ值,所述的NZ值是指当前宏块所对应的A1区域中残差数据的非零系数的个数比例;
2)根据下表1,表1
Q 步长
Q<=10 2
10<Q<=30 3
30<Q 4
运动矢量的细化步长根据NZ值自适应的改变,具体细化步长计算方法见等式:step=SR_TAB[Q]·NZ,其中,SR_TAB指的是表1,表1中的Q是重新量化参数,该参数可以由人工输入,当接收终端的带宽越小时,Q的值越大,此时,图片的质量也就越差。
S6:重新编码:利用步骤S30选择宏块的类型和步骤S5重新计算并细化后的运动矢量,计算出残差数据,然后对残差数据作量化、熵编码处理,最后得到重新编码后的码流。
除本发明所述的技术外,其余均为现有技术。
以上所述只是本发明的优选实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也被视为本发明的保护范围。

Claims (8)

1.一种基于H.264标准的在线视频转码方法,其特征在于,所述的方法包括以下步骤:
S1:在线解码;
S2:缩小图像尺寸;
S3:选择宏块类型及相应模式;
S4:重新计算运动矢量;
S5:细化重新计算后的运动矢量;
S6:重新编码。
2.根据权利要求1所述的一种基于H.264标准的在线视频转码方法,其特征在于,步骤S1的具体过程为:启动解码器将在线的实时视频流完全解码,得到解码信息。
3.根据权利要求2所述的一种基于H.264标准的在线视频转码方法,其特征在于,所述的解码信息包括宏块类型信息、残差数据信息、量化参数、运动矢量信息。
4.根据权利要求1所述的一种基于H.264标准的在线视频转码方法,其特征在于,在步骤S2的操作过程中,缩小后的图像尺寸位于接收终端的数据流接收范围内。
5.根据权利要求1所述的一种基于H.264标准的在线视频转码方法,其特征在于,步骤S3的具体过程为:
1)判断统计方式:如果横向图像缩放因子和纵向图像缩放因子均小于Th1,则选择基于块的统计方式(flag=0),否则选择基于像素的统计方式(flag=1),其中,Th1为事先设定的阈值;
2)选定统计区域的划分单位,划分标准为:
a)如果flag=0,以块为单位统计区域内所有4*4子块的类型;
b)如果flag=1,以像素为单位统计区域内所有像素所在4*4子块的类型;
3)选择当前宏块的类型,选择标准为:
a)如果超过半数块或像素为I16MB,则从所有候选模式中选择具有最小SAD的模式;
b)如果超过半数块或像素为I4MB,将当前宏块划分为16个4*4子块,记录区域内每个子块的预测模式,形成集合P,以SAD为准则选择集合P中具有最小SAD的模式;
c)如果I16MB类型和I4MB类型的块或像素个数相同,则以SAD为准则,从所有模式中选择最小SAD的模式;
d)如果超过半数块或像素为SKIP模式,则当前宏块选择为SKIP模式;
e)如果不满足以上的任何一个条件,则以SAD为准则,从所有模式中选择最小SAD的模式。
6.根据权利要求5所述的一种基于H.264标准的在线视频转码方法,其特征在于,计算SAD的等式为:其中,Pred(i,j)为预测块在坐标(i,j)的值,Ref(i,j)为参考块在坐标(i,j)的值。
7.根据权利要求5或6所述的一种基于H.264标准的在线视频转码方法,其特征在于,步骤S5的具体过程为:
1)统计宏块的NZ值,所述的NZ值是指宏块所对应的区域中残差数据的非零系数的个数比例;
2)根据下表,
Q 步长 Q<=10 2 10<Q<=30 3 30<Q 4
运动矢量的细化步长根据NZ值自适应的改变,具体细化步长计算公式为:step=SR_TAB[Q]·NZ,其中,SR_TAB指的是上表,上表中的Q是重新量化参数。
8.根据权利要求7所述的一种基于H.264标准的在线视频转码方法,其特征在于,步骤S6的具体过程为:利用步骤S3选择宏块的类型和步骤S5重新计算并细化后的运动矢量,计算出残差数据,然后对残差数据作量化、熵编码处理,最后得到重新编码后的码流。
CN201410639805.0A 2014-11-13 2014-11-13 一种基于h.264标准的在线视频转码方法 Pending CN104320671A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410639805.0A CN104320671A (zh) 2014-11-13 2014-11-13 一种基于h.264标准的在线视频转码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410639805.0A CN104320671A (zh) 2014-11-13 2014-11-13 一种基于h.264标准的在线视频转码方法

Publications (1)

Publication Number Publication Date
CN104320671A true CN104320671A (zh) 2015-01-28

Family

ID=52375828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410639805.0A Pending CN104320671A (zh) 2014-11-13 2014-11-13 一种基于h.264标准的在线视频转码方法

Country Status (1)

Country Link
CN (1) CN104320671A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744269A (zh) * 2016-02-05 2016-07-06 南京云岩信息科技有限公司 一种基于下采样和亚像素运动估计的转码方法
WO2020156526A1 (en) * 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and inter coding tools
US11343505B2 (en) 2019-02-01 2022-05-24 Beijing Bytedance Network Technology Co., Ltd. Configuring luma-dependent chroma residue scaling for video coding
US11375188B2 (en) 2019-03-23 2022-06-28 Beijing Bytedance Network Technology Co., Ltd. Restrictions on adaptive-loop filtering parameter sets
US20220239932A1 (en) 2019-03-14 2022-07-28 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
RU2806282C2 (ru) * 2019-02-01 2023-10-30 Бейджин Байтдэнс Нетворк Текнолоджи Ко., Лтд. Взаимодействие между внутриконтурным переформированием и инструментами для межкадрового кодирования

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031538A1 (en) * 2006-08-07 2008-02-07 Xiaoyun Jiang Adaptive spatial image filter for filtering image information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031538A1 (en) * 2006-08-07 2008-02-07 Xiaoyun Jiang Adaptive spatial image filter for filtering image information

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘兆广,彭玉华,杨阳: "《一种基于H.264的视频转码方案》", 《电子学报》 *
刘兆广: "《H.264视频转码技术及可分级编码技术的研究》", 《中国博士学位论文全文数据库信息科技辑》 *
王宇,张彩明: "《一种基于H.264的任意比例空间分辨率转码中的快速宏块类型选择方案》", 《计算机应用研究》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744269A (zh) * 2016-02-05 2016-07-06 南京云岩信息科技有限公司 一种基于下采样和亚像素运动估计的转码方法
CN105744269B (zh) * 2016-02-05 2019-02-19 南京云岩信息科技有限公司 一种基于下采样和亚像素运动估计的转码方法
US11558636B2 (en) 2019-02-01 2023-01-17 Beijing Bytedance Network Technology Co., Ltd. Configuring luma-dependent chroma residue scaling for video coding
US11343505B2 (en) 2019-02-01 2022-05-24 Beijing Bytedance Network Technology Co., Ltd. Configuring luma-dependent chroma residue scaling for video coding
US11394995B2 (en) 2019-02-01 2022-07-19 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and inter coding tools
US11553203B2 (en) 2019-02-01 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Signaling of in-loop reshaping information using parameter sets
WO2020156526A1 (en) * 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and inter coding tools
US11627333B2 (en) 2019-02-01 2023-04-11 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and palette mode
RU2806282C2 (ru) * 2019-02-01 2023-10-30 Бейджин Байтдэнс Нетворк Текнолоджи Ко., Лтд. Взаимодействие между внутриконтурным переформированием и инструментами для межкадрового кодирования
US12096021B2 (en) 2019-02-01 2024-09-17 Beijing Bytedance Network Technology Co., Ltd. Signaling of in-loop reshaping information using parameter sets
US20220239932A1 (en) 2019-03-14 2022-07-28 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
US11412238B2 (en) 2019-03-14 2022-08-09 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
US11375188B2 (en) 2019-03-23 2022-06-28 Beijing Bytedance Network Technology Co., Ltd. Restrictions on adaptive-loop filtering parameter sets
US12063362B2 (en) 2019-03-23 2024-08-13 Beijing Bytedance Network Technology Co., Ltd Restrictions on adaptive-loop filtering parameter sets

Similar Documents

Publication Publication Date Title
CN105187835B (zh) 基于内容的自适应视频转码方法及装置
CN110324623B (zh) 一种双向帧间预测方法及装置
TW202115977A (zh) 用於視訊編碼的跨分量自我調整迴路濾波
TW202005382A (zh) 擴展四叉樹子塊的形狀
US11064211B2 (en) Advanced video coding method, system, apparatus, and storage medium
WO2021238540A1 (zh) 图像编码方法、图像解码方法及相关装置
CN103493481A (zh) 基于场景的适应性比特率控制
TW202127892A (zh) 用於視訊編碼的角度訊框內預測模式的依賴位置的訊框內預測組合
CN104320671A (zh) 一种基于h.264标准的在线视频转码方法
EP3817389A1 (en) Image encoding method, decoding method, encoder, decoder and storage medium
CN113497937B (zh) 图像编码方法、图像解码方法及相关装置
WO2019153861A1 (zh) 一种双向帧间预测方法及装置
WO2021244197A1 (zh) 图像编码方法、图像解码方法及相关装置
CN114071161B (zh) 图像编码方法、图像解码方法及相关装置
CN112866721A (zh) 一种双向帧间预测方法及装置
WO2022166462A1 (zh) 编码、解码方法和相关设备
WO2022037300A1 (zh) 编码方法、解码方法及相关装置
WO2022022622A1 (zh) 图像编码方法、图像解码方法及相关装置
TW202131687A (zh) 用於視訊編碼的單色調色板模式
TW202139716A (zh) 在視訊解碼中共享的信號傳遞約束和序列參數集
WO2020134817A1 (zh) 预测模式确定方法、装置及编码设备和解码设备
CN103596012A (zh) 一种实时的基于avs的视频帧率转码中帧间宏块类型选择方法
CN113965764B (zh) 图像编码方法、图像解码方法及相关装置
WO2024082632A1 (zh) 视频编解码方法、装置、计算机可读介质及电子设备
CN104469399A (zh) 一种空间分辨率视频转码中宏块选择skip类型的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150128

RJ01 Rejection of invention patent application after publication