CN104320671A - 一种基于h.264标准的在线视频转码方法 - Google Patents
一种基于h.264标准的在线视频转码方法 Download PDFInfo
- Publication number
- CN104320671A CN104320671A CN201410639805.0A CN201410639805A CN104320671A CN 104320671 A CN104320671 A CN 104320671A CN 201410639805 A CN201410639805 A CN 201410639805A CN 104320671 A CN104320671 A CN 104320671A
- Authority
- CN
- China
- Prior art keywords
- block
- select
- type
- online video
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 20
- 238000013139 quantization Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102000000584 Calmodulin Human genes 0.000 description 1
- 108010041952 Calmodulin Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明的一种基于H.264标准的在线视频转码方法,所述的方法包括以下步骤:S1:在线解码;S2:缩小图像尺寸;S3:选择宏块类型及相应模式;S4:重新计算运动矢量;S5:细化重新计算后的运动矢量;S6:重新编码。该方法适用于无线视频监控、互联网视频监控、视频点播等领域,不仅可以显著加快转码速度,而且保证了重新编码后的图像质量,满足了实时性的要求。
Description
技术领域
本发明属于多媒体信号处理领域,特别是一种能够应用于在线视频点播中的基于H.264标准的在线视频转码方法。
背景技术
在视频点播的应用中,不同的用户的使用环境差异巨大,如网络带宽、处理器性能,显示性能等。为了能给各种各样的用户提供丰富的视频资源,视频内容提供商需要保存各种格式下的视频资源,如高清,标清等。为了能解决不同用户终端带来的差异,可以使用视频转码技术。该技术实时地对视频流中的图像大小,帧率,图像质量等各参数进行调整,从而符合接入网络和播放终端的要求。比如在附图2所述的视频点播网络中,在视频服务器上加入视频转码模块,用户通过接收终端连接无线或有线网络,就可以完成点播,然而,目前转码的效率较低,质量也不高,不能满足流畅、实时的观影体验。
发明内容
本发明提供了一种基于H.264标准的在线视频转码方法,该方法适用于无线视频监控、互联网视频监控、视频点播等领域,本方法不仅可以显著加快转码速度,而且保证了重新编码后的图像质量,满足了实时性的要求。
本发明采用以下技术方案:一种基于H.264标准的在线视频转码方法,其特征在于,所述的方法包括以下步骤:
S1:在线解码;
S2:缩小图像尺寸;
S3:选择宏块类型及相应模式;
S4:重新计算运动矢量;
S5:细化重新计算后的运动矢量;
S6:重新编码。
进一步的,步骤S1的具体过程为:启动解码器将在线的实时视频流完全解码,得到解码信息。
进一步的,所述的解码信息包括宏块类型信息、残差数据信息、量化参数、运动矢量信息。
进一步的,在步骤S2的操作过程中,缩小后的图像尺寸位于接收终端的数据流接收范围内。
进一步的,步骤S3的具体过程为:
1)判断统计方式:如果横向图像缩放因子和纵向图像缩放因子均小于Th1,则选择基于块的统计方式(flag=0),否则选择基于像素的统计方式(flag=1),其中,Th1为事先设定的阈值;
2)选定统计区域的划分单位,划分标准为:
a)如果flag=0,以块为单位统计区域内所有4*4子块的类型;
b)如果flag=1,以像素为单位统计区域内所有像素所在4*4子块的类型;
3)选择当前宏块的类型,选择标准为:
a)如果超过半数块或像素为I16MB,则从所有候选模式中选择具有最小SAD的模式;
b)如果超过半数块或像素为I4MB,将当前宏块划分为16个4*4子块,记录区域内每个子块的预测模式,形成集合P,以SAD为准则选择集合P中具有最小SAD的模式;
c)如果I16MB类型和I4MB类型的块或像素个数相同,则以SAD为准则,从所有模式中选择最小SAD的模式;
d)如果超过半数块或像素为SKIP模式,则当前宏块选择为SKIP模式;
e)如果不满足以上的任何一个条件,则以SAD为准则,从所有模式中选择最小SAD的模式。
进一步的,计算SAD的等式为:其中,Pred(i,j)为预测块在坐标(i,j)的值,Ref(i,j)为参考块在坐标(i,j)的值,B*B为块大小。
进一步的,步骤S5的具体过程为:
1)统计宏块的NZ值,所述的NZ值是指宏块所对应的区域中残差数据的非零系数的个数比例;
2)根据表1,
表1
Q | 步长 |
Q<=10 | 2 |
10<Q<=30 | 3 |
30<Q | 4 |
运动矢量的细化步长根据NZ值自适应的改变,具体细化步长计算公式为:step=SR_TAB[Q]·NZ,其中,SR_TAB指的是表1,表1中的Q是重新量化参数,该参数可以由人工输入,当接收终端的带宽越小时,Q的值越大,此时,图片的质量也就越差。
进一步的,步骤S6的具体过程为:利用步骤S3选择宏块的类型和步骤S5重新计算并细化后的运动矢量,计算出残差数据,然后对残差数据作量化、熵编码处理,最后得到重新编码后的码流。
本发明的有益效果是:
1、结合接收终端的能力压缩图片尺寸,能够完全匹配接收终端的数据流接受能力。
2、本发明通过比对横向图像缩放因子、纵向图像缩放因子与设定阀值的大小,快速、清晰的确定了区域划分的方式,并结合区域中块或像素的数量选定相应的宏块类型和相应模式,整个处理过程快速准确。
3、利用NZ值对运动矢量进行细化,大大提高了重新编码后的图像质量。
附图说明
图1为本发明方法的流程图;
图2为现有的视频点播服务网络的示意图;
图3(a)为本发明转码前图像的示意图;
图3(b)为当前宏块的示意图。
具体实施方式
为了便于理解和实施本发明,下面结合无线视频点播实例来对本发明作进一步详细描述。
在无线视频点播中,已编码的视频流存放在视频服务器上,这些视频流都是在高比特率的前提下压缩的,即图像尺寸大、帧率高、图像质量较好。
当有用户进行点播某个视频段,会将相应所要求的参数同时发送到视频服务器,这些参数包括:图像尺寸、帧率、比特率等。视频服务器根据这些参数的要求,启动转码模块,将已经编码好的视频流转码到所要求的格式下,并实时地将转码后的视频流发送到用户终端。
空间分辨率转码即图像尺寸转码,从较大尺寸图像转码到较小尺寸图像。图像尺寸缩放因子一般分为整数和任意值两种。本发明支持任意值缩放因子的情况,约定图像尺寸缩放前图像尺寸为N1*M1,图像尺寸缩放后图像尺寸为:N2*M2,因此横向和纵向的图像缩放因子分别为:N1/N2和M1/M2。附图3中给出了图像尺寸缩放前后图像中子块的对应关系。图3的子图(b)为图像尺寸缩放后一个子块,宽度和高度均为B个像素,本说明称之为B*B子块。图3的子图(a)为B*B子块对应到图像尺寸缩放前图像中的位置,其中阴影区域(图中标识为区域A2)为B*B子块在图像尺寸缩放前图像中的对应区域,设B*B子块在图像尺寸缩放后图像中的左上角坐标为(x,y),则区域A2在图像尺寸缩放前图像中的左上角坐标为:(x·N1/N2,y·M1/M2)。区域A1定义为:其横向和纵向尺寸均为B个像素的整数倍,且刚好完全包含区域A2。
选择图像中16*16像素的子块作为一个宏块,称为当前宏块。在标准H.264中,每个编码的宏块都对应一种宏块类型,宏块类型从预测模式上分为帧内预测模式和帧间预测模式,其中帧内预测模式分为I4MB和I16MB,帧间预测模式则分为P16*16,P16*8,P8*16,P8*8。具体的划分方法可参考H.264标准文件。
结合上述描述和附图2中的网络,如图1所示,一种基于H.264标准的在线视频转码方法包括以下步骤:
S1:在线解码:启动解码器将在线的实时视频流完全解码,得到解码信息,所述的解码信息包括宏块类型信息、残差数据信息、量化参数、运动矢量信息。
S2:缩小图像尺寸:结合终端的数据流接收能力,缩小图像尺寸;此处所述的缩小图像尺寸的算法可以使用公开的算法,如下采样、低通滤波等方法。
S3:选择宏块类型及相应模式,具体过程为:
1)判断统计方式:如果横向图像缩放因子和纵向图像缩放因子均小于Th1,则选择基于块的统计方式(flag=0),否则选择基于像素的统计方式(flag=1),其中,Th1为事先设定的阈值;
2)选定统计区域的划分单位,划分标准为:
a)如果flag=0,以块为单位统计区域内所有4*4子块的类型;
b)如果flag=1,以像素为单位统计区域内所有像素所在4*4子块的类型;
3)选择当前宏块的类型,选择标准为:
a)如果超过半数块或像素为I16MB,则从所有候选模式中选择具有最小SAD的模式;
b)如果超过半数块或像素为I4MB,将当前宏块划分为16个4*4子块,记录区域内每个子块的预测模式,形成集合P,以SAD为准则选择集合P中具有最小SAD的模式;
c)如果I16MB类型和I4MB类型的块或像素个数相同,则以SAD为准则,从所有模式中选择最小SAD的模式;
d)如果超过半数块或像素为SKIP模式,则当前宏块选择为SKIP模式;
e)如果不满足以上的任何一个条件,则以SAD为准则,从所有模式中选择最小SAD的模式。
其中,计算SAD的等式为:其中,Pred(i,j)为预测块在坐标(i,j)的值,Ref(i,j)为参考块在坐标(i,j)的值。BxB为块大小。
S4:重新计算运动矢量:如果是帧间的宏块类型,则每个宏块都对应着一个或多个运动矢量,因此选择宏块类型之后需要重新计算运动矢量。计算方法使用公开的算法,如中间值法、均值法等。
S5:细化重新计算后的运动矢量,具体过程为:
1)统计当前宏块的NZ值,所述的NZ值是指当前宏块所对应的A1区域中残差数据的非零系数的个数比例;
2)根据下表1,表1
Q | 步长 |
Q<=10 | 2 |
10<Q<=30 | 3 |
30<Q | 4 |
运动矢量的细化步长根据NZ值自适应的改变,具体细化步长计算方法见等式:step=SR_TAB[Q]·NZ,其中,SR_TAB指的是表1,表1中的Q是重新量化参数,该参数可以由人工输入,当接收终端的带宽越小时,Q的值越大,此时,图片的质量也就越差。
S6:重新编码:利用步骤S30选择宏块的类型和步骤S5重新计算并细化后的运动矢量,计算出残差数据,然后对残差数据作量化、熵编码处理,最后得到重新编码后的码流。
除本发明所述的技术外,其余均为现有技术。
以上所述只是本发明的优选实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也被视为本发明的保护范围。
Claims (8)
1.一种基于H.264标准的在线视频转码方法,其特征在于,所述的方法包括以下步骤:
S1:在线解码;
S2:缩小图像尺寸;
S3:选择宏块类型及相应模式;
S4:重新计算运动矢量;
S5:细化重新计算后的运动矢量;
S6:重新编码。
2.根据权利要求1所述的一种基于H.264标准的在线视频转码方法,其特征在于,步骤S1的具体过程为:启动解码器将在线的实时视频流完全解码,得到解码信息。
3.根据权利要求2所述的一种基于H.264标准的在线视频转码方法,其特征在于,所述的解码信息包括宏块类型信息、残差数据信息、量化参数、运动矢量信息。
4.根据权利要求1所述的一种基于H.264标准的在线视频转码方法,其特征在于,在步骤S2的操作过程中,缩小后的图像尺寸位于接收终端的数据流接收范围内。
5.根据权利要求1所述的一种基于H.264标准的在线视频转码方法,其特征在于,步骤S3的具体过程为:
1)判断统计方式:如果横向图像缩放因子和纵向图像缩放因子均小于Th1,则选择基于块的统计方式(flag=0),否则选择基于像素的统计方式(flag=1),其中,Th1为事先设定的阈值;
2)选定统计区域的划分单位,划分标准为:
a)如果flag=0,以块为单位统计区域内所有4*4子块的类型;
b)如果flag=1,以像素为单位统计区域内所有像素所在4*4子块的类型;
3)选择当前宏块的类型,选择标准为:
a)如果超过半数块或像素为I16MB,则从所有候选模式中选择具有最小SAD的模式;
b)如果超过半数块或像素为I4MB,将当前宏块划分为16个4*4子块,记录区域内每个子块的预测模式,形成集合P,以SAD为准则选择集合P中具有最小SAD的模式;
c)如果I16MB类型和I4MB类型的块或像素个数相同,则以SAD为准则,从所有模式中选择最小SAD的模式;
d)如果超过半数块或像素为SKIP模式,则当前宏块选择为SKIP模式;
e)如果不满足以上的任何一个条件,则以SAD为准则,从所有模式中选择最小SAD的模式。
6.根据权利要求5所述的一种基于H.264标准的在线视频转码方法,其特征在于,计算SAD的等式为:其中,Pred(i,j)为预测块在坐标(i,j)的值,Ref(i,j)为参考块在坐标(i,j)的值。
7.根据权利要求5或6所述的一种基于H.264标准的在线视频转码方法,其特征在于,步骤S5的具体过程为:
1)统计宏块的NZ值,所述的NZ值是指宏块所对应的区域中残差数据的非零系数的个数比例;
2)根据下表,
运动矢量的细化步长根据NZ值自适应的改变,具体细化步长计算公式为:step=SR_TAB[Q]·NZ,其中,SR_TAB指的是上表,上表中的Q是重新量化参数。
8.根据权利要求7所述的一种基于H.264标准的在线视频转码方法,其特征在于,步骤S6的具体过程为:利用步骤S3选择宏块的类型和步骤S5重新计算并细化后的运动矢量,计算出残差数据,然后对残差数据作量化、熵编码处理,最后得到重新编码后的码流。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410639805.0A CN104320671A (zh) | 2014-11-13 | 2014-11-13 | 一种基于h.264标准的在线视频转码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410639805.0A CN104320671A (zh) | 2014-11-13 | 2014-11-13 | 一种基于h.264标准的在线视频转码方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104320671A true CN104320671A (zh) | 2015-01-28 |
Family
ID=52375828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410639805.0A Pending CN104320671A (zh) | 2014-11-13 | 2014-11-13 | 一种基于h.264标准的在线视频转码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104320671A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105744269A (zh) * | 2016-02-05 | 2016-07-06 | 南京云岩信息科技有限公司 | 一种基于下采样和亚像素运动估计的转码方法 |
WO2020156526A1 (en) * | 2019-02-01 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Interactions between in-loop reshaping and inter coding tools |
US11343505B2 (en) | 2019-02-01 | 2022-05-24 | Beijing Bytedance Network Technology Co., Ltd. | Configuring luma-dependent chroma residue scaling for video coding |
US11375188B2 (en) | 2019-03-23 | 2022-06-28 | Beijing Bytedance Network Technology Co., Ltd. | Restrictions on adaptive-loop filtering parameter sets |
US20220239932A1 (en) | 2019-03-14 | 2022-07-28 | Beijing Bytedance Network Technology Co., Ltd. | Signaling and syntax for in-loop reshaping information |
RU2806282C2 (ru) * | 2019-02-01 | 2023-10-30 | Бейджин Байтдэнс Нетворк Текнолоджи Ко., Лтд. | Взаимодействие между внутриконтурным переформированием и инструментами для межкадрового кодирования |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080031538A1 (en) * | 2006-08-07 | 2008-02-07 | Xiaoyun Jiang | Adaptive spatial image filter for filtering image information |
-
2014
- 2014-11-13 CN CN201410639805.0A patent/CN104320671A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080031538A1 (en) * | 2006-08-07 | 2008-02-07 | Xiaoyun Jiang | Adaptive spatial image filter for filtering image information |
Non-Patent Citations (3)
Title |
---|
刘兆广,彭玉华,杨阳: "《一种基于H.264的视频转码方案》", 《电子学报》 * |
刘兆广: "《H.264视频转码技术及可分级编码技术的研究》", 《中国博士学位论文全文数据库信息科技辑》 * |
王宇,张彩明: "《一种基于H.264的任意比例空间分辨率转码中的快速宏块类型选择方案》", 《计算机应用研究》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105744269A (zh) * | 2016-02-05 | 2016-07-06 | 南京云岩信息科技有限公司 | 一种基于下采样和亚像素运动估计的转码方法 |
CN105744269B (zh) * | 2016-02-05 | 2019-02-19 | 南京云岩信息科技有限公司 | 一种基于下采样和亚像素运动估计的转码方法 |
US11558636B2 (en) | 2019-02-01 | 2023-01-17 | Beijing Bytedance Network Technology Co., Ltd. | Configuring luma-dependent chroma residue scaling for video coding |
US11343505B2 (en) | 2019-02-01 | 2022-05-24 | Beijing Bytedance Network Technology Co., Ltd. | Configuring luma-dependent chroma residue scaling for video coding |
US11394995B2 (en) | 2019-02-01 | 2022-07-19 | Beijing Bytedance Network Technology Co., Ltd. | Interactions between in-loop reshaping and inter coding tools |
US11553203B2 (en) | 2019-02-01 | 2023-01-10 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of in-loop reshaping information using parameter sets |
WO2020156526A1 (en) * | 2019-02-01 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Interactions between in-loop reshaping and inter coding tools |
US11627333B2 (en) | 2019-02-01 | 2023-04-11 | Beijing Bytedance Network Technology Co., Ltd. | Interactions between in-loop reshaping and palette mode |
RU2806282C2 (ru) * | 2019-02-01 | 2023-10-30 | Бейджин Байтдэнс Нетворк Текнолоджи Ко., Лтд. | Взаимодействие между внутриконтурным переформированием и инструментами для межкадрового кодирования |
US12096021B2 (en) | 2019-02-01 | 2024-09-17 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of in-loop reshaping information using parameter sets |
US20220239932A1 (en) | 2019-03-14 | 2022-07-28 | Beijing Bytedance Network Technology Co., Ltd. | Signaling and syntax for in-loop reshaping information |
US11412238B2 (en) | 2019-03-14 | 2022-08-09 | Beijing Bytedance Network Technology Co., Ltd. | Signaling and syntax for in-loop reshaping information |
US11375188B2 (en) | 2019-03-23 | 2022-06-28 | Beijing Bytedance Network Technology Co., Ltd. | Restrictions on adaptive-loop filtering parameter sets |
US12063362B2 (en) | 2019-03-23 | 2024-08-13 | Beijing Bytedance Network Technology Co., Ltd | Restrictions on adaptive-loop filtering parameter sets |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105187835B (zh) | 基于内容的自适应视频转码方法及装置 | |
CN110324623B (zh) | 一种双向帧间预测方法及装置 | |
TW202115977A (zh) | 用於視訊編碼的跨分量自我調整迴路濾波 | |
TW202005382A (zh) | 擴展四叉樹子塊的形狀 | |
US11064211B2 (en) | Advanced video coding method, system, apparatus, and storage medium | |
WO2021238540A1 (zh) | 图像编码方法、图像解码方法及相关装置 | |
CN103493481A (zh) | 基于场景的适应性比特率控制 | |
TW202127892A (zh) | 用於視訊編碼的角度訊框內預測模式的依賴位置的訊框內預測組合 | |
CN104320671A (zh) | 一种基于h.264标准的在线视频转码方法 | |
EP3817389A1 (en) | Image encoding method, decoding method, encoder, decoder and storage medium | |
CN113497937B (zh) | 图像编码方法、图像解码方法及相关装置 | |
WO2019153861A1 (zh) | 一种双向帧间预测方法及装置 | |
WO2021244197A1 (zh) | 图像编码方法、图像解码方法及相关装置 | |
CN114071161B (zh) | 图像编码方法、图像解码方法及相关装置 | |
CN112866721A (zh) | 一种双向帧间预测方法及装置 | |
WO2022166462A1 (zh) | 编码、解码方法和相关设备 | |
WO2022037300A1 (zh) | 编码方法、解码方法及相关装置 | |
WO2022022622A1 (zh) | 图像编码方法、图像解码方法及相关装置 | |
TW202131687A (zh) | 用於視訊編碼的單色調色板模式 | |
TW202139716A (zh) | 在視訊解碼中共享的信號傳遞約束和序列參數集 | |
WO2020134817A1 (zh) | 预测模式确定方法、装置及编码设备和解码设备 | |
CN103596012A (zh) | 一种实时的基于avs的视频帧率转码中帧间宏块类型选择方法 | |
CN113965764B (zh) | 图像编码方法、图像解码方法及相关装置 | |
WO2024082632A1 (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
CN104469399A (zh) | 一种空间分辨率视频转码中宏块选择skip类型的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150128 |
|
RJ01 | Rejection of invention patent application after publication |