CN104469399A - 一种空间分辨率视频转码中宏块选择skip类型的方法 - Google Patents
一种空间分辨率视频转码中宏块选择skip类型的方法 Download PDFInfo
- Publication number
- CN104469399A CN104469399A CN201410772157.6A CN201410772157A CN104469399A CN 104469399 A CN104469399 A CN 104469399A CN 201410772157 A CN201410772157 A CN 201410772157A CN 104469399 A CN104469399 A CN 104469399A
- Authority
- CN
- China
- Prior art keywords
- video
- macro block
- macro
- type
- skip type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000005457 optimization Methods 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000012634 fragment Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Graphics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种空间分辨率视频转码中宏块选择SKIP类型的方法,本发明充分利用了原始码流的丰富信息,快速进行宏块的SKIP类型选择,并尽可能保证选择的正确性;从解码信息中提取了残差数据,宏块类型等信息,这些信息都与编码端的块类型息息相关。没有提取比较耗时的运动矢量信息,这样保证了提取信息耗时较少,从而转码速度较快。本发明采用了像素域的视频转码,不会出现漂移误差,也就不会导致漂移效应,从而保证了重新编码后的图像质量。
Description
技术领域
本发明涉及一种空间分辨率视频转码中宏块选择SKIP类型的方法,属于多媒体信号处理领域。
背景技术
在视频点播的应用中,为了能给更广泛的用户提供丰富的视频资源,视频内容提供商需要保存各种格式下的视频资源,如高清品质,标清品质,一般品质等。这样才能满足各类不同用户的需求,如个人电脑用户,手机用户等。为了能解决不同用户终端带来的差异,可以使用视频转码技术。在该技术中,可以实时对视频流中的图像大小,帧率,图像质量等各参数进行调整,从而符合接入网络和播放终端的要求。比如在图1所述的视频点播中,就可以在视频服务器上加入视频转码模块,用户就可以通过无线终端完成点播,从而解决了无线信道过窄无法点播的问题。
视频转码的输入是一种比特流格式(如图像大小,帧率,码率,编码标准等),经过转码模块,可以得到另一种输出比特流格式。根据输入和输出比特流格式,视频转码通常分为标准间转码和标准内转码两种。标准间转码是指输入比特流和输出比特流属于不同的标准。标准内转码指输入比特流和输出比特流属于同一标准,又常分为图像尺寸转码,帧率转码,比特率转码三个方面。
发明内容
针对现有技术的不足,本发明提供一种空间分辨率视频转码中宏块选择SKIP类型的方法,该方法适用于无线视频监控,互联网视频监控,视频点播等领域,本方法不仅可以显著加快转码速度,而且保证了重新编码后的图像质量,满足了实时性的要求。
本发明的技术方案如下:
空间分辨率转码也就是图像尺寸转码,即从较大尺寸图像转码到较小尺寸图像。图像尺寸缩放因子一般分为整数和任意值两种。本发明支持任意值缩放因子的情况,并约定转码前图像尺寸为N1×M1,转码后图像尺寸为N2×M2,因此横向和纵向的图像缩放因子分别为N1/N2和M1/M2。附图2中给出了转码前后图像中宏块的对应关系。图2的子图(b)为图像尺寸缩放后的宏块,即需要对此宏块选择一个宏块类型,其宽度和高度均为16个像素,本发明称之为当前宏块。图2的子图(a)为当前宏块对应到图像尺寸缩放前图像中的位置,其中阴影区域(图中标识为区域A2)为当前宏块在图像尺寸缩放前图像中的对应区域。设当前宏块在图像尺寸缩放后图像中的左上角坐标为(x,y),则区域A2在图像尺寸缩放前图像中的左上角坐标为:(x·N1/N2,y·M1/M2)。区域A1定义为:其横向和纵向尺寸均为16个像素的整数倍,且刚好完全包含区域A2,在图2的子图(a)中以黑粗线包围区域为A1。
一种空间分辨率视频转码中宏块选择SKIP类型的方法,包括步骤如下:
1)如果区域A1中所有宏块全为SKIP类型,则当前宏块直接选择为SKIP类型;否则进入步骤2);
2)统计原始图像所有宏块中采用了SKIP类型的比例,记为FP;统计区域A1中宏块采用了SKIP类型的比例,记为AP;
如果FP和AP至少满足下列条件a)、b)之一,则当前宏块选择为SKIP类型:
a)FP>0.5并且AP>0.5
b)FP>0.15并且AP>0.9;
如果上列两个条件a)、b)都不满足,则进入步骤3);
3)统计区域A1的NZ值,其中NZ值为区域A1内的残差数据非零系数比例:
如果NZ>th,则当前宏块的类型选择为SKIP类型;
否则使用现有的选择宏块类型的公开算法,选择宏块类型;所述th是一个阈值,th的值由式(i)决定,
th=aebQ (i)
式(i)中,Q为当前宏块采用的量化参数,具体值采用公开的率失真算法决定。
根据本发明优选的,本发明所述式(i)中参数a和b的计算过程包括如下步骤1)-6):
1)挑选视频:
首先需要挑选出常用的具备各种典型特征的视频序列,并将这些视频序列进行编码,得到压缩好的样本视频序列;所述各种典型特征是指视频中如运动是否剧烈,是否存在镜头切换,纹理是否丰富等特征;如果某视频点播系统是针对特定的应用,例如篮球比赛,则挑选的典型序列最好也是篮球比赛片段;
2)视频解码:
使用解码器,将所述压缩好的样本视频序列进行完全解码,得到像素域数据;这样可以保证在整个转码过程中不会引入漂移误差,从而保证图像质量;解码器可以自主开发,也可以使用各种开源的解码软件系统;
3)缩小图像尺寸:
根据视频播放终端的播放参数,按照现有公开的算法缩小视频图像尺寸;
4)选择最优模式:
使用全模式搜索法获取当前宏块的最优模式;所述全模式搜索法是遍历宏块所有可用的预测模式,并选择一个压缩性能最优的结果作为当前宏块的最优模式;该搜索方法的实施过程可以借鉴各种开源的软件系列,属于现有技术;
5)记录数据:
如果选择的最优模式为SKIP模式,则将步骤2)中解码时所得当前宏块的Q值和步骤4)中选择宏块模式时所得的对应区域A1的NZ记录下来;
6)模型建立:
经过步骤1)-4),完成对所有视频的编码,使用步骤5)记录下来的所有Q值和NZ的关系,以Q值为横坐标,NZ值为纵坐标,绘制出一条曲线,采用模型aebQ拟合该曲线,拟合所得到的两个参数即为本发明所述参数a和b。
本发明的有益效果是:
1)本发明充分利用了原始码流的丰富信息,快速进行宏块的SKIP类型选择,并尽可能保证选择的正确性;从解码信息中提取了残差数据,宏块类型等信息,这些信息都与编码端的块类型息息相关。没有提取比较耗时的运动矢量信息,这样保证了提取信息耗时较少,从而转码速度较快。
2)本发明采用了基于像素域的视频转码,不会出现漂移误差,也就不会导致漂移效应,从而保证了重新编码后的图像质量。
3)本发明在计算参数a和b中,选用了具备各类特征的视频序列,因此该发明适用于各种视频类型,包括运动剧烈,运动平缓,纹理丰富,纹理简单等。
4)本发明适用的图像缩放因子不局限于整数值,而是任意值,从而扩展了视频转码的应用范围。
附图说明
图1转码在视频点播服务中的应用原理图;
图2a转码前后图像中宏块对应关系图,转码前图像;
图2b转码前后图像中宏块对应关系图,当前宏块。
具体实施方式
下面结合实施例和说明书附图对本发明做详细的说明,但不限于此。
实施例、
在无线视频点播中,已编码的视频流存放在视频服务器上,这些视频流都是在高比特率的前提下压缩的,即图像尺寸大,帧率高,图像质量较好。当有用户进行点播某个视频段,会将相应所要求的参数同时发送到视频服务器,这些参数包括:图像尺寸,帧率,比特率等。视频服务器根据这些参数的要求,启动转码模块,将已经编码好的视频流转码到所要求的格式下,并实时地将转码后的视频流发送到用户终端。
视频服务器根据用户端的参数要求,启动在线转码模块,在线转码中需要对每个宏块选择一个类型,该模块的具体实施步骤如下:
(1)在线解码。启动解码器将在线的实时视频流完全解码,得到像素域数据。
(2)提取信息。从解码信息中提取出宏块类型,残差数据等信息。
(3)缩小图像尺寸。根据终端的需要,缩小图像尺寸;此处所述的缩小图像尺寸的算法可以使用公开的算法。
(4)宏块类型选择。利用提取的信息,使用本发明提出的方法快速判断当前宏块是否选择为SKIP模型。
(5)重新计算运动矢量。每种宏块类型,都对应着一个或多个运动矢量,因此选择宏块类型之后需要重新计算运动矢量。计算方法使用公开的算法。重新计算后的运动矢量需要进一步细化,才能准确反映运动的实际情况,一般细化步长为2个像素。
(6)重新编码。使用选择好的宏块类型,重新计算的运动矢量,对视频进行重新编码并输出。
一种空间分辨率视频转码中宏块选择SKIP类型的方法,包括步骤如下:
1)如果区域A1中所有宏块全为SKIP类型,则当前宏块直接选择为SKIP类型;否则进入步骤2);
2)统计原始图像所有宏块中采用了SKIP类型的比例,记为FP;统计区域A1中宏块采用了SKIP类型的比例,记为AP;
如果FP和AP至少满足下列条件a)、b)之一,则当前宏块选择为SKIP类型:
a)FP>0.5并且AP>0.5
b)FP>0.15并且AP>0.9;
如果上列两个条件a)、b)都不满足,则进入步骤3);
3)统计区域A1的NZ值,其中NZ值为区域A1内的残差数据非零系数比例:
如果NZ>th,则当前宏块的类型选择为SKIP类型;
否则使用现有的选择宏块类型的公开算法,选择宏块类型;所述th是一个阈值,th的值由式(i)决定,
th=aebQ (i)
式(i)中,Q为当前宏块采用的量化参数,具体值采用公开的率失真算法决定。
所述式(i)中参数a和b的计算过程包括如下步骤1)-6):
1)挑选视频:
首先需要挑选出常用的具备各种典型特征的视频序列,并将这些视频序列进行编码,得到压缩好的样本视频序列;所述各种典型特征是指视频中如运动是否剧烈,是否存在镜头切换,纹理是否丰富等特征;如果某视频点播系统是针对特定的应用,例如篮球比赛,则挑选的典型序列最好也是篮球比赛片段;
2)视频解码:
使用解码器,将所述压缩好的样本视频序列进行完全解码,得到像素域数据;这样可以保证在整个转码过程中不会引入漂移误差,从而保证图像质量;解码器可以自主开发,也可以使用各种开源的解码软件系统;
3)缩小图像尺寸:
根据视频播放终端的播放参数,按照现有公开的算法缩小视频图像尺寸;
4)选择最优模式:
使用全模式搜索法获取当前宏块的最优模式;所述全模式搜索法是遍历宏块所有可用的预测模式,并选择一个压缩性能最优的结果作为当前宏块的最优模式;该搜索方法的实施过程可以借鉴各种开源的软件系列,属于现有技术;
5)记录数据:
如果选择的最优模式为SKIP模式,则将步骤2)中解码时所得当前宏块的Q值和步骤4)中选择宏块模式时所得的对应区域A1的NZ记录下来;
6)模型建立:
经过步骤1)-4),完成对所有视频的编码,使用步骤5)记录下来的所有Q值和NZ的关系,以Q值为横坐标,NZ值为纵坐标,绘制出一条曲线,采用模型aebQ拟合该曲线,拟合所得到的两个参数即为本发明所述参数a和b。
Claims (2)
1.一种空间分辨率视频转码中宏块选择SKIP类型的方法,其特征在于,所述方法包括步骤如下:
1)如果区域A1中所有宏块全为SKIP类型,则当前宏块直接选择为SKIP类型;否则进入步骤2);
2)统计原始图像所有宏块中采用了SKIP类型的比例,记为FP;统计区域A1中宏块采用了SKIP类型的比例,记为AP;
如果FP和AP至少满足下列条件a)、b)之一,则当前宏块选择为SKIP类型:
a)FP>0.5并且AP>0.5
b)FP>0.15并且AP>0.9;
如果上列两个条件a)、b)都不满足,则进入步骤3);
3)统计区域A1的NZ值,其中NZ值为区域A1内的残差数据非零系数比例:
如果NZ>th,则当前宏块的类型选择为SKIP类型;
否则使用现有的选择宏块类型的公开算法,选择宏块类型;所述th是一个阈值,th的值由式(i)决定,
th=aebQ (i)式(i)中,Q为当前宏块采用的量化参数,具体值采用公开的率失真算法决定。
2.根据权利要求1所述的一种空间分辨率视频转码中宏块选择SKIP类型的方法,其特征在于,所述式(i)中参数a和b的计算过程包括如下步骤1)-6):
1)挑选视频:
首先需要挑选出常用的具备各种典型特征的视频序列,并将这些视频序列进行编码,得到压缩好的样本视频序列;
2)视频解码:
使用解码器,将所述压缩好的样本视频序列进行完全解码,得到像素域数据;
3)缩小图像尺寸:
根据视频播放终端的播放参数,按照现有公开的算法缩小视频图像尺寸;
4)选择最优模式:
使用全模式搜索法获取当前宏块的最优模式;所述全模式搜索法是遍历宏块所有可用的预测模式,并选择一个压缩性能最优的结果作为当前宏块的最优模式;
5)记录数据:
如果选择的最优模式为SKIP模式,则将步骤2)中解码时所得当前宏块的Q值和步骤4)中选择宏块模式时所得的对应区域A1的NZ记录下来;
6)模型建立:
经过步骤1)-4),完成对所有视频的编码,使用步骤5)记录下来的所有Q值和NZ的关系,以Q值为横坐标,NZ值为纵坐标,绘制出一条曲线,采用模型aebQ拟合该曲线,拟合所得到的两个参数即为本发明所述参数a和b。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410772157.6A CN104469399A (zh) | 2014-12-12 | 2014-12-12 | 一种空间分辨率视频转码中宏块选择skip类型的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410772157.6A CN104469399A (zh) | 2014-12-12 | 2014-12-12 | 一种空间分辨率视频转码中宏块选择skip类型的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104469399A true CN104469399A (zh) | 2015-03-25 |
Family
ID=52914660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410772157.6A Pending CN104469399A (zh) | 2014-12-12 | 2014-12-12 | 一种空间分辨率视频转码中宏块选择skip类型的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104469399A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108769689A (zh) * | 2018-05-03 | 2018-11-06 | 深圳市网心科技有限公司 | skip宏块判定方法、视频转码方法、电子设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101600109A (zh) * | 2009-07-13 | 2009-12-09 | 北京工业大学 | 基于纹理和运动特征的h.264降尺寸转码方法 |
CN103475880A (zh) * | 2013-09-11 | 2013-12-25 | 浙江大学 | 一种基于统计分析的由h264到hevc低复杂度视频转码方法 |
-
2014
- 2014-12-12 CN CN201410772157.6A patent/CN104469399A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101600109A (zh) * | 2009-07-13 | 2009-12-09 | 北京工业大学 | 基于纹理和运动特征的h.264降尺寸转码方法 |
CN103475880A (zh) * | 2013-09-11 | 2013-12-25 | 浙江大学 | 一种基于统计分析的由h264到hevc低复杂度视频转码方法 |
Non-Patent Citations (3)
Title |
---|
刘兆广: "H.264视频转码技术及可分级编码技术的研究", 《中国优秀博士论文全文数据库信息科技辑》 * |
王宇,张彩明: "一种基于H.264的任意比例空间分辨率转码中的快速宏块类型选择方案", 《计算机应用研究》 * |
王宇: "基于H.264的空间分辨率转码中宏块类型选择研究", 《中国优秀硕士论文全文数据库信息科技辑》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108769689A (zh) * | 2018-05-03 | 2018-11-06 | 深圳市网心科技有限公司 | skip宏块判定方法、视频转码方法、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9014261B2 (en) | Method and system for media file compression | |
CN105187835B (zh) | 基于内容的自适应视频转码方法及装置 | |
CN102006475B (zh) | 一种视频编解码装置和方法 | |
WO2015096822A1 (zh) | 图像编码、解码方法及装置 | |
CN101924943B (zh) | 一种实时的基于h.264的低比特率视频转码方法 | |
WO2017114016A1 (zh) | 图像解码和编码方法、解码和编码装置、解码器及编码器 | |
CN103493481A (zh) | 基于场景的适应性比特率控制 | |
CN1220065A (zh) | 从经压缩的正常播放图像比特流中建立特技播放图像流的系统和方法 | |
CN106101714B (zh) | 一种与压缩编码过程紧耦合的h.264视频信息隐藏方法 | |
CN101917612A (zh) | 一种流媒体视频编码方法及装置 | |
CN109963176A (zh) | 视频码流处理方法、装置、网络设备和可读存储介质 | |
CN109587431A (zh) | 一种多路视频码流合并方法、装置、设备和存储介质 | |
CN102625104B (zh) | 一种视频编码方法 | |
CN1643608A (zh) | 已编码a/v序列的编辑 | |
WO2022166462A1 (zh) | 编码、解码方法和相关设备 | |
CN104320671A (zh) | 一种基于h.264标准的在线视频转码方法 | |
CN101998117B (zh) | 视频转码方法和装置 | |
CN102281444A (zh) | 一种基于avc标准的视频转换装置 | |
CN104363461A (zh) | 视频帧的错误隐藏方法及应用其的视频解码方法 | |
CN104469399A (zh) | 一种空间分辨率视频转码中宏块选择skip类型的方法 | |
US20150319443A1 (en) | High speed scalable video coding device and method using multi-track video | |
CN103596012B (zh) | 一种实时的基于avs的视频帧率转码中帧间宏块类型选择方法 | |
CN108024111B (zh) | 一种帧类型判定方法及装置 | |
CN113132756B (zh) | 视频编转码方法 | |
CN115379291A (zh) | 一种码表更新方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150325 |