CN106604110B - 基于avs2视频编码标准的编码端码流分析方法 - Google Patents
基于avs2视频编码标准的编码端码流分析方法 Download PDFInfo
- Publication number
- CN106604110B CN106604110B CN201710080952.2A CN201710080952A CN106604110B CN 106604110 B CN106604110 B CN 106604110B CN 201710080952 A CN201710080952 A CN 201710080952A CN 106604110 B CN106604110 B CN 106604110B
- Authority
- CN
- China
- Prior art keywords
- information
- image
- encoded
- coding
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012800 visualization Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 241000023320 Luma <angiosperm> Species 0.000 claims description 5
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 108091026890 Coding region Proteins 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
基于AVS2视频编码标准的编码端码流分析方法,包含编码信息获取和编码信息呈现。编码信息获取包含序列头、图像、编码单元信息的获取,编码信息呈现使用MFC类库,通过添加各功能控件搭建可视化平台,并根据AVS2编码端源码的工作方式,改变其入口函数配置参数,将其耦合到可视化平台。可视化平台主体分为视频播放、控制功能、数字显示,显示编码过程中的重要参数。视频播放具有选择图像帧、播放、暂停功能;控制功能根据用户的操作,可以选择显示编码单元、预测单元、变换单元、运动矢量的相关信息,在视频播放区域将所选信息图像化叠加到重建图像上;数字显示对选取的编码块以列表方式实时显示对应的序列头、编码图像、编码单元信息。
Description
技术领域
本发明基于我国自主研发的最新视频编码标准AVS2,提取视频编码过程中的重要信息进行直观呈现,可作为AVS2视频编码标准优化的一种工具与手段。
背景技术
码流分析方法是对编码过程信息的直观呈现,可以对编码的宏块、预测模式、运动矢量等信息进行实时显示。对于视频编码工作者及视频生产供应商而言,能够快速查看视频编码过程中的重要信息,找出编码中存在的各种问题,优化视频压缩编码的效率并改善视频质量。
现有的码流分析方法,主要是针对国际视频编码标准H.264或HEVC,针对国内视频压缩编码标准AVS2,目前还没有专门的码流分析方法作为压缩编码研究的辅助工具。同时,国内外现存的码流分析方法,主要是针对解码端的。视频压缩编码是一个择优的过程,解码端的码流分析方法仅仅是对编码后的最终码流进行分析还原,得到的只是最优的编码信息,忽略了编码过程中的其他重要信息,而这些过程信息有时可以对编码方式、搜索算法等的优化提供重要帮助,从而改善编码标准的性能。针对编码端的码流分析方法,可以内嵌在视频编码测试平台的编码端,提取编码过程中的重要信息,直观显示视频的序列、帧、块等各个层次的中间结果,评估编码方式对压缩性能的影响。
鉴于上述分析,针对AVS2标准的编码端的码流分析方法,可以作为视频压缩编码性能分析的工具,促进压缩编码标准的优化。
发明内容
本发明基于AVS2视频编码标准,设计了一种嵌在编码端的码流分析方法,在显示最佳编码结果的同时,可以呈现编码过程中的重要信息,对不同编码方式进行分析对比。
基于AVS2视频编码标准的编码端码流分析方法,包括以下步骤:
步骤1.编码信息获取,包含序列头、图像、编码单元信息的获取;
(1.1)在编码测试平台输入需编码的视频序列,编写编码配置文件,对视频进行编码;
(1.2)在视频编码源码与可视化平台之间建立公共结构体,用于保存序列头、图像、编码块等相关参数;
(1.3)在视频编码开始阶段将视频编码配置文件中序列头信息依次提取保存到自定义的Seq_info结构体;
(1.4)将每帧图像编码后的信息,包括量化参数、编码顺序、类型帧(I、P、B)、参考帧等信息,提取保存到Ima_info结构体;
(1.5)获取最小编码单元函数write_one_subMB,将编码单元拆分标志(SPLIT_FLAG)、单元预测类型(CU_TYPE)、帧内亮度预测模式(INTRA_LUMA_MODE)等重要编码信息,按照编码树遍历顺序依次保存到Cu_info结构体;
(1.6)当编码单元是帧间预测单元,在LumaPrediction函数中获取到该预测单元的最优运动矢量模式,将前向运动矢量与后向运动矢量分别保存到Cu_info结构体中;
(1.7)对于帧内次优模式,应用拉格朗日率失真(RDO)函数,判断所有模式后,将次优的模式保存到better变量,与最优模式一同放入Cu_info结构体。
步骤2.编码信息呈现,包含视频播放、控制功能、数字显示,显示编码过程中的重要参数,包括以下步骤:
(2.1)视频播放:根据编码图像的分辨率与色度格式,在内存中开辟一帧图像像素值大小的空间,获取视频编码后对应的重建图像,将图像像素值依次插入内存,在播放时不断刷新像素值,实现图像帧的播放、暂停、前进、后退;
(2.2)控制功能:利用MFC中radio控件激活时状态值变化的特性,根据状态值作为甄选条件,判断是否要显示对应编码信息,具体包括:
(2.2.1)信息显示的选择:设置最大编码单元(LCU)、编码单元(CU)、帧间预测单元(INTER_PU)、变换单元(LUMA_TU)、运动矢量(MV)、帧内预测单元(INTRA_PU)、SKIP、DIRECT的选项;
(2.2.2)图像上叠加信息:根据splitflag数值对每一帧图片中最大编码单元进行四叉树先序遍历,获取每一个CU的像素位置uiPositionInPic、宏块划分深度uiSizeInBit、宏块划分类型,使用类库中MoveTo、LineTo等函数在图像上划出分割线,使其分成64×64、32×32、16×16、8×8等不同的大小块,并用不同的颜色表示不同的宏块类型,将颜色叠加到相应的图像块上;根据运动矢量的类型、大小、方向,在图像上叠加相应的图示进行显示;
(2.3)数字显示:根据MFC中list、tab、dialog控件综合特性,将序列头、图像、编码单元三部分信息并列在一排,使用SetWindowPos函数将其固定在可视化平台右下角,点击其一功能时,刷新所选信息并隐藏另外两种编码信息。
本发明的优点为:可以提取重要的编码过程信息,对不同的编码方式进行对比,为视频编码研究者进行压缩编码优化提供帮助。
附图说明
图1是本发明的流程框图。
图2是本发明的工作界面图。
图3全I帧配置下帧内编码序列头与图像信息,其中图3a是帧内编码序列头信息,图3b是帧内编码图像信息。
图4帧内编码单元、预测单元划分结果。
图5帧内编码单元与预测模式图
图6帧内最优与次优预测模式对比图,其中图6a是帧内最优模式,图6b是帧内次优模式,图6c是某一宏块的具体信息。
具体实施方式
下面结合附图对本发明做进一步说明。
图1为编码端码流分析方法的流程框图,包括以下步骤:
步骤1.编码信息获取,包含序列头、图像、编码单元信息的获取;
(1.1)在编码测试平台输入需编码的视频序列,编写编码配置文件,对视频进行编码;
(1.2)在视频编码源码与可视化平台之间建立公共结构体,用于保存序列头、图像、编码块等相关参数;
(1.3)在视频编码开始阶段将视频编码配置文件中序列头信息依次提取保存到自定义的Seq_info结构体;
(1.4)将每帧图像编码后的信息,包括量化参数、编码顺序、类型帧(I、P、B)、参考帧等信息,提取保存到Ima_info结构体;
(1.5)获取最小编码单元函数write_one_subMB,将编码单元拆分标志(SPLIT_FLAG)、单元预测类型(CU_TYPE)、帧内亮度预测模式(INTRA_LUMA_MODE)等重要编码信息,按照编码树遍历顺序依次保存到Cu_info结构体;
(1.6)当编码单元是帧间预测单元,在LumaPrediction函数中获取到该预测单元的最优运动矢量模式,将前向运动矢量与后向运动矢量分别保存到Cu_info结构体中;
(1.7)对于帧内次优模式,应用拉格朗日率失真(RDO)函数,判断所有模式后,将次优的模式保存到better变量,与最优模式一同放入Cu_info结构体。
步骤2.编码信息呈现,包含视频播放、控制功能、数字显示,显示编码过程中的重要参数,包括以下步骤:
(2.1)视频播放:根据编码图像的分辨率与色度格式,在内存中开辟一帧图像像素值大小的空间,获取视频编码后对应的重建图像,将图像像素值依次插入内存,在播放时不断刷新像素值,实现图像帧的播放、暂停、前进、后退;
(2.2)控制功能:利用MFC中radio控件激活时状态值变化的特性,根据状态值作为甄选条件,判断是否要显示对应编码信息,具体包括:
(2.2.1)信息显示的选择:设置最大编码单元(LCU)、编码单元(CU)、帧间预测单元(INTER_PU)、变换单元(LUMA_TU)、运动矢量(MV)、帧内预测单元(INTRA_PU)、SKIP、DIRECT的选项;
(2.2.2)图像上叠加信息:根据splitflag数值对每一帧图片中最大编码单元进行四叉树先序遍历,获取每一个CU的像素位置uiPositionInPic、宏块划分深度uiSizeInBit、宏块划分类型,使用类库中MoveTo、LineTo等函数在图像上划出分割线,使其分成64×64、32×32、16×16、8×8等不同的大小块,并用不同的颜色表示不同的宏块类型,将颜色叠加到相应的图像块上;根据运动矢量的类型、大小、方向,在图像上叠加相应的图示进行显示;
(2.3)数字显示:根据MFC中list、tab、dialog控件综合特性,将序列头、图像、编码单元三部分信息并列在一排,使用SetWindowPos函数将其固定在可视化平台右下角,点击其一功能时,刷新所选信息并隐藏另外两种编码信息。
图2为所设计码流分析方法的可视化工作界面图。图左边是视频播放区域,实现视频的播放及编码信息的图像化显示;图中间是控制区域,决定选取哪些编码信息进行呈现;图右上角是图像局部放大区,对选取的最大编码单元图像进行放大呈现;图右下角是数字显示区,将编码过程信息以数字形式呈现。
图3是配置编码方式为全I帧时的帧内编码序列头与图像信息分析结果,显示结果与实际配置情况相符。点击选择码流分析工作界面交互区的LCU、CU、INTRA_PU和INTER_PU功能,对该帧图像进行最大编码单元与最小编码单元的尺寸划分,并在其上利用灰色色块叠加显示帧内预测类型的划分结果,得到图4所示结果。从图中可以看到,帧内预测单元根据图像纹理分布的变化进行水平与垂直的选择划分,符合帧内预测单元类型划分的理论原则。
图5截选显示了全I帧模式下部分单元的帧内亮度预测模式分析结果,具体模式在每个帧内编码单元左上角标注,数值范围为0至33,与理论值相符。图6是利用率失真优化(RDO)方法获取的部分编码单元亮度预测最优与次优模式对比图,从图中可知,对于编号为126的编码块,最佳预测模式为10,次优模式是9,其模式搜索所需的消耗分别为36911与102889。
以上阐述的是本发明最终测试的结果,显然本发明不只是局限于上述实例,在不偏离本发明基本精神及不超出本发明实质内容所涉及范围的前提下对其可作种种变形加以实施。本发明所设计的方案能提取出编码过程中的重要参数,有助于视频压缩编码研究者对视频编码算法进行优化。
Claims (1)
1.基于AVS2视频编码标准的编码端码流分析方法,包括以下步骤:
步骤1.编码信息获取,包含序列头、图像、编码单元信息的获取;
(1.1)在编码测试平台输入需编码的视频序列,编写编码配置文件,对视频进行编码;
(1.2)在视频编码源码与可视化平台之间建立公共结构体,用于保存序列头、图像、编码块相关参数;
(1.3)在视频编码开始阶段将视频编码配置文件中序列头信息依次提取保存到自定义的Seq_info结构体;
(1.4)将每帧图像编码后的信息,包括量化参数、编码顺序、类型帧I、P、B、参考帧信息,提取保存到Ima_info结构体;
(1.5)获取最小编码单元函数,将编码单元拆分标志SPLIT_FLAG、单元预测类型CU_TYPE、帧内亮度预测模式INTRA_LUMA_MODE,按照编码树遍历顺序依次保存到Cu_info结构体;
(1.6)当编码单元是帧间预测单元,在LumaPrediction函数中获取到该预测单元的最优运动矢量模式,将前向运动矢量与后向运动矢量分别保存到Cu_info结构体中;
(1.7)对于帧内次优模式,应用拉格朗日率失真(RDO)函数,判断所有模式后,将次优的模式保存到better变量,与最优模式一同放入Cu_info结构体;
步骤2.编码信息呈现,包含视频播放、控制功能、数字显示,显示编码过程中的重要参数,包括以下步骤:
(2.1)视频播放:根据编码图像的分辨率与色度格式,在内存中开辟一帧图像像素值大小的空间,获取视频编码后对应的重建图像,将图像像素值依次插入内存,在播放时不断刷新像素值,实现图像帧的播放、暂停、前进、后退;
(2.2)控制功能:利用MFC中radio控件激活时状态值变化的特性,根据状态值作为甄选条件,判断是否要显示对应编码信息,具体包括:
(2.2.1)信息显示的选择:设置最大编码单元LCU、编码单元CU、帧间预测单元INTER_PU、变换单元LUMA_TU、运动矢量MV、帧内预测单元INTRA_PU、SKIP、DIRECT的选项;
(2.2.2)图像上叠加信息:根据SPLIT_FLAG数值对每一帧图片中最大编码单元进行四叉树先序遍历,获取每一个CU的像素位置uiPositionInPic、宏块划分深度uiSizeInBit、宏块划分类型,使用类库中MoveTo、LineTo函数在图像上划出分割线,使其分成64×64、32×32、16×16、8×8不同的大小块,并用不同的颜色表示不同的宏块类型,将颜色叠加到相应的图像块上;根据运动矢量的类型、大小、方向,在图像上叠加相应的图示进行显示;
(2.3)数字显示:根据MFC中的list、tab、dialog三个控件,将序列头、图像、编码单元三部分信息并列在一排,使用SetWindowPos函数将其固定在可视化平台右下角,点击其一信息时,刷新所选信息并隐藏另外两种编码信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710080952.2A CN106604110B (zh) | 2017-02-15 | 2017-02-15 | 基于avs2视频编码标准的编码端码流分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710080952.2A CN106604110B (zh) | 2017-02-15 | 2017-02-15 | 基于avs2视频编码标准的编码端码流分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106604110A CN106604110A (zh) | 2017-04-26 |
CN106604110B true CN106604110B (zh) | 2019-05-31 |
Family
ID=58587444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710080952.2A Active CN106604110B (zh) | 2017-02-15 | 2017-02-15 | 基于avs2视频编码标准的编码端码流分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106604110B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110536154A (zh) * | 2019-08-16 | 2019-12-03 | 北京达佳互联信息技术有限公司 | 视频码流分析方法、装置、电子设备及存储介质 |
CN114398001B (zh) * | 2021-12-03 | 2024-02-20 | 北京数字电视国家工程实验室有限公司 | 一种超大序列图像传输方法、装置以及计算机 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1984333A (zh) * | 2005-12-16 | 2007-06-20 | 中国科学院计算技术研究所 | 一种avs视频基本流测试分析方法及设备 |
CN101662697A (zh) * | 2009-07-21 | 2010-03-03 | 天津大学 | Avs视频基本码流分析方法 |
-
2017
- 2017-02-15 CN CN201710080952.2A patent/CN106604110B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1984333A (zh) * | 2005-12-16 | 2007-06-20 | 中国科学院计算技术研究所 | 一种avs视频基本流测试分析方法及设备 |
CN101662697A (zh) * | 2009-07-21 | 2010-03-03 | 天津大学 | Avs视频基本码流分析方法 |
Non-Patent Citations (4)
Title |
---|
AVS_M视频基本流分析软件的设计与实现;邓宇;《中国优秀硕士学位论文全文数据库 信息科技辑》;20090415;I136-346 * |
AVS编码系统实现和码流分析;张妍;《中国优秀硕士学位论文全文数据库 信息科技辑》;20111215;第15-17、28页 * |
AVS视频码流解析软件QtAVS的设计与实现;史泰青等;《电视技术》;20110202;第35卷(第03期);I136-598 * |
Design and Implementation of a Real-time Video Stream Analysis System Based on FFMPEG;Lei Xiaohua等;《2013 Fourth World Congress on Software Engineering》;20140327;第212-216页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106604110A (zh) | 2017-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104980745B (zh) | 通过使用去块滤波对视频进行解码的方法 | |
JP6071922B2 (ja) | 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及び動画像符号化データ | |
CN103873861B (zh) | 一种用于hevc的编码模式选择方法 | |
CN102209243B (zh) | 基于线性模型的深度图帧内预测方法 | |
CN106534846B (zh) | 一种屏幕内容与自然内容划分及快速编码方法 | |
CN107623850B (zh) | 一种基于时空相关性的快速屏幕内容编码方法 | |
CN106604110B (zh) | 基于avs2视频编码标准的编码端码流分析方法 | |
CN105120292A (zh) | 一种基于图像纹理特征的视频编码帧内预测方法 | |
CN104023233A (zh) | 一种hevc快速帧间预测方法 | |
CN104243997B (zh) | 一种质量可分级hevc视频编码方法 | |
TWI718084B (zh) | 畫像編碼裝置、動畫像解碼裝置及動畫像編碼資料 | |
CN106331727B (zh) | 一种深度建模模式简化搜索方法 | |
CN104349167B (zh) | 一种视频编码率失真优化的调整方法 | |
CN104159117B (zh) | 一种hevc视频的信息隐藏方法 | |
CN101969567B (zh) | 基于全变分的图像编码方法 | |
CN103888762A (zh) | 一种基于hevc标准的视频编码框架 | |
CN110519591A (zh) | 一种基于多用途编码中帧内编码的预测模式快速选择方法 | |
CN104038760A (zh) | 一种3d视频深度图像帧内楔形分割模式选择方法及系统 | |
CN101588487B (zh) | 一种视频帧内预测编码方法 | |
CN105681803B (zh) | 一种大容量的hevc视频信息隐藏方法 | |
CN104702959B (zh) | 一种视频编码的帧内预测方法及系统 | |
CN101895755B (zh) | 一种快速4x4块帧内预测模式选择方法 | |
CN108737819A (zh) | 一种基于四叉树二叉树结构的灵活编码单元划分方法 | |
JP2010141533A (ja) | 画像符号化装置及びその制御方法 | |
CN107613294A (zh) | 一种快速跳过hevc中p、b帧帧内预测模式的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20170426 Assignee: Wuzhou yingri Information Technology Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2023980054148 Denomination of invention: A Method for Analyzing Encoder Stream Based on AVS2 Video Encoding Standard Granted publication date: 20190531 License type: Common License Record date: 20231226 |