CN106604110B - 基于avs2视频编码标准的编码端码流分析方法 - Google Patents

基于avs2视频编码标准的编码端码流分析方法 Download PDF

Info

Publication number
CN106604110B
CN106604110B CN201710080952.2A CN201710080952A CN106604110B CN 106604110 B CN106604110 B CN 106604110B CN 201710080952 A CN201710080952 A CN 201710080952A CN 106604110 B CN106604110 B CN 106604110B
Authority
CN
China
Prior art keywords
information
image
encoded
coding
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710080952.2A
Other languages
English (en)
Other versions
CN106604110A (zh
Inventor
李如春
李赛
施朝霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201710080952.2A priority Critical patent/CN106604110B/zh
Publication of CN106604110A publication Critical patent/CN106604110A/zh
Application granted granted Critical
Publication of CN106604110B publication Critical patent/CN106604110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

基于AVS2视频编码标准的编码端码流分析方法,包含编码信息获取和编码信息呈现。编码信息获取包含序列头、图像、编码单元信息的获取,编码信息呈现使用MFC类库,通过添加各功能控件搭建可视化平台,并根据AVS2编码端源码的工作方式,改变其入口函数配置参数,将其耦合到可视化平台。可视化平台主体分为视频播放、控制功能、数字显示,显示编码过程中的重要参数。视频播放具有选择图像帧、播放、暂停功能;控制功能根据用户的操作,可以选择显示编码单元、预测单元、变换单元、运动矢量的相关信息,在视频播放区域将所选信息图像化叠加到重建图像上;数字显示对选取的编码块以列表方式实时显示对应的序列头、编码图像、编码单元信息。

Description

基于AVS2视频编码标准的编码端码流分析方法
技术领域
本发明基于我国自主研发的最新视频编码标准AVS2,提取视频编码过程中的重要信息进行直观呈现,可作为AVS2视频编码标准优化的一种工具与手段。
背景技术
码流分析方法是对编码过程信息的直观呈现,可以对编码的宏块、预测模式、运动矢量等信息进行实时显示。对于视频编码工作者及视频生产供应商而言,能够快速查看视频编码过程中的重要信息,找出编码中存在的各种问题,优化视频压缩编码的效率并改善视频质量。
现有的码流分析方法,主要是针对国际视频编码标准H.264或HEVC,针对国内视频压缩编码标准AVS2,目前还没有专门的码流分析方法作为压缩编码研究的辅助工具。同时,国内外现存的码流分析方法,主要是针对解码端的。视频压缩编码是一个择优的过程,解码端的码流分析方法仅仅是对编码后的最终码流进行分析还原,得到的只是最优的编码信息,忽略了编码过程中的其他重要信息,而这些过程信息有时可以对编码方式、搜索算法等的优化提供重要帮助,从而改善编码标准的性能。针对编码端的码流分析方法,可以内嵌在视频编码测试平台的编码端,提取编码过程中的重要信息,直观显示视频的序列、帧、块等各个层次的中间结果,评估编码方式对压缩性能的影响。
鉴于上述分析,针对AVS2标准的编码端的码流分析方法,可以作为视频压缩编码性能分析的工具,促进压缩编码标准的优化。
发明内容
本发明基于AVS2视频编码标准,设计了一种嵌在编码端的码流分析方法,在显示最佳编码结果的同时,可以呈现编码过程中的重要信息,对不同编码方式进行分析对比。
基于AVS2视频编码标准的编码端码流分析方法,包括以下步骤:
步骤1.编码信息获取,包含序列头、图像、编码单元信息的获取;
(1.1)在编码测试平台输入需编码的视频序列,编写编码配置文件,对视频进行编码;
(1.2)在视频编码源码与可视化平台之间建立公共结构体,用于保存序列头、图像、编码块等相关参数;
(1.3)在视频编码开始阶段将视频编码配置文件中序列头信息依次提取保存到自定义的Seq_info结构体;
(1.4)将每帧图像编码后的信息,包括量化参数、编码顺序、类型帧(I、P、B)、参考帧等信息,提取保存到Ima_info结构体;
(1.5)获取最小编码单元函数write_one_subMB,将编码单元拆分标志(SPLIT_FLAG)、单元预测类型(CU_TYPE)、帧内亮度预测模式(INTRA_LUMA_MODE)等重要编码信息,按照编码树遍历顺序依次保存到Cu_info结构体;
(1.6)当编码单元是帧间预测单元,在LumaPrediction函数中获取到该预测单元的最优运动矢量模式,将前向运动矢量与后向运动矢量分别保存到Cu_info结构体中;
(1.7)对于帧内次优模式,应用拉格朗日率失真(RDO)函数,判断所有模式后,将次优的模式保存到better变量,与最优模式一同放入Cu_info结构体。
步骤2.编码信息呈现,包含视频播放、控制功能、数字显示,显示编码过程中的重要参数,包括以下步骤:
(2.1)视频播放:根据编码图像的分辨率与色度格式,在内存中开辟一帧图像像素值大小的空间,获取视频编码后对应的重建图像,将图像像素值依次插入内存,在播放时不断刷新像素值,实现图像帧的播放、暂停、前进、后退;
(2.2)控制功能:利用MFC中radio控件激活时状态值变化的特性,根据状态值作为甄选条件,判断是否要显示对应编码信息,具体包括:
(2.2.1)信息显示的选择:设置最大编码单元(LCU)、编码单元(CU)、帧间预测单元(INTER_PU)、变换单元(LUMA_TU)、运动矢量(MV)、帧内预测单元(INTRA_PU)、SKIP、DIRECT的选项;
(2.2.2)图像上叠加信息:根据splitflag数值对每一帧图片中最大编码单元进行四叉树先序遍历,获取每一个CU的像素位置uiPositionInPic、宏块划分深度uiSizeInBit、宏块划分类型,使用类库中MoveTo、LineTo等函数在图像上划出分割线,使其分成64×64、32×32、16×16、8×8等不同的大小块,并用不同的颜色表示不同的宏块类型,将颜色叠加到相应的图像块上;根据运动矢量的类型、大小、方向,在图像上叠加相应的图示进行显示;
(2.3)数字显示:根据MFC中list、tab、dialog控件综合特性,将序列头、图像、编码单元三部分信息并列在一排,使用SetWindowPos函数将其固定在可视化平台右下角,点击其一功能时,刷新所选信息并隐藏另外两种编码信息。
本发明的优点为:可以提取重要的编码过程信息,对不同的编码方式进行对比,为视频编码研究者进行压缩编码优化提供帮助。
附图说明
图1是本发明的流程框图。
图2是本发明的工作界面图。
图3全I帧配置下帧内编码序列头与图像信息,其中图3a是帧内编码序列头信息,图3b是帧内编码图像信息。
图4帧内编码单元、预测单元划分结果。
图5帧内编码单元与预测模式图
图6帧内最优与次优预测模式对比图,其中图6a是帧内最优模式,图6b是帧内次优模式,图6c是某一宏块的具体信息。
具体实施方式
下面结合附图对本发明做进一步说明。
图1为编码端码流分析方法的流程框图,包括以下步骤:
步骤1.编码信息获取,包含序列头、图像、编码单元信息的获取;
(1.1)在编码测试平台输入需编码的视频序列,编写编码配置文件,对视频进行编码;
(1.2)在视频编码源码与可视化平台之间建立公共结构体,用于保存序列头、图像、编码块等相关参数;
(1.3)在视频编码开始阶段将视频编码配置文件中序列头信息依次提取保存到自定义的Seq_info结构体;
(1.4)将每帧图像编码后的信息,包括量化参数、编码顺序、类型帧(I、P、B)、参考帧等信息,提取保存到Ima_info结构体;
(1.5)获取最小编码单元函数write_one_subMB,将编码单元拆分标志(SPLIT_FLAG)、单元预测类型(CU_TYPE)、帧内亮度预测模式(INTRA_LUMA_MODE)等重要编码信息,按照编码树遍历顺序依次保存到Cu_info结构体;
(1.6)当编码单元是帧间预测单元,在LumaPrediction函数中获取到该预测单元的最优运动矢量模式,将前向运动矢量与后向运动矢量分别保存到Cu_info结构体中;
(1.7)对于帧内次优模式,应用拉格朗日率失真(RDO)函数,判断所有模式后,将次优的模式保存到better变量,与最优模式一同放入Cu_info结构体。
步骤2.编码信息呈现,包含视频播放、控制功能、数字显示,显示编码过程中的重要参数,包括以下步骤:
(2.1)视频播放:根据编码图像的分辨率与色度格式,在内存中开辟一帧图像像素值大小的空间,获取视频编码后对应的重建图像,将图像像素值依次插入内存,在播放时不断刷新像素值,实现图像帧的播放、暂停、前进、后退;
(2.2)控制功能:利用MFC中radio控件激活时状态值变化的特性,根据状态值作为甄选条件,判断是否要显示对应编码信息,具体包括:
(2.2.1)信息显示的选择:设置最大编码单元(LCU)、编码单元(CU)、帧间预测单元(INTER_PU)、变换单元(LUMA_TU)、运动矢量(MV)、帧内预测单元(INTRA_PU)、SKIP、DIRECT的选项;
(2.2.2)图像上叠加信息:根据splitflag数值对每一帧图片中最大编码单元进行四叉树先序遍历,获取每一个CU的像素位置uiPositionInPic、宏块划分深度uiSizeInBit、宏块划分类型,使用类库中MoveTo、LineTo等函数在图像上划出分割线,使其分成64×64、32×32、16×16、8×8等不同的大小块,并用不同的颜色表示不同的宏块类型,将颜色叠加到相应的图像块上;根据运动矢量的类型、大小、方向,在图像上叠加相应的图示进行显示;
(2.3)数字显示:根据MFC中list、tab、dialog控件综合特性,将序列头、图像、编码单元三部分信息并列在一排,使用SetWindowPos函数将其固定在可视化平台右下角,点击其一功能时,刷新所选信息并隐藏另外两种编码信息。
图2为所设计码流分析方法的可视化工作界面图。图左边是视频播放区域,实现视频的播放及编码信息的图像化显示;图中间是控制区域,决定选取哪些编码信息进行呈现;图右上角是图像局部放大区,对选取的最大编码单元图像进行放大呈现;图右下角是数字显示区,将编码过程信息以数字形式呈现。
图3是配置编码方式为全I帧时的帧内编码序列头与图像信息分析结果,显示结果与实际配置情况相符。点击选择码流分析工作界面交互区的LCU、CU、INTRA_PU和INTER_PU功能,对该帧图像进行最大编码单元与最小编码单元的尺寸划分,并在其上利用灰色色块叠加显示帧内预测类型的划分结果,得到图4所示结果。从图中可以看到,帧内预测单元根据图像纹理分布的变化进行水平与垂直的选择划分,符合帧内预测单元类型划分的理论原则。
图5截选显示了全I帧模式下部分单元的帧内亮度预测模式分析结果,具体模式在每个帧内编码单元左上角标注,数值范围为0至33,与理论值相符。图6是利用率失真优化(RDO)方法获取的部分编码单元亮度预测最优与次优模式对比图,从图中可知,对于编号为126的编码块,最佳预测模式为10,次优模式是9,其模式搜索所需的消耗分别为36911与102889。
以上阐述的是本发明最终测试的结果,显然本发明不只是局限于上述实例,在不偏离本发明基本精神及不超出本发明实质内容所涉及范围的前提下对其可作种种变形加以实施。本发明所设计的方案能提取出编码过程中的重要参数,有助于视频压缩编码研究者对视频编码算法进行优化。

Claims (1)

1.基于AVS2视频编码标准的编码端码流分析方法,包括以下步骤:
步骤1.编码信息获取,包含序列头、图像、编码单元信息的获取;
(1.1)在编码测试平台输入需编码的视频序列,编写编码配置文件,对视频进行编码;
(1.2)在视频编码源码与可视化平台之间建立公共结构体,用于保存序列头、图像、编码块相关参数;
(1.3)在视频编码开始阶段将视频编码配置文件中序列头信息依次提取保存到自定义的Seq_info结构体;
(1.4)将每帧图像编码后的信息,包括量化参数、编码顺序、类型帧I、P、B、参考帧信息,提取保存到Ima_info结构体;
(1.5)获取最小编码单元函数,将编码单元拆分标志SPLIT_FLAG、单元预测类型CU_TYPE、帧内亮度预测模式INTRA_LUMA_MODE,按照编码树遍历顺序依次保存到Cu_info结构体;
(1.6)当编码单元是帧间预测单元,在LumaPrediction函数中获取到该预测单元的最优运动矢量模式,将前向运动矢量与后向运动矢量分别保存到Cu_info结构体中;
(1.7)对于帧内次优模式,应用拉格朗日率失真(RDO)函数,判断所有模式后,将次优的模式保存到better变量,与最优模式一同放入Cu_info结构体;
步骤2.编码信息呈现,包含视频播放、控制功能、数字显示,显示编码过程中的重要参数,包括以下步骤:
(2.1)视频播放:根据编码图像的分辨率与色度格式,在内存中开辟一帧图像像素值大小的空间,获取视频编码后对应的重建图像,将图像像素值依次插入内存,在播放时不断刷新像素值,实现图像帧的播放、暂停、前进、后退;
(2.2)控制功能:利用MFC中radio控件激活时状态值变化的特性,根据状态值作为甄选条件,判断是否要显示对应编码信息,具体包括:
(2.2.1)信息显示的选择:设置最大编码单元LCU、编码单元CU、帧间预测单元INTER_PU、变换单元LUMA_TU、运动矢量MV、帧内预测单元INTRA_PU、SKIP、DIRECT的选项;
(2.2.2)图像上叠加信息:根据SPLIT_FLAG数值对每一帧图片中最大编码单元进行四叉树先序遍历,获取每一个CU的像素位置uiPositionInPic、宏块划分深度uiSizeInBit、宏块划分类型,使用类库中MoveTo、LineTo函数在图像上划出分割线,使其分成64×64、32×32、16×16、8×8不同的大小块,并用不同的颜色表示不同的宏块类型,将颜色叠加到相应的图像块上;根据运动矢量的类型、大小、方向,在图像上叠加相应的图示进行显示;
(2.3)数字显示:根据MFC中的list、tab、dialog三个控件,将序列头、图像、编码单元三部分信息并列在一排,使用SetWindowPos函数将其固定在可视化平台右下角,点击其一信息时,刷新所选信息并隐藏另外两种编码信息。
CN201710080952.2A 2017-02-15 2017-02-15 基于avs2视频编码标准的编码端码流分析方法 Active CN106604110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710080952.2A CN106604110B (zh) 2017-02-15 2017-02-15 基于avs2视频编码标准的编码端码流分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710080952.2A CN106604110B (zh) 2017-02-15 2017-02-15 基于avs2视频编码标准的编码端码流分析方法

Publications (2)

Publication Number Publication Date
CN106604110A CN106604110A (zh) 2017-04-26
CN106604110B true CN106604110B (zh) 2019-05-31

Family

ID=58587444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710080952.2A Active CN106604110B (zh) 2017-02-15 2017-02-15 基于avs2视频编码标准的编码端码流分析方法

Country Status (1)

Country Link
CN (1) CN106604110B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110536154A (zh) * 2019-08-16 2019-12-03 北京达佳互联信息技术有限公司 视频码流分析方法、装置、电子设备及存储介质
CN114398001B (zh) * 2021-12-03 2024-02-20 北京数字电视国家工程实验室有限公司 一种超大序列图像传输方法、装置以及计算机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984333A (zh) * 2005-12-16 2007-06-20 中国科学院计算技术研究所 一种avs视频基本流测试分析方法及设备
CN101662697A (zh) * 2009-07-21 2010-03-03 天津大学 Avs视频基本码流分析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984333A (zh) * 2005-12-16 2007-06-20 中国科学院计算技术研究所 一种avs视频基本流测试分析方法及设备
CN101662697A (zh) * 2009-07-21 2010-03-03 天津大学 Avs视频基本码流分析方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AVS_M视频基本流分析软件的设计与实现;邓宇;《中国优秀硕士学位论文全文数据库 信息科技辑》;20090415;I136-346 *
AVS编码系统实现和码流分析;张妍;《中国优秀硕士学位论文全文数据库 信息科技辑》;20111215;第15-17、28页 *
AVS视频码流解析软件QtAVS的设计与实现;史泰青等;《电视技术》;20110202;第35卷(第03期);I136-598 *
Design and Implementation of a Real-time Video Stream Analysis System Based on FFMPEG;Lei Xiaohua等;《2013 Fourth World Congress on Software Engineering》;20140327;第212-216页 *

Also Published As

Publication number Publication date
CN106604110A (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN104980745B (zh) 通过使用去块滤波对视频进行解码的方法
JP6071922B2 (ja) 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及び動画像符号化データ
CN103873861B (zh) 一种用于hevc的编码模式选择方法
CN102209243B (zh) 基于线性模型的深度图帧内预测方法
CN106534846B (zh) 一种屏幕内容与自然内容划分及快速编码方法
CN107623850B (zh) 一种基于时空相关性的快速屏幕内容编码方法
CN106604110B (zh) 基于avs2视频编码标准的编码端码流分析方法
CN105120292A (zh) 一种基于图像纹理特征的视频编码帧内预测方法
CN104023233A (zh) 一种hevc快速帧间预测方法
CN104243997B (zh) 一种质量可分级hevc视频编码方法
TWI718084B (zh) 畫像編碼裝置、動畫像解碼裝置及動畫像編碼資料
CN106331727B (zh) 一种深度建模模式简化搜索方法
CN104349167B (zh) 一种视频编码率失真优化的调整方法
CN104159117B (zh) 一种hevc视频的信息隐藏方法
CN101969567B (zh) 基于全变分的图像编码方法
CN103888762A (zh) 一种基于hevc标准的视频编码框架
CN110519591A (zh) 一种基于多用途编码中帧内编码的预测模式快速选择方法
CN104038760A (zh) 一种3d视频深度图像帧内楔形分割模式选择方法及系统
CN101588487B (zh) 一种视频帧内预测编码方法
CN105681803B (zh) 一种大容量的hevc视频信息隐藏方法
CN104702959B (zh) 一种视频编码的帧内预测方法及系统
CN101895755B (zh) 一种快速4x4块帧内预测模式选择方法
CN108737819A (zh) 一种基于四叉树二叉树结构的灵活编码单元划分方法
JP2010141533A (ja) 画像符号化装置及びその制御方法
CN107613294A (zh) 一种快速跳过hevc中p、b帧帧内预测模式的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170426

Assignee: Wuzhou yingri Information Technology Co.,Ltd.

Assignor: JIANG University OF TECHNOLOGY

Contract record no.: X2023980054148

Denomination of invention: A Method for Analyzing Encoder Stream Based on AVS2 Video Encoding Standard

Granted publication date: 20190531

License type: Common License

Record date: 20231226