CN109982075A - 一种基于fpga的帧内预测通用角度方法 - Google Patents

一种基于fpga的帧内预测通用角度方法 Download PDF

Info

Publication number
CN109982075A
CN109982075A CN201910218268.5A CN201910218268A CN109982075A CN 109982075 A CN109982075 A CN 109982075A CN 201910218268 A CN201910218268 A CN 201910218268A CN 109982075 A CN109982075 A CN 109982075A
Authority
CN
China
Prior art keywords
port
intra prediction
fpga
prediction
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910218268.5A
Other languages
English (en)
Other versions
CN109982075B (zh
Inventor
邵睿
胡彦多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING WEIXIANG TECHNOLOGY Co Ltd
Original Assignee
NANJING WEIXIANG TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING WEIXIANG TECHNOLOGY Co Ltd filed Critical NANJING WEIXIANG TECHNOLOGY Co Ltd
Priority to CN201910218268.5A priority Critical patent/CN109982075B/zh
Publication of CN109982075A publication Critical patent/CN109982075A/zh
Application granted granted Critical
Publication of CN109982075B publication Critical patent/CN109982075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Abstract

本发明公开了一种基于FPGA的帧内预测通用角度方法，属于图像处理技术领域，在FPGA中建立帧内预测通用角度模块，帧内预测通用角度模块的输入端口包括border端口、pred_mode端口、boundary_filter端口和valid_in端口，输出端口包括predSample端口和valid_out端口，解决了ref的下标会出现负数的情况且iFact和iIdx计算不方便的技术问题，本发明简化的边缘选取方式，内部配置且解决了负数下标的问题，iFact和iIdx的计算简化为rom的读取，简化了计算，本发明全流水线的设计结构，针对16x16的预测块，本发明可实现16时钟周期处理一个块，一个帧内预测通用角度模块解决了所有的角度预测问题，且兼顾了边缘滤波的需求。

Description

一种基于FPGA的帧内预测通用角度方法
技术领域
本发明属于图像处理技术领域，特别涉及一种基于FPGA的帧内预测通用角度方法。
背景技术
进入数字时代之后，数字视频紧随着IT技术的浪潮，获得了非常迅速的发展。追求更高的清晰度，是数字视频技术领域从未停止的步伐。如今，各式各样的视频应用已经渗透到人类社会的各个领域，可以说，视频应用是现代人类社会运转的重要组成部分。
预测编码是视频编码中的核心技术之一。对于视频信号来说，一幅图像内相临近像素之间有着较强的空间相关性，相邻图像之间也有很强的时间相关性。因而，先进的视频编码往往采用帧内预测和帧间预测的方式，使用图像内已编码像素预测临近像素，或利用已编码图像预测待编图像，从而有效去除视频空域和时域的相关性。视频编解码器对预测后的残差而不是原始像素值进行变换、量化、熵编码，由此大幅提高编码效率。
帧内预测编码是指利用视频空间域的相关性，使用当前图像已编码的像素预测当前像素，进行下一步编码处理。帧内预测技术是消除视频空间冗余的主要技术之一，尤其当帧间预测被限制使用时，帧内预测是保证视频压缩效率的主要手段。对于同一块预测块来讲，可以将其分为不同的大小分块的集合并使用不同的预测方向。如图1和图2所示是H.265中使用的35种帧内预测方式。
根据图1和图2可以看到针对不同角度的预测方向，得到的预测结果也是不同的，当然可以针对每一个角度模式，编写一个特殊的预测模块。但是33种角度模式之间存在很强的纹理关系，计算公式也比较相近，因而希望编写一个通用的模块，能够解决所有的角度模式的预测。
在H.265的参考文档——“Recommendation ITU-T H.265”中，可将角度帧内预测归纳为以下三步：
根据预测角度(mode)和边缘信息(border)资料选取合适的ref资料；
根据预测角度(mode)和预测像素下标选取合适的参数iFact和iIdx；
根据ref资料和选取的参数iFact和iIdx计算出预测值。
在具体的FPGA实现时，完全按文档的实现方式的话，ref的下标会出现负数的情况且iFact和iIdx计算不方便，文中也没有实现流水线的方案，预测时延大。
发明内容
本发明的目的是提供一种基于FPGA的帧内预测通用角度方法，解决了ref的下标会出现负数的情况且iFact和iIdx计算不方便的技术问题。
为实现上述目的，本发明采用以下技术方案：
一种基于FPGA的帧内预测通用角度方法，包括以下步骤：
步骤1：在FPGA中建立帧内预测通用角度模块，帧内预测通用角度模块的输入端口包括border端口、pred_mode端口、boundary_filter端口和valid_in端口，border端口用于接收预测所用的边界信息，pred_mode端口用于接收预测的角度模式，角度模式的取值为2～34，boundary_filter端口用于接收是否需要进行边缘滤波的信号：boundary_filter端口为0，则不需要边缘滤波，boundary_filter端口为1，则需要边缘滤波，valid_in端口用于接收输入是否有效的信号；
帧内预测通用角度模块的输出端口包括predSample端口和valid_out端口，predSample端口用于输出预测结果，valid_out端口用于输出结果是否有效的信号；
步骤2：在FPGA中建立ref_ram存储器，根据以下公式计算出角度模式和预测结果之间的预测关系表：
y＝b>0？(a*x1+b*x2+16)>>5:x1；
其中，a＝32–iFact；b＝iFact；x1＝ref_ram<<(shift+1)；x2＝ref_ram<<
shift；
shift＝iIdx+nTbs；如果iIdx为负数，nTbs为预测块的大小；
步骤3：将一帧图片输入到FPGA中，FPGA在帧内预测通用角度模块中对图片进行帧内预测，具体步骤如下：
步骤S1：帧内预测通用角度模块通过border端口和pred_mode端口从FPGA中获取图片的预测所用的边界信息和预测角度模式；
步骤S2：根据pred_mode端口输入的角度模式的值，查找iIdx_rom表，得出shift参数；
步骤S3：根据pred_mode端口输入的角度模式的值，从iFact_rom中查表得出iFact参数；
步骤S4：计算ref＝ref_ram<<shift、iFact和iFact的取反加一的值，并根据步骤2提供的公式进行计算，同时进行边界滤波的结果计算；
步骤S5：根据boundary_filter的不同，选取通用计算模块的结果或者边界滤波的结果作为最终的预测结果输出。
优选的，在执行步骤S2时，如果查找预测关系表的结果中会出现负数下标，则将原有的下标看作起始的零点。
优选的，在执行步骤S2时，如果shift参数为负数，则shift＝iIdx+nTbs。
本发明所述的一种基于FPGA的帧内预测通用角度方法，解决了ref的下标会出现负数的情况且iFact和iIdx计算不方便的技术问题，本发明简化的边缘选取方式，内部配置且解决了负数下标的问题，iFact和iIdx的计算简化为rom的读取，简化了计算，本发明全流水线的设计结构，针对16x16的预测块，本发明可实现16时钟周期处理一个块，一个帧内预测通用角度模块解决了所有的角度预测问题，且兼顾了边缘滤波的需求。
附图说明
图1是H.265中使用的35种帧内预测方式的结果示意图；
图2是H.265中使用的35种帧内预测方式的模型示意图；
图3是本发明的帧内预测通用角度模块的框架图；
图4是本发明的流程图。
具体实施方式
如图3-图4所示的一种基于FPGA的帧内预测通用角度方法，包括以下步骤：
步骤1：在FPGA中建立帧内预测通用角度模块，帧内预测通用角度模块的输入端口包括border端口、pred_mode端口、boundary_filter端口和valid_in端口，border端口用于接收预测所用的边界信息，pred_mode端口用于接收预测的角度模式，角度模式的取值为2～34，boundary_filter端口用于接收是否需要进行边缘滤波的信号：boundary_filter端口为0，则不需要边缘滤波，boundary_filter端口为1，则需要边缘滤波，valid_in端口用于接收输入是否有效的信号；
帧内预测通用角度模块的输出端口包括predSample端口和valid_out端口，predSample端口用于输出预测结果，valid_out端口用于输出结果是否有效的信号；
步骤2：在FPGA中建立ref_ram存储器，根据以下公式计算出角度模式和预测结果之间的预测关系表：
y＝b>0？(a*x1+b*x2+16)>>5:x1；
其中，a＝32–iFact；b＝iFact；x1＝ref_ram<<(shift+1)；x2＝ref_ram<<shift；
shift＝iIdx+nTbs；如果iIdx为负数，nTbs为预测块的大小，如预测块如果为8×8的大小，则nTbs＝8。
iFact和iIdx是H.265文档中的术语，故不详细叙述；ref_ram中的数据是根据H.265的标准算法，依据预测模式的不同，取得的；
步骤3：将一帧图片输入到FPGA中，FPGA在帧内预测通用角度模块中对图片进行帧内预测，具体步骤如下：
步骤S1：帧内预测通用角度模块通过border端口和pred_mode端口从FPGA中获取图片的预测所用的边界信息和预测角度模式；
步骤S2：根据pred_mode端口输入的角度模式的值，查找iIdx_rom表，得出shift参数；
iIdx_rom是一个rom，里面的初始化文件是用matlab生成的，对应的取出来的值就是所述shift；
步骤S3：根据pred_mode端口输入的角度模式的值，从iFact_rom中查表得出iFact参数；
iFact_rom是一个rom，里面的初始化文件是用matlab生成的，对应的取出来的值就是所述iFact；
步骤S4：计算ref＝ref_ram<<shift、iFact和iFact的取反加一的值，并根据步骤2提供的公式进行计算，同时进行边界滤波的结果计算；
步骤S5：根据boundary_filter的取值决定是否进行边缘滤波，并输出预测结果。
优选的，在执行步骤S2时，如果查找预测关系表的结果中会出现负数下标，则将原有的下标看作起始的零点。
优选的，在执行步骤S2时，如果shift参数为负数，则shift＝iIdx+nTbs。本发明所述的一种基于FPGA的帧内预测通用角度方法，解决了ref的下标会出现负数的情况且iFact和iIdx计算不方便的技术问题，本发明简化的边缘选取方式，内部配置且解决了负数下标的问题，iFact和iIdx的计算简化为rom的读取，简化了计算，本发明全流水线的设计结构，针对16x16的预测块，本发明可实现16时钟周期处理一个块，一个帧内预测通用角度模块解决了所有的角度预测问题，且兼顾了边缘滤波的需求。

Claims (3)

1.一种基于FPGA的帧内预测通用角度方法，其特征在于：包括以下步骤：
步骤1：在FPGA中建立帧内预测通用角度模块，帧内预测通用角度模块的输入端口包括border端口、pred_mode端口、boundary_filter端口和valid_in端口，border端口用于接收预测所用的边界信息，pred_mode端口用于接收预测的角度模式，角度模式的取值为2～34，boundary_filter端口用于接收是否需要进行边缘滤波的信号：boundary_filter端口为0，则不需要边缘滤波，boundary_filter端口为1，则需要边缘滤波，valid_in端口用于接收输入是否有效的信号；
帧内预测通用角度模块的输出端口包括predSample端口和valid_out端口，predSample端口用于输出预测结果，valid_out端口用于输出结果是否有效的信号；
步骤2：在FPGA中建立ref_ram存储器，根据以下公式计算出角度模式和预测结果之间的预测关系表：
y＝b>0？(a*x1+b*x2+16)>>5:x1；
其中，a＝32–iFact；b＝iFact；x1＝ref_ram<<(shift+1)；x2＝ref_ram<<shift；
shift＝iIdx+nTbs；如果iIdx为负数，nTbs为预测块的大小；
步骤3：将一帧图片输入到FPGA中，FPGA在帧内预测通用角度模块中对图片进行帧内预测，具体步骤如下：
步骤S1：帧内预测通用角度模块通过border端口和pred_mode端口从FPGA中获取图片的预测所用的边界信息和预测角度模式；
步骤S2：根据pred_mode端口输入的角度模式的值，查找iIdx_rom表，得出shift参数；
步骤S3：根据pred_mode端口输入的角度模式的值，从iFact_rom中查表得出iFact参数；
步骤S4：计算ref＝ref_ram<<shift、iFact和iFact的取反加一的值，并根据步骤2提供的公式进行计算，同时进行边界滤波的结果计算；
步骤S5：根据boundary_filter的取值决定是否进行边缘滤波，并输出预测结果。
2.如权利要求1所述的一种基于FPGA的帧内预测通用角度方法，其特征在于：在执行步骤S2时，如果查找预测关系表的结果中会出现负数下标，则将原有的下标看作起始的零点。
3.如权利要求1所述的一种基于FPGA的帧内预测通用角度方法，其特征在于：在执行步骤S2时，如果shift参数为负数，则shift＝iIdx+nTbs，nTbs为预测块的大小。
CN201910218268.5A 2019-03-21 2019-03-21 一种基于fpga的帧内预测通用角度方法 Active CN109982075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910218268.5A CN109982075B (zh) 2019-03-21 2019-03-21 一种基于fpga的帧内预测通用角度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910218268.5A CN109982075B (zh) 2019-03-21 2019-03-21 一种基于fpga的帧内预测通用角度方法

Publications (2)

Publication Number Publication Date
CN109982075A true CN109982075A (zh) 2019-07-05
CN109982075B CN109982075B (zh) 2022-11-08

Family

ID=67079837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910218268.5A Active CN109982075B (zh) 2019-03-21 2019-03-21 一种基于fpga的帧内预测通用角度方法

Country Status (1)

Country Link
CN (1) CN109982075B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717051A (zh) * 2004-06-09 2006-01-04 美国博通公司 高级视频编码帧内预测的系统和方法
CN101895751A (zh) * 2010-07-06 2010-11-24 北京大学 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
WO2012150849A2 (ko) * 2011-05-04 2012-11-08 한국전자통신연구원 에러에 강인한 인-루프 필터를 이용하는 영상 부호화/복호화 방법과 그에 관한 시그널링 방법
US20130272623A1 (en) * 2010-12-08 2013-10-17 Yong Joon Jeon Intra prediction method and encoding apparatus and decoding apparatus using same
EP2890130A1 (en) * 2012-09-28 2015-07-01 Nippon Telegraph and Telephone Corporation Intra-prediction coding method, intra-prediction decoding method, intra-prediction coding device, intra-prediction decoding device, programs therefor and recording mediums on which programs are recorded
CN105264889A (zh) * 2013-04-05 2016-01-20 佳能株式会社 用于生成帧内预测样本的方法、设备和系统
WO2016180129A1 (zh) * 2015-05-08 2016-11-17 腾讯科技（深圳）有限公司 预测模式选择方法、装置及设备
US20170094274A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Short distance intra prediction (sdip) based video coding
CN109462758A (zh) * 2018-10-09 2019-03-12 深圳市网心科技有限公司 帧内预测模式确定方法、电子设备、系统及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717051A (zh) * 2004-06-09 2006-01-04 美国博通公司 高级视频编码帧内预测的系统和方法
CN101895751A (zh) * 2010-07-06 2010-11-24 北京大学 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
US20130272623A1 (en) * 2010-12-08 2013-10-17 Yong Joon Jeon Intra prediction method and encoding apparatus and decoding apparatus using same
WO2012150849A2 (ko) * 2011-05-04 2012-11-08 한국전자통신연구원 에러에 강인한 인-루프 필터를 이용하는 영상 부호화/복호화 방법과 그에 관한 시그널링 방법
EP2890130A1 (en) * 2012-09-28 2015-07-01 Nippon Telegraph and Telephone Corporation Intra-prediction coding method, intra-prediction decoding method, intra-prediction coding device, intra-prediction decoding device, programs therefor and recording mediums on which programs are recorded
CN105264889A (zh) * 2013-04-05 2016-01-20 佳能株式会社 用于生成帧内预测样本的方法、设备和系统
WO2016180129A1 (zh) * 2015-05-08 2016-11-17 腾讯科技（深圳）有限公司 预测模式选择方法、装置及设备
US20170094274A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Short distance intra prediction (sdip) based video coding
CN109462758A (zh) * 2018-10-09 2019-03-12 深圳市网心科技有限公司 帧内预测模式确定方法、电子设备、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈占芳等: "基于帧内快速选择的视频压缩算法研究", 《长春理工大学学报(自然科学版)》 *

Also Published As

Publication number Publication date
CN109982075B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
TWI488145B (zh) 於多重視圖編碼視訊中利用區域差異向量的運動跳過模式之方法及裝置
TWI493975B (zh) 用於低複雜度移動向量導出之系統及方法
Zhao et al. Enhanced ctu-level inter prediction with deep frame rate up-conversion for high efficiency video coding
CN107148778A (zh) 用于视频编码的改进的定向帧内预测方法
CN103248895B (zh) 一种用于hevc帧内编码的快速模式估计方法
HUE034631T2 (en) Adaptive partition coding
KR20080102167A (ko) 비디오 인코딩
Shen et al. Ultra fast H. 264/AVC to HEVC transcoder
CN103561263A (zh) 基于运动矢量约束和加权运动矢量的运动补偿预测方法
CN104378643A (zh) 一种3d视频深度图像帧内预测模式选择方法及系统
Zhang et al. Recent advances on HEVC inter-frame coding: From optimization to implementation and beyond
CN109151467A (zh) 基于图像块活动性的屏幕内容编码帧间模式快速选择方法
CN109982075A (zh) 一种基于fpga的帧内预测通用角度方法
Aysu et al. A low energy adaptive hardware for H. 264 multiple reference frame motion estimation
Ma et al. A fast background model based surveillance video coding in HEVC
JP5598199B2 (ja) 動画像符号化装置
Kuo et al. SIFME: A single iteration fractional-pel motion estimation algorithm and architecture for HDTV sized H. 264 video coding
Ting et al. Fast intra prediction algorithm with transform domain edge detection for HEVC
CN110392264B (zh) 一种基于神经网络的对齐外插帧方法
CN114930839A (zh) 帧间预测方法、解码器、编码器及计算机存储介质
CN109862355A (zh) 一种多层次帧内预算模式选择方法
Sanchez et al. A fast hardware-friendly motion estimation algorithm and its VLSI design for real time ultra high definition applications
CN101262607A (zh) 二重预测视频编解码方法和装置
Ücker et al. Low-power and high-throughput architecture for 3D-HEVC depth modeling mode 4
Borges et al. A hardware design for 3D-HEVC depth intra skip with synthesized view distortion change

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant