CN110365989A - 一种面向硬件实现的视频编码帧间整像素搜索方法 - Google Patents

一种面向硬件实现的视频编码帧间整像素搜索方法 Download PDF

Info

Publication number
CN110365989A
CN110365989A CN201910633187.1A CN201910633187A CN110365989A CN 110365989 A CN110365989 A CN 110365989A CN 201910633187 A CN201910633187 A CN 201910633187A CN 110365989 A CN110365989 A CN 110365989A
Authority
CN
China
Prior art keywords
search
ctu
sad
video coding
hard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910633187.1A
Other languages
English (en)
Other versions
CN110365989B (zh
Inventor
施隆照
张志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou Shixin Technology Co ltd
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910633187.1A priority Critical patent/CN110365989B/zh
Publication of CN110365989A publication Critical patent/CN110365989A/zh
Application granted granted Critical
Publication of CN110365989B publication Critical patent/CN110365989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种面向硬件实现的视频编码帧间整像素搜索方法，包括以下步骤：步骤S1：以CTU为对象利用AMVP技术获取MVP，根据MVP值确定整块CTU的搜索起始点和搜索框；步骤S2:采用螺旋式搜索方式，由中心向四周螺旋延伸的顺序遍历整个搜索框；步骤S3:计算并更新所有PU块的最佳MV和相应代价；步骤S4:利用提前中止策略，在搜索到满足预设条件时中止螺旋搜索，完成搜索。本发明按固定的螺旋搜索顺序进行运动估计，实现每步搜索硬件上参考像素数据只更新一行或者一列，加快硬件读取数据的过程，更适用于硬件实现。

Description

一种面向硬件实现的视频编码帧间整像素搜索方法
技术领域
本发明属于视频编解码技术领域，具体涉及一种面向硬件实现的视频编码帧间整像素搜索方法。
背景技术
HEVC视频编码标准在H.264/AVC的基础上，新增了一套特殊的图像分割模式，包括对编码单元、预测单元、变换单元的模式划分，HEVC编码视频在同等PSNR的条件下码流相比H.264可节省25%-50%。
HEVC在编码效率上的出色表现得益于其拥有先进的编码结构、各种先进技术，但是这也使得HEVC在复杂度上也是远远超过H.264编码格式。帧间预测在整个编码过程中占据高达80%的复杂度，而帧间预测中运动估计计算时间大约是整个帧间预测的70%，因此减少运动估计时间能有效降低整个编码过程的复杂度。HM16.7测试模型中采用的TZsearch算法，能够在性能损失仅为0.28%的情况下有效降低93%以上的复杂度；但是搜索点位置变化大，快速读取数据困难，耗时多，不利于硬件实现；而对于搜索顺序固定的全搜索算法，其复杂度之高远远无法满足实际应用的需求。
在HEVC中，常用的帧间运动估计搜索算法需要对CU块不断进行迭代，以此来获取所有PU块的最佳MV和代价，这样不适用于CTU不断增大的视频编码，且迭代过程中重复计算像素点残差和，造成很多不需要的计算时间浪费。
发明内容
有鉴于此，本发明的目的在于提供一种面向硬件实现的视频编码帧间整像素搜索方法，提出以固定搜索顺序的螺旋搜索方法替代依附于迭代过程的传统搜索方式，在保证视频编码性能和速度损失有限的前提下，适用于硬件快速读取数据的帧间整像素搜索方法。
为实现上述目的，本发明采用如下技术方案：
一种面向硬件实现的视频编码帧间整像素搜索方法，包括以下步骤：
步骤S1：以编码树单元（Coding Tree Unit ：CTU）为对象利用AMVP技术获取MVP，根据MVP值确定整块CTU的搜索起始点和搜索框；
步骤S2:采用螺旋式搜索方式，由中心向四周螺旋延伸的顺序遍历整个搜索框；
步骤S3:计算并更新所有预测单元（Prediction Unit：PU）的最佳MV和相应代价;
步骤S4:利用提前中止策略，在搜索到满足预设条件时中止螺旋搜索，完成搜索。
进一步的，所述步骤S1具体为：
步骤S11:获取当前待编码CTU块和参考帧;
步骤S12:以整个CTU为对象，利用AMVP技术得到整个CTU的MVP向量；
步骤S13:将MVP向量进行预设比例的缩小，并作为CTU的搜索起始点；
步骤S14:搜索框以搜索起始点为中心，向上下左右各延伸64点。
进一步的，所述步骤S2具体为：
步骤S21:以搜索起始点为中心，采用螺旋搜索方式按照由中心向四周螺旋延伸的顺序遍历整个搜索框;
步骤S22:在遍历搜索框的过程,先计算出所在搜索点处整个CTU的残差;
步骤S23:根据残差算出每个CU块4x4的绝对残差和SAD并保留下来。
进一步的，所述步骤S3具体为：
步骤S31:根据得到的每个CU块4x4的绝对残差和SAD，合成所有PU块的SAD；
根据率失真代价计算公式
（1）
其中，Distortion用绝对残差和SAD表示，由于SAD和均为正值，可先判断的值是否已经大于上次最佳SAD值；若是则无需计算SAD直接舍弃；否则利用保留的相应大小的CU块相加合成当前的PU块SAD；
步骤S32:比较并更新所有PU块的当前最佳MV和代价.
进一步的，所述提前中止策略具体为：前10圈内以搜索圈数超过当前所有最佳点2圈作为提前中止判断依据；10圈之后，则以搜索圈数超过当前所有最佳点1圈作为提前中止判断依据。
本发明与现有技术相比具有以下有益效果：
本发明在于保证视频编码性能和速度损失有限的前提下，按固定的螺旋式搜索顺序进行整像素运动估计，实现每步搜索只需更新一行或者一列参考像素数据，简化硬件上读取数据的过程，更适用于硬件实现。
附图说明
图1是本发明方法流程图；
图2是本发明一实施例中螺旋搜索顺序示意图；
图3是本发明一实施例中提前中止时所在圈数百分比分布图；
图4是本发明一实施例中硬件数据读取方式。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种面向硬件实现的视频编码帧间整像素搜索方法，包括以下步骤：
步骤S1：以CTU为对象利用AMVP技术获取MVP，根据MVP值确定整块CTU的搜索起始点和搜索框；
步骤S11:获取当前待编码CTU块和参考帧;
步骤S12:以整个CTU为对象，利用AMVP技术得到整个CTU的MVP向量；
步骤S13:将MVP向量进行预设比例的缩小，并作为CTU的搜索起始点；
步骤S14:搜索框以搜索起始点为中心，向上下左右各延伸64点。
步骤S2:采用螺旋式搜索方式，由中心向四周螺旋延伸的顺序遍历整个搜索框；
参照图2，螺旋式搜索方式具体包括：
步骤S21:以搜索起始点为中心，采用螺旋搜索方式按照由中心向四周螺旋延伸的顺序遍历整个搜索框;
步骤S22:在遍历搜索框的过程,先计算出所在搜索点处整个CTU的残差;
步骤S23:根据残差算出每个CU块4x4的绝对残差和SAD并保留下来。
步骤S3:计算并更新所有PU块的最佳MV和相应代价;
步骤S4:利用提前中止策略，在搜索到满足预设条件时中止螺旋搜索，完成搜索。
在本实施例中，所述步骤S3具体为：
步骤S31:根据得到的每个CU块4x4的绝对残差和SAD，合成所有PU块的SAD；
根据率失真代价计算公式
（1）
其中，Distortion用绝对残差和SAD表示，由于SAD和均为正值，可先判断的值是否已经大于上次最佳SAD值；若是则无需计算SAD直接舍弃；否则利用保留的相应大小的CU块相加合成当前的PU块SAD；
步骤S32:比较并更新所有PU块的当前最佳MV和代价.
在本实施例中，所述提前中止策略具体为：前10圈内以搜索圈数超过当前所有最佳点2圈作为提前中止判断依据；10圈之后，则以搜索圈数超过当前所有最佳点1圈作为提前中止判断依据。经过统计，不同视频序列提前中止时所在圈数百分比分布图如图3所示，提前中止于前10圈的比例约为90.1%，10圈之后仅占9.9%，因此将10圈之后提前中止判断条件放宽为搜索圈数超过当前所有最佳点1圈，以缩减搜索时间。
本发明采用螺旋搜索方式固定搜索点的位置，相邻搜索位置间像素重复面积大，如图4所示，当搜索向右进行时，硬件上只需要读取R列数据，并与原有的数据一起向左移一个像素即可；当搜索向下进行时，只需要读取D行数据，并与原有的数据一起向上移一个像素即可；其他同理。这样每步搜索只需要更新一行或者一列像素数据，简化硬件上读取数据的过程；
本实施例中，将本方法应用用于HEVC编码器中，在同等情况下与原TZsearch算法进行性能和复杂度的比较。如表1所示，表中的数据都是与TZsearch算法对比的结果，实验结果证明，平均性能损失和复杂度增加量在1% 左右，个别序列在2-3%左右。本发明在全搜索的基础上进行改进，性能和复杂度上与TZsearch算法基本相当，在硬件上带来的数据读取便利和并行化处理所有PU块可以大大加快硬件速度，且有利于硬件实现。
表1
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种面向硬件实现的视频编码帧间整像素搜索方法，其特征在于，包括以下步骤：
步骤S1：以CTU为对象利用AMVP技术获取MVP，根据MVP值确定整块CTU的搜索起始点和搜索框；
步骤S2:采用螺旋式搜索方式，由中心向四周螺旋延伸的顺序遍历整个搜索框；
步骤S3:计算并更新所有预测单元PU的最佳MV和相应代价；
步骤S4:利用提前中止策略，在搜索到满足预设条件时中止螺旋搜索，完成搜索。
2.根据权利要求1所述的一种面向硬件实现的视频编码帧间整像素搜索方法，其特征在于，所述步骤S1具体为：
步骤S11:获取当前待编码CTU块和参考帧；
步骤S12:以整个CTU为对象，利用AMVP技术得到整个CTU的MVP向量；
步骤S13:将MVP向量进行预设比例的缩小，并作为CTU的搜索起始点；
步骤S14:搜索框以搜索起始点为中心，向上下左右各延伸64点。
3.根据权利要求1所述的一种面向硬件实现的视频编码帧间整像素搜索方法，其特征在于，所述步骤S2具体为：
步骤S21:以搜索起始点为中心，采用螺旋搜索方式按照由中心向四周螺旋延伸的顺序遍历整个搜索框；
步骤S22:在遍历搜索框的过程,先计算出所在搜索点处整个CTU的残差；
步骤S23:根据残差算出每个CU块4x4的绝对残差和SAD并保留下来。
4.根据权利要求3所述的一种面向硬件实现的视频编码帧间整像素搜索方法，其特征在于，所述步骤S3具体为：
步骤S31:根据得到的每个CU块4x4的绝对残差和SAD，合成所有PU块的SAD；
根据率失真代价计算公式
J＝Distortion+λ×Rate (1)
其中，Distortion用绝对残差和SAD表示，由于SAD和λ×Rate均为正值，可先判断λ×Rate的值是否已经大于上次最佳SAD值；若是则无需计算SAD直接舍弃；否则利用保留的相应大小的CU块相加合成当前的PU块SAD；
步骤S32:比较并更新所有PU块的当前最佳MV和代价.
5.根据权利要求1所述的一种面向硬件实现的视频编码帧间整像素搜索方法，其特征在于，所述提前中止策略具体为：前10圈内以搜索圈数超过当前所有最佳点2圈作为提前中止判断依据；10圈之后，则以搜索圈数超过当前所有最佳点1圈作为提前中止判断依据。
CN201910633187.1A 2019-07-15 2019-07-15 一种面向硬件实现的视频编码帧间整像素搜索方法 Active CN110365989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910633187.1A CN110365989B (zh) 2019-07-15 2019-07-15 一种面向硬件实现的视频编码帧间整像素搜索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910633187.1A CN110365989B (zh) 2019-07-15 2019-07-15 一种面向硬件实现的视频编码帧间整像素搜索方法

Publications (2)

Publication Number Publication Date
CN110365989A true CN110365989A (zh) 2019-10-22
CN110365989B CN110365989B (zh) 2022-11-15

Family

ID=68219045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910633187.1A Active CN110365989B (zh) 2019-07-15 2019-07-15 一种面向硬件实现的视频编码帧间整像素搜索方法

Country Status (1)

Country Link
CN (1) CN110365989B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676737A (zh) * 2021-08-02 2021-11-19 上海影谱科技有限公司 一种基于gpu的高效视频编码器及编码方法
CN117412065A (zh) * 2023-12-15 2024-01-16 福州时芯科技有限公司 螺旋搜索算法的一种优化方案

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060002472A1 (en) * 2004-06-30 2006-01-05 Mehta Kalpesh D Various methods and apparatuses for motion estimation
CN101416524A (zh) * 2006-04-07 2009-04-22 微软公司 运动估计搜索范围和扩展的运动矢量范围的动态选择
CN103957420A (zh) * 2014-04-30 2014-07-30 华南理工大学 一种h.264运动估计编码的全面运动估计改进算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060002472A1 (en) * 2004-06-30 2006-01-05 Mehta Kalpesh D Various methods and apparatuses for motion estimation
CN101416524A (zh) * 2006-04-07 2009-04-22 微软公司 运动估计搜索范围和扩展的运动矢量范围的动态选择
CN103957420A (zh) * 2014-04-30 2014-07-30 华南理工大学 一种h.264运动估计编码的全面运动估计改进算法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUSTAVO SANCHEZ等: "A hardware friedly motion estimation algorithm for the emergent HEVC standard and its low power hardware design", 《2013 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
WEI-MIN CHAO等: "Platform architecture design for MPEG-4 video coding", 《PROCEEDINGS 2003 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (CAT. NO.03CH37429)》 *
XIN YE等: "A hardware-oriented IME algorithm and its implementation for HEVC", 《2014 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING CONFERENCE》 *
任克强等: "H.264运动估计UMHexagonS算法的优化与改进", 《数据采集与处理》 *
高闻: "基于H.264的全景视频编解码技术研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676737A (zh) * 2021-08-02 2021-11-19 上海影谱科技有限公司 一种基于gpu的高效视频编码器及编码方法
CN117412065A (zh) * 2023-12-15 2024-01-16 福州时芯科技有限公司 螺旋搜索算法的一种优化方案
CN117412065B (zh) * 2023-12-15 2024-03-08 福州时芯科技有限公司 螺旋搜索算法的一种优化方案

Also Published As

Publication number Publication date
CN110365989B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN110087087B (zh) Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
CN104320666B (zh) 图像处理设备和方法
CN101415122B (zh) 一种帧间预测编解码方法及装置
CN117528109A (zh) 图像编码方法、图像解码方法及用于传送比特流的方法
CN111385569A (zh) 一种编解码方法及其设备
CN101267556B (zh) 快速运动估计方法及视频编解码方法
CN109804627A (zh) 图像编码/解码方法和设备
CN101816183A (zh) 使用子像素运动估计对图像进行帧间预测编码/解码的方法和设备
CN105959699B (zh) 一种基于运动估计和时空域相关性的快速帧间预测方法
CN106454349B (zh) 一种基于h.265视频编码的运动估计块匹配方法
CN103327327B (zh) 用于高性能视频编码hevc的帧间预测编码单元选择方法
JP2010504010A (ja) ビデオシーケンスにおけるデータ圧縮方法
CN110446036B (zh) 一种基于多用途编码中帧内编码的编码单元快速划分方法
CN104954787B (zh) Hevc帧间预测模式选择方法及装置
CN110166778A (zh) 视频解码方法、视频解码器以及电子设备
CN110365975A (zh) 一种avs2视频编解码标准优化方案
CN104811729A (zh) 一种视频多参考帧编码方法
CN107295336B (zh) 基于图像相关性的自适应快速编码单元划分方法及装置
CN104918047B (zh) 一种双向运动估计的排除方法和装置
CN110351552B (zh) 视频编码中一种快速编码方法
CN110365989A (zh) 一种面向硬件实现的视频编码帧间整像素搜索方法
CN113810715A (zh) 一种基于空洞卷积神经网络的视频压缩参考图像生成方法
CN109040756B (zh) 一种基于hevc图像内容复杂度的快速运动估计方法
Guan et al. VVC fast ME algorithm based on spatial texture features and time correlation
CN104967858A (zh) 一种子像素运动向量估计方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240524

Address after: Room A1301, 13th Floor, Building 17, Phase II, Innovation Park, No. 7 Wulongjiang Middle Avenue, High tech Zone, Fuzhou City, Fujian Province, 350108

Patentee after: Fuzhou Shixin Technology Co.,Ltd.

Country or region after: China

Address before: No.2 Xueyuan Road, Fuzhou University Town, Shangjie Town, Minhou County, Fuzhou City, Fujian Province

Patentee before: FUZHOU University

Country or region before: China

TR01 Transfer of patent right