CN110958454A - 帧内预测方法、系统及计算机可读存储介质 - Google Patents

帧内预测方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN110958454A
CN110958454A CN201911298371.1A CN201911298371A CN110958454A CN 110958454 A CN110958454 A CN 110958454A CN 201911298371 A CN201911298371 A CN 201911298371A CN 110958454 A CN110958454 A CN 110958454A
Authority
CN
China
Prior art keywords
sub
sum
prediction
block
rlvc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911298371.1A
Other languages
English (en)
Other versions
CN110958454B (zh
Inventor
刘宗林
刘蓬侠
罗恒
王磊
艾明哲
伍玉良
易雨农
胡志文
何志强
陈东泽
黄浩逸
贺维佳
徐喆
陈奕军
龙刘靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Greatwall Galaxy Technology Co ltd
Original Assignee
Hunan Greatwall Galaxy Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Greatwall Galaxy Technology Co ltd filed Critical Hunan Greatwall Galaxy Technology Co ltd
Priority to CN201911298371.1A priority Critical patent/CN110958454B/zh
Publication of CN110958454A publication Critical patent/CN110958454A/zh
Application granted granted Critical
Publication of CN110958454B publication Critical patent/CN110958454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种帧内预测方法、系统及计算机可读存储介质，基于不同尺寸子块原始像素值及其左侧、上方和左上方相邻像素原始像素值计算子块预测相关特征值，然后基于子块预测相关特征值确定最小候选模式集，最后计算并判断子块最佳帧内预测模式。本发明能够准确快速地决策H.265帧内预测的最小候选模式集，仅对每种子块的少数候选预测模式进行选择，从而减少模式选择的时间，加快帧内预测算法的速度。

Description

帧内预测方法、系统及计算机可读存储介质
技术领域
本发明涉及视频编码技术，特别是一种帧内预测方法、系统及计算机可读存储介质。
背景技术
视频数据具有数据量大、相关性高的特点，必须通过视频编码技术进行压缩。随着通信技术和多媒体技术的不断发展，人们对视频应用的需求越来越大，视频应用呈现出清晰度越来越高、帧率越来越大的特点，这进一步对视频压缩率提出了更高的要求。在此背景下，Joint Collaborative Team on Video Coding(JCT-VC)提出了H.265标准，在原先H.264标准的技术框架下，对各项编解码算法进行了进一步的扩展和革新。和H.264相比，H.265能够在相同的重构图像质量下将压缩率提高一倍。性能提高的代价是计算复杂度的大幅度增加，这在一定程度上限制了H.265的推广应用，如何在保证编码质量的同时缩减编码时间成为迫切需要解决的问题。
H.265采用了和H.26x和MPEG系列标准相同的基于块的混合编码架构。在帧内预测算法中增加了基于四叉树的灵活编码结构和更为丰富的方向预测模式以更好地适应不同特征的视频序列编码。每个视频帧划分为多个最大编码单元(CTU，64x64)，每个CTU进一步划分为多种尺寸的编码单元(CU，尺寸可以为32x32、16x16、8x8)；每种尺寸的CU，可以进一步划分为更小尺寸的块作为预测编码的基本单位(PU)；对不同尺寸的PU，H.265最多提供35种帧内预测模式以供选择，包括33种方向预测模式和DC预测、平面预测两种非方向预测模式；基于率失真优化(RDO)方法选择最优CU划分和最佳帧内预测模式可以获得最好的编码效果。在帧内预测中，最优CU划分和最佳预测模式选择占编码计算量的80％以上，研究快速的帧内预测方法具有重要意义。
学术界和产业界提出过很多快速帧内预测方法。比如采用粗略模式决策(RMD)方法和最可能模式(MPM)方法获得数目较少的候选模式集，从而减少计算复杂的RD运算次数，这种方法已经被H.265测试源码HM采用。“利用平滑区域检测的HEVC帧内编码快速算法””(蒋洁等，西安电子科技大学学报(自然科学版)，2013年6月，第40卷，第三期，194-200页)基于编码单元的率失真函数判断其平滑程度，从而快速确定编码块划分。“基于sobel算子的帧内快速判决方法、装置及存储介质”(公开号CN 108881904 A)利用sobel算子计算编码块每一个像素四个方向的梯度值，以此为基础计算编码块在4个方向的梯度投影值，并以此为依据判定编码块划分和预测方向。在发明“一种基于图像纹理特征的视频编码帧内预测方法”(授权公开号CN 105120292 B)中，同样采用sobel算子计算每一个像素的梯度值，并基于此计算每一个编码块的梯度幅值和强边缘数目，以此为基础确定编码块候选模式，同时结合两个经验阈值提前终止子块划分判断。上述方法取得了一定的帧内预测加速效果，但是其快速算法本身计算复杂度依然比较大，难以实现实时帧内预测。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种帧内预测方法、系统及计算机可读存储介质，降低帧内预测算法计算复杂度，减少帧内预测的时间。为解决上述技术问题，本发明所采用的技术方案是：一种帧内预测方法，包括：利用原始图像像素值计算图像中每个子块的预测相关特征值，基于所述预测相关特征值确定每个子块的候选预测模式子集，从所述候选预测子集中选择最佳预测模式。
借由上述方法能够准确快速地决策H.265帧内预测的最小候选模式集，仅对每种子块的少数候选预测模式进行选择，从而减少模式选择的时间，加快帧内预测算法的速度。
本发明中，利用原始图像像素值计算图像中每个子块的预测相关特征值的具体实现过程包括：
对于每一个4x4子块，基于4x4子块原始像素值及其左侧、上方和左上方相邻像素原始像素值构建5x5矩阵，并基于该矩阵计算4x4子块水平方向的预测相关特征值RLVC_X4x4、垂直方向的预测相关特征值RLVC_Y4x4和预测方向相关特征值TANG_DIR4x4；其中左侧相邻像素是指当前4x4子块水平方向左侧相邻的4个像素，上方相邻像素是指当前4x4子块垂直方向上方相邻的4个像素，左上方相邻像素是指当前4x4子块左上方相邻的那1个像素。
对于每一个8x8子块，基于8x8子块原始像素及其左侧、上方和左上方相邻像素原始像素值构建9x9矩阵，并基于构成该8x8子块的4个4x4子块预测相关特征计算中间结果，计算8x8子块水平方向的预测相关特征值RLVC_X8x8、垂直方向的预测相关特征值RLVC_Y8x8和预测方向相关特征TANG_DIR8x8；其中左侧相邻像素是指当前8x8子块水平方向左侧相邻的8个像素，上方相邻像素是指当前8x8子块垂直方向上方相邻的8个像素，左上方相邻像素是指当前8x8子块左上方相邻的那1个像素。
对于每一个16x16子块，基于16x16子块原始像素及其左侧、上方和左上方相邻像素原始像素值构建17x17矩阵，并基于构成该16x16子块的4个8x8子块预测相关特征计算中间结果，计算16x16子块水平方向的预测相关特征值RLVC_X16x16、垂直方向的预测相关特征值RLVC_Y16x16和预测方向相关特征值TANG_DIR16x16；其中左侧相邻像素是指当前16x16子块水平方向左侧相邻的16个像素，上方相邻像素是指当前16x16子块垂直方向上方相邻的16个像素，左上方相邻像素是指当前16x16子块左上方相邻的那1个像素。
对于每一个32x32子块，基于32x32子块原始像素及其左侧、上方和左上方相邻像素原始像素值构建33x33矩阵，并基于构成该32x32子块的4个16x16子块预测相关特征计算中间结果，计算32x32子块水平方向的预测相关特征值RLVC_X32x32、垂直方向的预测相关特征值RLVC_Y32x32和预测方向相关特征值TANG_DIR32x32；其中左侧相邻像素是指当前32x32子块水平方向左侧相邻的32个像素，上方相邻像素是指当前32x32子块垂直方向上方相邻的32个像素，左上方相邻像素是指当前32x32子块左上方相邻的那1个像素。
对于每一个64x64子块，基于64x64子块原始像素及其左侧、上方和左上方相邻像素原始像素值构建65x65矩阵，并基于构成该64x64子块的4个32x32子块预测相关特征计算中间结果，计算64x64子块水平方向的预测相关特征值RLVC_X64x64、垂直方向的预测相关特征值RLVC_Y64x64和预测方向相关特征值TANG_DIR64x64；其中左侧相邻像素是指当前64x64子块水平方向左侧相邻的64个像素，上方相邻像素是指当前64x64子块垂直方向上方相邻的64个像素，左上方相邻像素是指当前64x64子块左上方相邻的那1个像素。
基于所述预测相关特征值确定每个子块的候选预测模式子集的实现过程包括：根据子块的预测方向相关特征TANG_DIRixi，确定N个可能与TANG_DIRixi匹配的预测方向，将N个方向预测模式放入最小候选模式集；根据子块的水平方向的预测相关特征值RLVC_Xixi和垂直方向的预测相关特征值RLVC_Yixi，确定是否将DC预测模式或者平面预测模式进入最小候选模式集；i＝4、8、16、32、64。本发明采用RDO方式从每个子块的候选模式集中选择该子块的最佳帧内预测模式，并确定帧内预测子块划分方式。
具体地，当前4x4子块在水平方向的预测相关特征RLVC_X4x4计算公式为：RLVC_X4x4＝SUM4x4+SUM_T4x1-4*(SUM_L1x4+P(-1,-1)_4x4)；当前4x4子块在垂直方向的预测相关特征RLVC_Y4x4计算公式为：RLVC_Y4x4＝SUM4x4+SUM_L1x4-4*(SUM_T4x1+P(-1,-1)_4x4)；当前4x4子块的预测方向相关特征TANG_DIR4x4计算公式为：
Figure BDA0002321204990000041
其中，SUM4x4为当前4x4子块原始像素灰度值的和；SUM_L1x4为当前4x4子块左侧相邻像素值的和；SUM_T4x1为当前4x4子块上方相邻像素值的和；P(-1,-1)_4x4为当前4x4子块左上方相邻像素值。
当前8x8子块在水平方向的预测相关特征RLVC_X8x8计算公式为：RLVC_X8x8＝SUM8x8+SUM_T8x1-8*(SUM_L1x8+P(-1,-1)_8x8)；当前8x8子块在垂直方向的预测相关特征RLVC_Y8x8计算公式为：RLVC_Y8x8＝SUM8x8+SUM_L1x8-8*(SUM_T8x1+P(-1,-1)_8x8)；当前8x8子块的预测方向相关特征TANG_DIR8x8计算公式为：
Figure BDA0002321204990000042
其中，SUM8x8为基于4个4x4子块原始像素灰度值的和计算8x8子块原始像素灰度值的和；SUM_L1x8为基于左边2个4x4子块左侧相邻像素值的和计算8x8子块左侧相邻像素值的和；SUM_T8x1为基于上边2个4x4子块上方相邻像素值的和计算8x8子块上方相邻像素值的和；P(-1,-1)_8x8为当前8x8子块左上方相邻像素值。
当前16x16子块在水平方向的预测相关特征RLVC_X16x16计算公式为：RLVC_X16x16＝SUM16x16+SUM_T16x1-16*(SUM_L1x16+P(-1,-1)_16x16)；当前16x16子块在垂直方向的预测相关特征RLVC_Y16x16计算公式为：RLVC_Y16x16＝SUM16x16+SUM_L1x16-16*(SUM_T16x1+P(-1,-1)_16x16)；当前16x16子块的预测方向相关特征TANG_DIR16x16计算公式为：
Figure BDA0002321204990000051
其中，SUM16x16为基于4个8x8子块原始像素灰度值的和计算16x16子块原始像素灰度值的和；SUM_L1x16为基于左边2个8x8子块左侧相邻像素值的和计算16x16子块左侧相邻像素值的和；SUM_T16x1为基于上边2个8x8子块上方相邻像素值的和计算16x16子块上方相邻像素值的和；P(-1,-1)_16x16为当前16x16子块左上方相邻像素值。
当前32x32子块在水平方向的预测相关特征RLVC_X32x32计算公式为：RLVC_X32x32＝SUM32x32+SUM_T32x1-32*(SUM_L1x32+P(-1,-1)_32x32)；当前32x32子块在垂直方向的预测相关特征RLVC_Y16x16计算公式为：RLVC_Y32x32＝SUM32x32+SUM_L1x32-32*(SUM_T32x1+P(-1,-1)_32x32)；当前16x16子块的预测方向相关特征TANG_DIR32x32计算公式为：
Figure BDA0002321204990000052
其中，SUM32x32为基于4个16x16子块原始像素灰度值的和计算32x32子块原始像素灰度值的和；SUM_L1x32为基于左边2个16x16子块左侧相邻像素值的和计算32x32子块左侧相邻像素值的和；SUM_T32x1为基于上边2个16x16子块上方相邻像素值的和计算32x32子块上方相邻像素值的和；P(-1,-1)_32x32为当前32x32子块左上方相邻像素值。
当前64x64子块在水平方向的预测相关特征RLVC_X64x64计算公式为：RLVC_X64x64＝SUM64x64+SUM_T64x1-64*(SUM_L1x64+P(-1,-1)_64x64)；当前64x64子块在垂直方向的预测相关特征RLVC_Y64x64计算公式为：RLVC_Y64x64＝SUM64x64+SUM_L1x64-64*(SUM_T64x1+P(-1,-1)_64x64)；当前64x64子块的预测方向相关特征TANG_DIR64x64计算公式为：
Figure BDA0002321204990000061
其中，SUM64x64为基于4个32x32子块原始像素灰度值的和计算64x64子块原始像素灰度值的和；SUM_L1x64为基于左边2个32x32子块左侧相邻像素值的和计算64x64子块左侧相邻像素值的和；SUM_T64x1为基于上边2个32x32子块上方相邻像素值的和计算64x64子块上方相邻像素值的和；P(-1,-1)_64x64为当前64x64子块左上方相邻像素值。
进一步的，本发明根据子块的预测方向相关特征TANG_DIRixi，确定N个可能与TANG_DIRixi匹配的预测方向，将N个方向预测模式放入最小候选模式集的具体实现过程包括：
1)以子块的预测方向相关特征TANG_DIRixi为正切值获取的角度方向，该角度方向为当前子块像素和相邻左侧像素及上方像素的预测相关方向；
2)将与预测相关方向垂直的方向作为最佳候选预测方向；
3)将最佳候选预测方向相近的几个方向预测模式加入最小候选子集。
本发明根据子块的水平方向的预测相关特征值RLVC_Xixi和垂直方向的预测相关特征值RLVC_Yixi，按下述步骤确定是否将DC预测模式或者平面预测模式进入最小候选模式集：
1)针对每一种尺寸的子块，确定两个阈值Th_DCixi和Th_Planeixi；
2)计算子块的预测相关特征值RLVC_Xixi和RLVC_Yixi的绝对值，并将其分别和阈值Th_DCixi进行比较，如果两个特征值的绝对值均大于阈值Th_DCixi，则将预测相关特征值RLVC_Xixi和RLVC_Yixi相加并取绝对值，将该绝对值和阈值Th_Planeixi进行比较，如果比阈值Th_Planeixi小则将DC预测加入最小候选模式集，否则将平面预测模式加入最小候选模式集。
相应地，本发明提供了一种帧内预测系统，包括：
计算模块，用于利用原始图像像素值计算图像中每个子块的预测相关特征值；选择模块，基于所述预测相关特征值确定每个子块的候选预测模式子集，从所述候选预测子集中选择最佳预测模式。
作为一个发明构思，本发明还提供了一种计算机可读存储介质，该存储介质中存储有执行以下方法的程序：利用原始图像像素值计算图像中每个子块的预测相关特征值；基于所述预测相关特征值确定每个子块的候选预测模式子集，从所述候选预测子集中选择最佳预测模式。
与现有技术相比，本发明所具有的有益效果为：本发明可以有效降低帧内预测算法计算复杂度，减少帧内预测的时间，在几乎不影响编码效果的基础上节省65％左右的编码时间，实用性强。
附图说明
图1为4x4子块及其相邻像素示意图；
图2为8x8子块及其相邻像素示意图；
图3为16x16子块及其相邻像素示意图；
图4为32x32子块及其相邻像素示意图；
图5为64x64子块及其相邻像素示意图。
具体实施方式
本发明的基本方法是利用原始图像像素值直接计算每个子块的预测相关特征值，基于该特征值选择确定每个子块的候选预测模式子集，最终采用RDO机制从候选模式子集中选择最佳预测模式。本发明包含以下内容：
基于编码图像原始像素计算每个4x4子块的预测相关特征，计算方法是：首先利用4x4子块及其左侧、上方和左上方相邻像素构建5x5像素值矩阵，如图1所示；然后分别计算4x4子块的原始像素灰度值的和SUM4x4、左侧相邻像素灰度值的和SUM_L1x4、上方相邻像素灰度值的和SUM_T4x1；最后计算4x4子块在水平方向的预测相关特征值RLVC_X4x4和垂直方向的预测相关特征值RLVC_Y4x4；计算过程分别如下所示：
Figure BDA0002321204990000081
Figure BDA0002321204990000082
Figure BDA0002321204990000083
RLVC_X4x4＝SUM4x4+SUM_T4x1-4*(SUM_L1x4+P(-1,-1)_4x4)；
RLVC_Y4x4＝SUM4x4+SUM_L1x4-4*(SUM_T4x1+P(-1,-1)_4x4)；
一个8x8子块由4个相邻的4x4子块构成，如图2所示。基于在4个4x4子块预测相关特征值计算中间结果，分别计算8x8子块的原始像素灰度值的和SUM8x8、左侧相邻像素灰度值的和SUM_L1x8、上方相邻像素灰度值的和SUM_T8x1；最后计算8x8子块在水平方向的预测相关特征值RLVC_X8x8和垂直方向的预测相关特征值RLVC_Y8x8；计算过程分别如下所示：
Figure BDA0002321204990000084
Figure BDA0002321204990000085
Figure BDA0002321204990000086
RLVC_X8x8＝SUM8x8+SUM_T8x1-8*(SUM_L1x8+P(-1,-1)_8x8)；
RLVC_Y8x8＝SUM8x8+SUM_L1x8-8*(SUM_T8x1+P(-1,-1)_8x8)；
一个16x16子块由4个相邻的8x8子块构成，如图3所示。基于在4个8x8子块预测相关特征值计算中间结果，分别计算16x16子块的原始像素灰度值的和SUM16x16、左侧相邻像素灰度值的和SUM_L1x16、上方相邻像素灰度值的和SUM_T16x1；最后计算16x16子块在水平方向的预测相关特征值RLVC_X16x16和垂直方向的预测相关特征值RLVC_Y16x16；计算过程分别如下所示：
Figure BDA0002321204990000091
Figure BDA0002321204990000092
Figure BDA0002321204990000093
RLVC_X16x16＝SUM16x16+SUM_T16x1-16*(SUM_L1x16+P(-1,-1)_16x16)；
RLVC_Y16x16＝SUM16x16+SUM_L1x16-16*(SUM_T16x1+P(-1,-1)_16x16)；
一个32x32子块由4个相邻的16x16子块构成，如图4所示。基于在4个16x16子块预测相关特征值计算中间结果，分别计算32x32子块的原始像素灰度值的和SUM32x32、左侧相邻像素灰度值的和SUM_L1x32、上方相邻像素灰度值的和SUM_T32x1；最后计算32x32子块在水平方向的预测相关特征值RLVC_X32x32和垂直方向的预测相关特征值RLVC_Y32x32；计算过程分别如下所示：
Figure BDA0002321204990000094
Figure BDA0002321204990000095
Figure BDA0002321204990000096
RLVC_X32x32＝SUM32x32+SUM_T32x1-32*(SUM_L1x32+P(-1,-1)_32x32)；
RLVC_Y32x32＝SUM32x32+SUM_L1x32-32*(SUM_T32x1+P(-1,-1)_32x32)；
一个64x64子块由4个相邻的32x32子块构成，如图5所示。基于在4个32x32子块预测相关特征值计算中间结果，分别计算64x64子块的原始像素灰度值的和SUM64x64、左侧相邻像素灰度值的和SUM_L1x64、上方相邻像素灰度值的和SUM_T64x1；最后计算64x64子块在水平方向的预测相关特征值RLVC_X64x64和垂直方向的预测相关特征值RLVC_Y64x64；计算过程分别如下所示：
Figure BDA0002321204990000101
Figure BDA0002321204990000102
Figure BDA0002321204990000103
RLVC_X64x64＝SUM64x64+SUM_T64x1-64*(SUM_L1x64+P(-1,-1)_64x64)；
RLVC_Y64x64＝SUM64x64+SUM_L1x64-64*(SUM_T64x1+P(-1,-1)_64x64)；
通过上述步骤可以分别获得每一个4x4子块、8x8子块、16x16子块、32x32子块和64x64子块的在水平方向的预测相关特征值RLVC_Xixi和在垂直方向的预测相关特征值RLVC_Yixi(i＝4、8、16、32、64)，两个值分别表示当前子块像素和其相邻左侧像素、相邻上方像素的预测相关程度。基于此特征值，给出每个子块的方向预测候选模式的方法：
首先基于RLVC_Yixi和RLVC_Xixi的值计算预测方向相关特征TANG_DIRixi，此时须区分这RLVC_Yixi和RLVC_Xixi为0的情况：如果RLVC_Xixi为0且RLVC_Yixi不为0，则根据RLVC_Yixi的正负值情况将TANG_DIRixi分别设定为1000和-1000；如果RLVC_Xixi为0且RLVC_Yixi也为0，将TANG_DIRixi设定为1；否则将两者相除获得TANG_DIRixi，即
Figure BDA0002321204990000104
以上述比值为正切值获取的角度方向可以认为是本子块像素和相邻左侧像素及上方像素的预测相关方向，与此方向垂直的方向即可作为最佳候选预测方向。由于实际编码算法中帧内预测的方向预测模式数目有限，本方法确定的最佳预测方向可能和编码算法中的采用的预测方向并不一致；同时，为了提高预测准确性，本方法将编码算法中和最佳预测方向相近的3～5个方向预测模式均纳入候选模式集。表1给出了TANG_DIRixi值和候选模式集的关系。
表1 TANG_DIR值和候选方向预测模式集
Figure BDA0002321204990000111
DC预测和平面预测均不是方向预测模式，但是是否需要进入候选模式集可以通过本方法获得的子块在水平方向的预测相关特征值RLVC_Xixi和在垂直方向的预测相关特征值RLVC_Yixi进行简单预判。其方法如下：如果RLVC_Xixi或者RLVC_Yixi的绝对值比较小，说明当前子块的像素值和左侧或者上方相邻像素相关性较强，该子块具有较强的方向特性，可以通过方向预测模式进行较为准确的预测，因此不需要将DC和平面模式作为候选模式；如果RLVC_Xixi或者RLVC_Yixi的绝对值都偏大，但是一个是正值一个是负值，两个值的和的绝对值比较小，说明该子块和上方及左侧相邻像素相关性都比较强，有可能通过DC模式获得较好的预测；如果上述两个条件都不满足，那么该子块可能通过平面模式才能获得较好的预测。
为此必须为每种尺寸的子块提供两个经验阈值Th_DCixi和Th_Planeixi，用于判断是否将DC模式或者平面模式加入候选模式集。首先用第一个阈值Th_DC和子块在水平方向的预测相关特征值RLVC_Xixi和在垂直方向的预测相关特征值RLVC_Yixi的绝对值进行比较，如果有一个特征值绝对值比阈值Th_DCixi小，那么不需要将DC预测和平面预测模式加入最小候选模式集；如果两个特征值的绝对值均大于阈值Th_DCixi，则将两个预测相关特征值RLVC_Xixi和RLVC_Yixi相加后取绝对值，然后和阈值Th_Planeixi进行比较，如果比阈值Th_Planeixi小则将DC预测加入最小候选模式集，否则将平面预测模式加入最小候选模式集。本方法通过大量实验给出了4x4子块、8x8子块、16x16子块、32x32子块和64x64子块的经验阈值Th_DCixi和Th_Planeixi，如表2所示。
表2不同尺寸子块的经验阈值
子块尺寸 4x4子块 8x8子块 16x16子块 32x32子块 64x64子块
Th_DC<sub>ixi</sub> 40 144 544 2112 8320
Th_Plane<sub>ixi</sub> 60 216 816 3168 12480
确定好每一个子块的候选模式集后，通过RDO方式在最小候选模式集中选择出该子块的最佳预测模式，并最终选择最佳子块划分模式。
采用H.265标准参考软件HM16.18对本发明方法进行测试。视频序列全部采用1920x1080分辨率，编码30帧，全I帧编码，量化参数QP值分别选择22、27、32和37，其余编码选项采用默认值。表3给出了本发明提出的方法和HM16.18相比在PSNR和码率(BR)方面的差异(分别以BDPSNR和BDBR为标准)，以及本发明算法节省的编码时间ΔTime，定义为4种QP取值下节省时间的均值，即：
Figure BDA0002321204990000121
其中，Timeproposed(QPj)和TimeHM16.18(QPj)分别表示本发明的快速帧内预测模式选择算法和原始HM16.18算法在量化参数值QPj下的编码时间。
表3本发明方法和HM16.18算法结果比较
序列 BDPSNR BDBR ΔTime
ParkScene -0.023dB 1.52％ -67.45％
BasketballDrive -0.033dB 1.66％ -63.33％
Kimonol -0.025dB 1.49％ -65.72％
表3的结果表明，本发明提出的一种基于子块纹理特征的帧内预测方法可以在几乎不影响编码效果的基础上节省65％左右的编码时间，是一种具有实用价值的快速帧内预测方法。

Claims (13)

1.一种帧内预测方法，其特征在于，包括：利用原始图像像素值计算图像中每个子块的预测相关特征值，基于所述预测相关特征值确定每个子块的候选预测模式子集，从所述候选预测子集中选择最佳预测模式。
2.根据权利要求1所述的帧内预测方法，其特征在于，利用原始图像像素值计算图像中每个子块的预测相关特征值的具体实现过程包括：
对于每一个4x4子块，基于4x4子块原始像素值及其左侧4个相邻像素、上方4个相邻像素和左上方1个相邻像素的原始像素值构建5x5矩阵，并基于该矩阵计算4x4子块水平方向的预测相关特征值RLVC_X4x4、垂直方向的预测相关特征值RLVC_Y4x4和预测方向相关特征值TANG_DIR4x4；
对于每一个8x8子块，基于8x8子块原始像素及其左侧8个相邻像素、上方8个相邻像素和左上方1个相邻像素的原始像素值构建9x9矩阵，并基于构成该8x8子块的4个4x4子块预测相关特征计算中间结果，计算8x8子块水平方向的预测相关特征值RLVC_X8x8、垂直方向的预测相关特征值RLVC_Y8x8和预测方向相关特征TANG_DIR8x8；
对于每一个16x16子块，基于16x16子块原始像素及其左侧16个相邻像素、上方16个相邻和左上方1个相邻像素的原始像素值构建17x17矩阵，并基于构成该16x16子块的4个8x8子块预测相关特征计算中间结果，计算16x16子块水平方向的预测相关特征值RLVC_X16x16、垂直方向的预测相关特征值RLVC_Y16x16和预测方向相关特征值TANG_DIR16x16；
对于每一个32x32子块，基于32x32子块原始像素及其左侧32个相邻像素、上方32个相邻像素和左上方1个相邻像素的原始像素值构建33x33矩阵，并基于构成该32x32子块的4个16x16子块预测相关特征计算中间结果，计算32x32子块水平方向的预测相关特征值RLVC_X32x32、垂直方向的预测相关特征值RLVC_Y32x32和预测方向相关特征值TANG_DIR32x32；
对于每一个64x64子块，基于64x64子块原始像素及其左侧64个相邻像素、上方64个相邻像素和左上方1个相邻像素的原始像素值构建65x65矩阵，并基于构成该64x64子块的4个32x32子块预测相关特征计算中间结果，计算64x64子块水平方向的预测相关特征值RLVC_X64x64、垂直方向的预测相关特征值RLVC_Y64x64和预测方向相关特征值TANG_DIR64x64。
3.根据权利要求2所述的帧内预测方法，其特征在于，基于所述预测相关特征值确定每个子块的候选预测模式子集的实现过程包括：根据子块的预测方向相关特征TANG_DIRixi，确定N个可能与TANG_DIRixi匹配的预测方向，将N个方向预测模式放入最小候选模式集；根据子块的水平方向的预测相关特征值RLVC_Xixi和垂直方向的预测相关特征值RLVC_Yixi，确定是否将DC预测模式或者平面预测模式进入最小候选模式集；i＝4、8、16、32、64。
4.根据权利要求2所述的帧内预测方法，其特征在于，采用RDO方式，从每个子块的候选模式集中选择该子块的最佳帧内预测模式，并确定帧内预测子块划分方式。
5.根据权利要求2所述的帧内预测方法，其特征在于，当前4x4子块在水平方向的预测相关特征RLVC_X4x4计算公式为：RLVC_X4x4＝SUM4x4+SUM_T4x1-4*(SUM_L1x4+P(-1,-1)_4x4)；当前4x4子块在垂直方向的预测相关特征RLVC_Y4x4计算公式为：RLVC_Y4x4＝SUM4x4+SUM_L1x4-4*(SUM_T4x1+P(-1,-1)_4x4)；当前4x4子块的预测方向相关特征TANG_DIR4x4计算公式为：
Figure FDA0002321204980000021
Figure FDA0002321204980000031
其中，SUM4x4为当前4x4子块原始像素灰度值的和；SUM_L1x4为当前4x4子块左侧相邻像素值的和；SUM_T4x1为当前4x4子块上方相邻像素值的和；P(-1,-1)_4x4为当前4x4子块左上方相邻像素值。
6.根据权利要求2所述的帧内预测方法，其特征在于，当前8x8子块在水平方向的预测相关特征RLVC_X8x8计算公式为：RLVC_X8x8＝SUM8x8+SUM_T8x1-8*(SUM_L1x8+P(-1,-1)_8x8)；当前8x8子块在垂直方向的预测相关特征RLVC_Y8x8计算公式为：RLVC_Y8x8＝SUM8x8+SUM_L1x8-8*(SUM_T8x1+P(-1,-1)_8x8)；当前8x8子块的预测方向相关特征TANG_DIR8x8计算公式为：
Figure FDA0002321204980000032
Figure FDA0002321204980000033
其中，SUM8x8为基于4个4x4子块原始像素灰度值的和计算8x8子块原始像素灰度值的和；SUM_L1x8为基于左边2个4x4子块左侧相邻像素值的和计算8x8子块左侧相邻像素值的和；SUM_T8x1为基于上边2个4x4子块上方相邻像素值的和计算8x8子块上方相邻像素值的和；P(-1,-1)_8x8为当前8x8子块左上方相邻像素值。
7.根据权利要求2所述的帧内预测方法，其特征在于，当前16x16子块在水平方向的预测相关特征RLVC_X16x16计算公式为：RLVC_X16x16＝SUM16x16+SUM_T16x1-16*(SUM_L1x16+P(-1,-1)_16x16)；当前16x16子块在垂直方向的预测相关特征RLVC_Y16x16计算公式为：RLVC_Y16x16＝SUM16x16+SUM_L1x16-16*(SUM_T16x1+P(-1,-1)_16x16)；
当前16x16子块的预测方向相关特征TANG_DIR16x16计算公式为：
Figure FDA0002321204980000041
Figure FDA0002321204980000042
其中，SUM16x16为基于4个8x8子块原始像素灰度值的和计算16x16子块原始像素灰度值的和；SUM_L1x16为基于左边2个8x8子块左侧相邻像素值的和计算16x16子块左侧相邻像素值的和；
SUM_T16x1为基于上边2个8x8子块上方相邻像素值的和计算16x16子块上方相邻像素值的和；P(-1,-1)_16x16为当前16x16子块左上方相邻像素值。
8.根据权利要求2所述的帧内预测方法，其特征在于，当前32x32子块在水平方向的预测相关特征RLVC_X32x32计算公式为：
RLVC_X32x32＝SUM32x32+SUM_T32x1-32*(SUM_L1x32+P(-1,-1)_32x32)；
当前32x32子块在垂直方向的预测相关特征RLVC_Y16x16计算公式为：RLVC_Y32x32＝SUM32x32+SUM_L1x32-32*(SUM_T32x1+P(-1,-1)_32x32)；当前16x16子块的预测方向相关特征TANG_DIR32x32计算公式为：
Figure FDA0002321204980000043
Figure FDA0002321204980000044
其中，SUM32x32为基于4个16x16子块原始像素灰度值的和计算32x32子块原始像素灰度值的和；SUM_L1x32为基于左边2个16x16子块左侧相邻像素值的和计算32x32子块左侧相邻像素值的和；SUM_T32x1为基于上边2个16x16子块上方相邻像素值的和计算32x32子块上方相邻像素值的和；P(-1,-1)_32x32为当前32x32子块左上方相邻像素值。
9.根据权利要求2所述的帧内预测方法，其特征在于，当前64x64子块在水平方向的预测相关特征RLVC_X64x64计算公式为：
RLVC_X64x64＝SUM64x64+SUM_T64x1-64*(SUM_L1x64+P(-1,-1)_64x64)；
当前64x64子块在垂直方向的预测相关特征RLVC_Y64x64计算公式为：RLVC_Y64x64＝SUM64x64+SUM_L1x64-64*(SUM_T64x1+P(-1,-1)_64x64)；当前64x64子块的预测方向相关特征TANG_DIR64x64计算公式为：
Figure FDA0002321204980000051
Figure FDA0002321204980000052
其中，SUM64x64为基于4个32x32子块原始像素灰度值的和计算64x64子块原始像素灰度值的和；SUM_L1x64为基于左边2个32x32子块左侧相邻像素值的和计算64x64子块左侧相邻像素值的和；
SUM_T64x1为基于上边2个32x32子块上方相邻像素值的和计算64x64子块上方相邻像素值的和；P(-1,-1)_64x64为当前64x64子块左上方相邻像素值。
10.根据权利要求2所述的帧内预测方法，其特征在于，根据子块的预测方向相关特征TANG_DIRixi，确定N个可能与TANG_DIRixi匹配的预测方向，将N个方向预测模式放入最小候选模式集的具体实现过程包括：
1)以子块的预测方向相关特征TANG_DIRixi为正切值获取的角度方向，该角度方向为当前子块像素和相邻左侧像素及上方像素的预测相关方向；
2)将与预测相关方向垂直的方向作为最佳候选预测方向；
3)将最佳候选预测方向相近的几个方向预测模式加入最小候选子集。
11.根据权利要求2所述的帧内预测方法，其特征在于，根据子块的水平方向的预测相关特征值RLVC_Xixi和垂直方向的预测相关特征值RLVC_Yixi，按下述步骤确定是否将DC预测模式或者平面预测模式进入最小候选模式集：
1)针对每一种尺寸的子块，确定两个阈值Th_DCixi和Th_Planeixi；
2)计算子块的预测相关特征值RLVC_Xixi和RLVC_Yixi的绝对值，并将其分别和阈值Th_DCixi进行比较，如果两个特征值的绝对值均大于阈值Th_DCixi，则将预测相关特征值RLVC_Xixi和RLVC_Yixi相加并取绝对值，将该绝对值和阈值Th_Planeixi进行比较，如果比阈值Th_Planeixi小则将DC预测加入最小候选模式集，否则将平面预测模式加入最小候选模式集。
12.一种帧内预测系统，其特征在于，包括：
计算模块，用于利用原始图像像素值计算图像中每个子块的预测相关特征值；
选择模块，基于所述预测相关特征值确定每个子块的候选预测模式子集，从所述候选预测子集中选择最佳预测模式。
13.一种计算机可读存储介质，其特征在于，该存储介质中存储有执行以下方法的程序：利用原始图像像素值计算图像中每个子块的预测相关特征值；基于所述预测相关特征值确定每个子块的候选预测模式子集，从所述候选预测子集中选择最佳预测模式。
CN201911298371.1A 2019-12-17 2019-12-17 帧内预测方法、系统及计算机可读存储介质 Active CN110958454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911298371.1A CN110958454B (zh) 2019-12-17 2019-12-17 帧内预测方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911298371.1A CN110958454B (zh) 2019-12-17 2019-12-17 帧内预测方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110958454A true CN110958454A (zh) 2020-04-03
CN110958454B CN110958454B (zh) 2020-12-01

Family

ID=69982353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911298371.1A Active CN110958454B (zh) 2019-12-17 2019-12-17 帧内预测方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110958454B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756364A (zh) * 2004-09-30 2006-04-05 华为技术有限公司 帧内预测模式的选择方法
US20080310506A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Joint Spatio-Temporal Prediction for Video Coding
CN102035997A (zh) * 2010-12-14 2011-04-27 杭州爱威芯科技有限公司 一种基于模式预测和方向排序的图像锐化方法
US8780983B2 (en) * 2010-10-01 2014-07-15 Lsi Corporation Intra-mode prediction for a video transcoder
CN109068142A (zh) * 2018-09-06 2018-12-21 北方工业大学 基于纹理特征的360度视频帧内预测快速决策
CN110519600A (zh) * 2019-08-21 2019-11-29 浙江大华技术股份有限公司 帧内帧间联合预测方法、装置、编解码器及存储装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756364A (zh) * 2004-09-30 2006-04-05 华为技术有限公司 帧内预测模式的选择方法
US20080310506A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Joint Spatio-Temporal Prediction for Video Coding
US8780983B2 (en) * 2010-10-01 2014-07-15 Lsi Corporation Intra-mode prediction for a video transcoder
CN102035997A (zh) * 2010-12-14 2011-04-27 杭州爱威芯科技有限公司 一种基于模式预测和方向排序的图像锐化方法
CN109068142A (zh) * 2018-09-06 2018-12-21 北方工业大学 基于纹理特征的360度视频帧内预测快速决策
CN110519600A (zh) * 2019-08-21 2019-11-29 浙江大华技术股份有限公司 帧内帧间联合预测方法、装置、编解码器及存储装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董朵等: "基于Hough变换的高效视频编码标准帧内预测模式选择快速算法", 《计算机应用》 *

Also Published As

Publication number Publication date
CN110958454B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
RU2684570C1 (ru) Устройство декодирования изображений, устройство кодирования изображений, способ декодирования изображений и способ кодирования изображений
CN103297781B (zh) 一种基于纹理方向的hevc帧内编码方法、装置和系统
KR101795332B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법, 및 부호화 데이터의 데이터 구조를 기록한 기록 매체
CN109068142B (zh) 360度视频帧内预测快速决策方法、装置、编解码器和介质
CN103517069A (zh) 一种基于纹理分析的hevc帧内预测快速模式选择方法
CN101494792A (zh) 一种基于边缘特征的h.264/avc帧内预测方法
CN104853192A (zh) 预测模式选择方法及装置
CN104883566B (zh) 一种适用于hevc标准的帧内预测块大小划分的快速算法
CN111492655A (zh) 用于视频压缩的基于纹理的分区决定
CN109246430B (zh) 虚拟现实360度视频快速帧内预测和cu划分提前决策
CN105704498A (zh) 逆离散余弦变换的方法及装置、视频编/解码方法及框架
KR20100121972A (ko) 영상 데이터의 인트라 예측 모드 결정 방법
Katayama et al. Low-complexity intra coding algorithm based on convolutional neural network for HEVC
JP5748225B2 (ja) 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
CN102547257A (zh) 一种获得最优预测模式的方法及装置
CN112929657B (zh) 基于梯度与方差的h.266/vvc快速cu划分决策方法
CN110958454B (zh) 帧内预测方法、系统及计算机可读存储介质
CN106878754A (zh) 一种3d视频深度图像帧内预测模式选择方法
KR20200098433A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN109889838A (zh) 一种基于roi区域的hevc快速编码方法
CN113992911A (zh) 全景视频h264编码的帧内预测模式确定方法和设备
KR20110020391A (ko) 디블록킹 필터에서의 경계면 세기 계수 판단 장치 및 방법
CN114827606A (zh) 一种编码单元划分的快速决策方法
JP2014090326A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014090327A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant