CN114007074B - 一种视频帧的帧内预测模式筛选方法及装置 - Google Patents
一种视频帧的帧内预测模式筛选方法及装置 Download PDFInfo
- Publication number
- CN114007074B CN114007074B CN202111297784.5A CN202111297784A CN114007074B CN 114007074 B CN114007074 B CN 114007074B CN 202111297784 A CN202111297784 A CN 202111297784A CN 114007074 B CN114007074 B CN 114007074B
- Authority
- CN
- China
- Prior art keywords
- degrees
- vector
- gradient vector
- pixel
- pixel points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012216 screening Methods 0.000 title claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 273
- 238000013507 mapping Methods 0.000 claims abstract description 59
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于纹理分析的视频帧的帧内预测模式筛选方法。计算视频帧的图像纹理，得到视频帧中每一个像素点的梯度向量。按方向将所有像素点的梯度向量分为两部分，分别进行不同方向的第一映射，再进行相同方向的第二映射，每一个像素点的梯度向量就转换为每一个像素点表征最佳预测方向的向量，并且所有像素点表征最佳预测方向的向量的方向分布在与H.265支持的33种帧内预测模式相同的或旋转45度后的180度角度范围内。根据视频帧中每一个像素点表征最佳预测方向的向量叠加得到每一个帧内预测块的预测向量，并通过映射得到最优的帧内预测模式。上述方法对纹理分析的结果进行了向量旋转及半平面的映射，更好地体现梯度向量与预测方向的物理关系。
Description
技术领域
本申请涉及一种数字视频或图像的压缩编码方法，特别是涉及一种视频帧的帧内预测模式的筛选方法。
背景技术
数字视频或图像的压缩编码是通过去除图像中的空间冗余、时间冗余以及统计冗余以达到节省存储空间或传输带宽的目的。
在数字图像领域，静止图像通常表示为二维点阵，每个点表示一个像素，水平方向和竖直方向上的像素点的数量表示图像的分辨率。像素值表示该像素点的明暗和颜色，通常有RGB(Red，Green，Blue；红，绿，蓝)、YCbCr(luma component，blue chroma component，red chroma component；亮度分量，蓝色色度分量，红色色度分量)、HSV(Hue，Saturation，Value；色相，饱和度，明度)等不同的颜色空间(color space，也称色彩空间)表达技术。
视频或动态图像是由一组静止图像组成的，其中的每一幅静止图像称作一个图像帧或视频帧。目前主流的视频或动态图像压缩算法通常采用帧内预测(intra prediction)和帧间预测(inter prediction)。帧内预测利用了图像空间的连续性，由已编码像素值来预测其相邻像素值，以达到减少信息量的目的。现有的视频压缩算法中，H.264最多支持9种帧内预测模式；H.265最多支持35种帧内预测模式；正在制定中的H.266可能支持65种帧内预测模式。
请参阅图1，这是H.265支持的33种帧内预测模式对应的方向，从左下角沿顺时针方向向右上角依次是帧内预测模式2至帧内预测模式34。其中，帧内预测模式2的方向与帧内预测模式34的方向在一条直线上。H.265支持的另外2种帧内预测模式无方向，故在图1中未显示。如果采用图2所示的极坐标系，H.265支持的33种帧内预测模式对应的方向就分布在45度沿逆时针方向到225度的180度角度范围内。帧内预测模式具有首尾相接的特性，以H.265为例，可以认为帧内预测模式2(对应方向为极坐标系225度)与帧内预测模式34(对应方向为极坐标系45度)距离最近，而不是最远。
请参阅图3，这是一种现有的基于纹理分析的视频帧的帧内预测模式筛选方法，包括如下步骤。其原理是顺着图像纹理(image texture)变化的方向选择相应的帧内预测模式，以达到最佳的帧内预测效果。
步骤S11：计算视频帧的图像纹理，得到视频帧中每一个像素点的梯度向量(gradient vector)。在图像处理中，纹理可以被定义为像素的亮度强度的空间变化(spatial variation of the brightness intensity)的一种函数。图像纹理的计算方式例如采用边缘检测(edge detection)算法，常用的边缘检测算子包括梯度算子(gradientoperator)、普里威特(Prewitt)算子、索贝尔(sobel)算子等。
步骤S12：根据视频帧中每一个像素点的梯度向量叠加得到帧内预测块的梯度向量，所述帧内预测块的梯度向量所代表的方向为图像像素值变化最为剧烈的方向；通过映射得到最优的帧内预测模式。现有的映射方式包括基于统计直方图(histogram)、基于相似方向、基于角度正切值的误差、基于相关性(correlation)等。
上述方法仅从视频帧的纹理分析结果映射出最优的帧内预测模式，不够准确。例如，某两个像素点的梯度向量方向恰好相反，则将这两个像素点的梯度向量进行叠加就会相互抵消。又如，像素点的梯度向量叠加一般是采用简单求和或数学平均的方式，没有考虑到帧内预测模式首尾相接的特性。
发明内容
本申请所要解决的技术问题是提出一种基于纹理分析的视频帧的帧内预测模式筛选方法，准确率高，不会出现叠加的向量相互抵消的情况。
为解决上述技术问题，本申请提出的视频帧的帧内预测模式筛选方法包括如下步骤。步骤S21：计算视频帧的图像纹理，得到视频帧中每一个像素点的梯度向量。步骤S22：按方向将所有像素点的梯度向量分为两部分，每一部分的像素点的梯度向量方向都是在极坐标系180度角度范围内，并且两部分的180度角度范围无重叠；所述两部分分别进行不同方向的第一映射，即：将第一部分像素点的梯度向量的方向保持不变，将第二部分像素点的梯度向量的方向旋转180度；再进行相同方向的第二映射，即：将第一部分像素点的梯度向量和旋转180度后的第二部分像素点的梯度向量作为一个整体，均沿着逆时针方向或顺时针方向旋转90度；每一个像素点的梯度向量就转换为每一个像素点表征最佳预测方向的向量，并且所有像素点表征最佳预测方向的向量的方向分布在与H.265支持的33种帧内预测模式相同的或旋转90度后的180度角度范围内。步骤S23：根据视频帧中每一个像素点表征最佳预测方向的向量叠加得到每一个帧内预测块的预测向量，并通过映射得到最优的帧内预测模式。上述方法对纹理分析的结果进行了向量旋转及半平面的映射，更好地体现梯度向量与预测方向的物理关系。
进一步地，所述步骤S21中，采用边缘检测算法计算图像纹理，边缘检测算子包括梯度算子、普里威特算子、索贝尔算子中的任意一种或多种。
优选地，所述步骤S21中，计算每一个像素点的X轴方向梯度值Gx和Y轴方向梯度值Gy；然后由每一个像素点的X轴方向梯度值Gx和Y轴方向梯度值Gy构成该像素点的一个梯度向量，Gx、Gy的正负及大小就决定了对应的梯度向量的方向与大小。
进一步地，所述步骤S22中，像素点的梯度向量方向在极坐标系-45度沿逆时针方向到135度的180度角度范围内的作为第一部分像素点的梯度向量，像素点的梯度向量方向在极坐标系135度沿逆时针到315度的180度角度范围内的作为第二部分像素点的梯度向量；对这两部分像素点的梯度向量分别进行不同方向的第一映射是指：将第一部分像素点的梯度向量的方向保持不变，将第二部分像素点的梯度向量的方向旋转180度，此时旋转180度后的第二部分像素点的梯度向量的方向也落在180度角度范围内；再进行相同方向的第二映射是指：再将第一部分像素点的梯度向量和旋转180度后的第二部分像素点的梯度向量作为一个整体，均沿着逆时针方向旋转90度后就是所有像素点表征最佳预测方向的向量；视频帧中所有像素点表征最佳预测方向的向量的方向就分布在极坐标系45度沿逆时针方向到225度的180度角度范围内，这就是H.265支持的33种帧内预测模式对应的180度角度范围。这是步骤S22的第一种实现方式。
进一步地，所述步骤S22中，像素点的梯度向量方向在极坐标系-135度沿逆时针方向至45度的180度角度范围内的作为第一部分像素点的梯度向量，像素点的梯度向量方向在极坐标系45度沿逆时针方向到225度的180度角度范围内的作为第二部分像素点的梯度向量；对这两部分像素点的梯度向量分别进行不同方向的第一映射是指：将第一部分像素点的梯度向量的方向保持不变，将第二部分像素点的梯度向量的方向旋转180度，此时旋转180度后的第二部分像素点的梯度向量的方向也落在180度角度范围内；再进行相同方向的第二映射是指：再将第一部分像素点的梯度向量和旋转180度后的第二部分像素点的梯度向量作为一个整体，均沿着逆时针方向旋转90度后就是所有像素点表征最佳预测方向的向量；视频帧中所有像素点表征最佳预测方向的向量的方向就分布在极坐标系-45度沿逆时针方向到135度的180度角度范围内，这就是H.265支持的33种帧内预测模式对应的180度角度范围沿顺时针方向旋转90度。这是步骤S22的第二种实现方式。
进一步地，所述步骤S22中，像素点的梯度向量方向在极坐标系-135度沿逆时针方向至45度的180度角度范围内的作为第一部分像素点的梯度向量，像素点的梯度向量方向在极坐标系45度沿逆时针方向到225度的180度角度范围内的作为第二部分像素点的梯度向量；对这两部分像素点的梯度向量分别进行不同方向的第一映射是指：将第一部分像素点的梯度向量的方向保持不变，将第二部分像素点的梯度向量的方向旋转180度，此时旋转180度后的第二部分像素点的梯度向量的方向也落在180度角度范围内；再进行相同方向的第二映射是指：再将第一部分像素点的梯度向量和旋转180度后的第二部分像素点的梯度向量作为一个整体，均沿着顺时针方向旋转90度后就是所有像素点表征最佳预测方向的向量；视频帧中所有像素点表征最佳预测方向的向量的方向就分布在极坐标系135度沿逆时针方向到315度的180度角度范围内，这就是H.265支持的33种帧内预测模式对应的180度角度范围沿逆时针方向旋转90度。这是步骤S22的第三种实现方式。
进一步地，所述视频帧中所有像素点表征最佳预测方向的向量的方向的分布角度范围均与H.265支持的33种帧内预测模式对应的180度角度范围有一半重叠，不重叠的另一半则与H.265支持的33种帧内预测模式对应的180度角度范围的另一半互为反向量。
进一步地，所述步骤S23中，将每一个帧内预测块所包含的像素点表征最佳预测方向的向量叠加得到该帧内预测块的预测向量。
进一步地，所述步骤S23中，向量叠加采用如下的公式一进行计算。
其中，Psum表示两个向量P1和P2叠加的结果，|P|表示向量P的模。上述附加技术特征在梯度向量叠加过程中引入反向量，避免了相反方向的向量在叠加时的抵消问题。
本申请还提出了一种视频帧的帧内预测模式筛选装置，包括计算单元、转换映射单元和映射筛选单元。所述计算单元用来计算视频帧的图像纹理，得到视频帧中每一个像素点的梯度向量。所述转换映射单元用来按方向将所有像素点的梯度向量分为两部分，每一部分的像素点的梯度向量方向都是在极坐标系180度角度范围内，并且两部分的180度角度范围无重叠；所述两部分分别进行不同方向的第一映射，即：将第一部分像素点的梯度向量的方向保持不变，将第二部分像素点的梯度向量的方向旋转180度；再进行相同方向的第二映射，即：将第一部分像素点的梯度向量和旋转180度后的第二部分像素点的梯度向量作为一个整体，均沿着逆时针方向或顺时针方向旋转90度；每一个像素点的梯度向量就转换为每一个像素点表征最佳预测方向的向量，并且所有像素点表征最佳预测方向的向量的方向分布在与H.265支持的33种帧内预测模式相同的或旋转90度后的180度角度范围内。所述映射筛选单元用来根据视频帧中每一个像素点表征最佳预测方向的向量叠加得到每一个帧内预测块的预测向量，并通过映射得到最优的帧内预测模式。
本申请取得的技术效果是：(1)对纹理分析的结果进行了向量旋转及半平面的映射，并在梯度向量叠加过程中引入反向量，更好地体现梯度向量与预测方向的物理关系，并避免了相反方向的梯度向量在叠加时的抵消问题。(2)与现有的基于纹理分析的帧内预测模式的筛选方式相比，本申请提升了最优的帧内预测模式筛选的准确度，进而提升最终的编码效率。
附图说明
图1是H.265支持的33种帧内预测模式对应的角度示意图。
图2是每隔45度标记一次标度的极坐标网络示意图。
图3是现有的基于纹理分析的视频帧的帧内预测模式筛选方法的流程示意图。
图4是本申请提出的基于纹理分析的视频帧的帧内预测模式筛选方法的流程示意图。
图5是所述步骤S22的第一种实现方式的示意图一。
图6是所述步骤S22的第一种实现方式的示意图二。
图7是所述步骤S22的第二种和第三种实现方式的示意图一。
图8是所述步骤S22的第二种实现方式的示意图二。
图9是所述步骤S22的第三种实现方式的示意图二。
图10所述步骤S23中的向量叠加方式与传统的向量叠加方式的比较示意图。
图11是本申请提出的基于纹理分析的视频帧的帧内预测模式筛选装置的结构示意图。
图中附图标记说明：21为计算单元、22为转换映射单元、23为映射筛选单元。
具体实施方式
请参阅图4，本申请提出的基于纹理分析的视频帧的帧内预测模式筛选方法包括如下步骤。
步骤S21：计算视频帧的图像纹理，得到视频帧中每一个像素点的梯度向量。这一步与步骤S11相同。图像纹理的计算方式例如采用边缘检测算法，常用的边缘检测算子包括梯度算子、普里威特算子、索贝尔算子等。将每一个像素点的梯度向量用一个有向线段来表示，有向线段的起点作为极坐标系的极点。这一步得到的视频帧中所有像素点的梯度向量的方向分布在图2所示的极坐标系的360度角度范围内，也就是像素点的梯度向量的方向可能是任意一个方向。
作为一个示例，所述步骤S21对视频帧中的每一个像素点采用索贝尔算子的边缘检测算法进行纹理分析(texture analysis)，计算每一个像素点的X轴方向梯度值Gx和Y轴方向梯度值Gy。每一个像素点的像素值表征一种物理量，例如表征亮度。每一个像素点的某个方向梯度值表征该像素点所表征物理量在该方向上的变化趋势。然后由每一个像素点的X轴方向梯度值Gx和Y轴方向梯度值Gy构成该像素点的一个梯度向量，Gx、Gy的正负及大小就决定了对应的梯度向量的方向与大小。
步骤S22：按方向将所有像素点的梯度向量分为两部分，分别进行不同方向的第一映射，再进行相同方向的第二映射，每一个像素点的梯度向量就转换为每一个像素点表征最佳预测方向的向量，并且所有像素点表征最佳预测方向的向量的方向分布在与H.265支持的33种帧内预测模式相同的或旋转45度后的180度角度范围内。
所述步骤S22的第一种实现方式如下。请参阅图5，根据视频帧中每一个像素点的梯度向量的方向将这些像素点的梯度向量分为两部分。像素点的梯度向量方向在极坐标系-45度(即315度)沿逆时针方向到135度的180度角度范围A1内的作为第一部分像素点的梯度向量。像素点的梯度向量方向在极坐标系135度沿逆时针到315度的180度角度范围A2内的作为第二部分像素点的梯度向量。对这两部分像素点的梯度向量分别进行不同方向的第一映射是指：将第一部分像素点的梯度向量的方向保持不变，将第二部分像素点的梯度向量的方向旋转180度，此时旋转180度后的第二部分像素点的梯度向量的方向也落在180度角度范围A1内。再进行相同方向的第二映射是指：再将第一部分像素点的梯度向量和旋转180度后的第二部分像素点的梯度向量作为一个整体，均沿着逆时针方向旋转90度后就是所有像素点表征最佳预测方向的向量。请参阅图6，视频帧中所有像素点表征最佳预测方向的向量的方向就分布在极坐标系45度沿逆时针方向到225度的180度角度范围A3内，180度角度范围A3就是H.265支持的33种帧内预测模式对应的180度角度范围。
所述步骤S22的第二种实现方式如下。请参阅图7，根据视频帧中每一个像素点的梯度向量的方向将这些像素点的梯度向量分为两部分。像素点的梯度向量方向在极坐标系-135度(即225度)沿逆时针方向至45度的180度角度范围B1内的作为第三部分像素点的梯度向量。像素点的梯度向量方向在极坐标系45度沿逆时针方向到225度的180度角度范围B2内的作为第四部分像素点的梯度向量。对这两部分像素点的梯度向量分别进行不同方向的第一映射是指：将第三部分像素点的梯度向量的方向保持不变，将第四部分像素点的梯度向量的方向旋转180度，此时旋转180度后的第四部分像素点的梯度向量的方向也落在180度角度范围B1内。再进行相同方向的第二映射是指：再将第三部分像素点的梯度向量和旋转180度后的第四部分像素点的梯度向量作为一个整体，均沿着逆时针方向旋转90度后就是所有像素点表征最佳预测方向的向量。请参阅图8，视频帧中所有像素点表征最佳预测方向的向量的方向就分布在极坐标系-45度(即315度)沿逆时针方向到135度的180度角度范围B3内，180度角度范围B3就是H.265支持的33种帧内预测模式对应的180度角度范围沿顺时针方向旋转90度。由于本申请最终关注的是像素点的梯度向量的方向角度，所以图8的意义与图6相同。
所述步骤S22的第三种实现方式如下。请参阅图7，根据视频帧中每一个像素点的梯度向量的方向将这些像素点的梯度向量分为两部分。像素点的梯度向量方向在极坐标系-135度(即225度)沿逆时针方向至45度的180度角度范围B1内的作为第三部分像素点的梯度向量。像素点的梯度向量方向在极坐标系45度沿逆时针方向到225度的180度角度范围B2内的作为第四部分像素点的梯度向量。对这两部分像素点的梯度向量分别进行不同方向的第一映射是指：将第三部分像素点的梯度向量的方向保持不变，将第四部分像素点的梯度向量的方向旋转180度，此时旋转180度后的第四部分像素点的梯度向量的方向也落在180度角度范围B1内。再进行相同方向的第二映射是指：再将第三部分像素点的梯度向量和旋转180度后的第四部分像素点的梯度向量作为一个整体，均沿着顺时针方向旋转90度后就是所有像素点表征最佳预测方向的向量。请参阅图9，视频帧中所有像素点表征最佳预测方向的向量的方向就分布在极坐标系135度沿逆时针方向到315度的180度角度范围B4内，180度角度范围B4就是H.265支持的33种帧内预测模式对应的180度角度范围沿逆时针方向旋转90度。由于本申请最终关注的是像素点的梯度向量的方向角度，所以图9的意义与图6相同。
在图8和图9所示的步骤S22的第二种和第三种实现方式中，视频帧中所有像素点表征最佳预测方向的向量的方向的分布角度范围中，均与H.265支持的33种帧内预测模式对应的180度角度范围A3有一半重叠，不重叠的另一半则与H.265支持的33种帧内预测模式对应的180度角度范围的另一半互为反向量。由于在预测方向向模式映射过程中，不论是基于统计直方图、基于相似方向、基于角度正切值的误差或者基于相关性的方式，正反向量会得到相同结果，所以它们的意义相同。
步骤S23：根据视频帧中每一个像素点表征最佳预测方向的向量叠加得到每一个帧内预测块的预测向量，并通过映射得到最优的帧内预测模式。
根据视频帧中每一个像素点表征最佳预测方向的向量叠加得到每一个帧内预测块的预测向量，与现有的根据视频帧中每一个像素点的梯度向量叠加得到每一个帧内预测块的梯度向量的计算方式相同。具体来说，是将每一个帧内预测块所包含的像素点表征最佳预测方向的向量叠加得到该帧内预测块的预测向量。每一个帧内预测块的预测向量的方向与该帧内预测块的梯度向量的方向是正交的。
根据每一个帧内预测块的预测向量通过映射得到最优的帧内预测模式，与现有的根据每一个帧内预测块的梯度向量通过映射得到最优的帧内预测模式的计算方式相同。映射方式包括基于统计直方图、基于相似方向、基于角度正切值的误差、基于相关性等。这些均为现有技术，在此不做赘述。
所述步骤S23中，向量叠加采用如下的公式一进行计算。
其中，Psum表示两个向量P1和P2叠加的结果，|P|表示向量P的模。
请参阅图10，传统的向量叠加方式就是简单求和，例如向量P1和向量P2叠加后得到向量P3。在上述公式第1行的条件下向量P1和向量P2叠加得到向量P3。本申请的向量叠加方式引入了向量P2的反向量P2a(虚线表示)，在上述公式第2行的条件下向量P1和向量P2叠加转换为向量P1和向量P2的反向量P2a叠加(即上述公式第2行的P1－P2)得到向量P4。这种向量叠加方式充分考虑到帧内预测模式具有首尾相接的特性，预测效果更好。
请参阅图11，本申请提出的基于纹理分析的视频帧的帧内预测模式筛选装置包括计算单元21、转换映射单元22和映射筛选单元23。
所述计算单元21用来计算视频帧的图像纹理，得到视频帧中每一个像素点的梯度向量。
所述转换映射单元22用来按方向将所有像素点的梯度向量分为两部分，分别进行不同方向的第一映射，再进行相同方向的第二映射，每一个像素点的梯度向量就转换为每一个像素点表征最佳预测方向的向量，并且所有像素点表征最佳预测方向的向量的方向分布在与H.265支持的33种帧内预测模式相同的或旋转45度后的180度角度范围内。
所述映射筛选单元23用来根据视频帧中每一个像素点表征最佳预测方向的向量叠加得到每一个帧内预测块的预测向量，并通过映射得到最优的帧内预测模式。优选地，向量叠加采用公式一进行计算。
本申请的有益效果说明如下。步骤S21完成图像纹理分析后，求出的所有像素点的梯度向量的方向是360度平面分布的，对应的帧内预测模式的方向也是360度平面分布的。但实际上视频标准所规定的帧内预测方向是180度范围内的，如图1所示。因为编码顺序是从左上像素到右下像素进行编码，所以不可能存在由右下像素预测左上像素的方向。如果简单地将各像素的梯度向量进行累加，会存在相反方向的梯度向量相互抵消的情况，如此得出的帧内预测模式的筛选结果会失真。而且视频帧内预测的模式是首尾相接的，简单累加的方式没有考虑到这种特性。为了得到准确的结果，本申请对原始的像素点的梯度向量方向进行处理，即将一个平面分为两个180度的半平面，对其中一个半平面的梯度向量方向全部求反以折射到另一个半平面，然后再将梯度向量的方向旋转90度得到所有像素点表征最佳预测方向的向量的方向。映射后每个表征最佳预测方向的向量的方向符合视频标准中规定的帧内预测模式的分布角度范围，并避免了在相加过程中相反方向的向量相互抵消的问题，并在向量叠加过程中引入了反向量，从而使得帧内预测模式的筛选更为准确。
以上仅为本申请的优选实施例，并不用于限定本申请。对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种视频帧的帧内预测模式筛选方法，其特征是，包括如下步骤；
步骤S21：计算视频帧的图像纹理，得到视频帧中每一个像素点的梯度向量；
步骤S22：按方向将所有像素点的梯度向量分为两部分，每一部分的像素点的梯度向量方向都是在极坐标系180度角度范围内，并且两部分的180度角度范围无重叠；所述两部分分别进行不同方向的第一映射，即：将第一部分像素点的梯度向量的方向保持不变，将第二部分像素点的梯度向量的方向旋转180度；再进行相同方向的第二映射，即：将第一部分像素点的梯度向量和旋转180度后的第二部分像素点的梯度向量作为一个整体，均沿着逆时针方向或顺时针方向旋转90度；每一个像素点的梯度向量就转换为每一个像素点表征最佳预测方向的向量，并且所有像素点表征最佳预测方向的向量的方向分布在与H.265支持的33种帧内预测模式相同的或旋转90度后的180度角度范围内；
步骤S23：根据视频帧中每一个像素点表征最佳预测方向的向量叠加得到每一个帧内预测块的预测向量，并通过映射得到最优的帧内预测模式。
2.根据权利要求1所述的视频帧的帧内预测模式筛选方法，其特征是，所述步骤S21中，采用边缘检测算法计算图像纹理，边缘检测算子包括梯度算子、普里威特算子、索贝尔算子中的任意一种或多种。
3.根据权利要求2所述的视频帧的帧内预测模式筛选方法，其特征是，所述步骤S21中，计算每一个像素点的X轴方向梯度值Gx和Y轴方向梯度值Gy；然后由每一个像素点的X轴方向梯度值Gx和Y轴方向梯度值Gy构成该像素点的一个梯度向量，Gx、Gy的正负及大小就决定了对应的梯度向量的方向与大小。
4.根据权利要求1所述的视频帧的帧内预测模式筛选方法，其特征是，所述步骤S22中，像素点的梯度向量方向在极坐标系-45度沿逆时针方向到135度的180度角度范围内的作为第一部分像素点的梯度向量，像素点的梯度向量方向在极坐标系135度沿逆时针到315度的180度角度范围内的作为第二部分像素点的梯度向量；对这两部分像素点的梯度向量分别进行不同方向的第一映射是指：将第一部分像素点的梯度向量的方向保持不变，将第二部分像素点的梯度向量的方向旋转180度，此时旋转180度后的第二部分像素点的梯度向量的方向也落在180度角度范围内；再进行相同方向的第二映射是指：再将第一部分像素点的梯度向量和旋转180度后的第二部分像素点的梯度向量作为一个整体，均沿着逆时针方向旋转90度后就是所有像素点表征最佳预测方向的向量；视频帧中所有像素点表征最佳预测方向的向量的方向就分布在极坐标系45度沿逆时针方向到225度的180度角度范围内，这就是H.265支持的33种帧内预测模式对应的180度角度范围。
5.根据权利要求1所述的视频帧的帧内预测模式筛选方法，其特征是，所述步骤S22中，像素点的梯度向量方向在极坐标系-135度沿逆时针方向至45度的180度角度范围内的作为第一部分像素点的梯度向量，像素点的梯度向量方向在极坐标系45度沿逆时针方向到225度的180度角度范围内的作为第二部分像素点的梯度向量；对这两部分像素点的梯度向量分别进行不同方向的第一映射是指：将第一部分像素点的梯度向量的方向保持不变，将第二部分像素点的梯度向量的方向旋转180度，此时旋转180度后的第二部分像素点的梯度向量的方向也落在180度角度范围内；再进行相同方向的第二映射是指：再将第一部分像素点的梯度向量和旋转180度后的第二部分像素点的梯度向量作为一个整体，均沿着逆时针方向旋转90度后就是所有像素点表征最佳预测方向的向量；视频帧中所有像素点表征最佳预测方向的向量的方向就分布在极坐标系-45度沿逆时针方向到135度的180度角度范围内，这就是H.265支持的33种帧内预测模式对应的180度角度范围沿顺时针方向旋转90度。
6.根据权利要求1所述的视频帧的帧内预测模式筛选方法，其特征是，所述步骤S22中，像素点的梯度向量方向在极坐标系-135度沿逆时针方向至45度的180度角度范围内的作为第一部分像素点的梯度向量，像素点的梯度向量方向在极坐标系45度沿逆时针方向到225度的180度角度范围内的作为第二部分像素点的梯度向量；对这两部分像素点的梯度向量分别进行不同方向的第一映射是指：将第一部分像素点的梯度向量的方向保持不变，将第二部分像素点的梯度向量的方向旋转180度，此时旋转180度后的第二部分像素点的梯度向量的方向也落在180度角度范围内；再进行相同方向的第二映射是指：再将第一部分像素点的梯度向量和旋转180度后的第二部分像素点的梯度向量作为一个整体，均沿着顺时针方向旋转90度后就是所有像素点表征最佳预测方向的向量；视频帧中所有像素点表征最佳预测方向的向量的方向就分布在极坐标系135度沿逆时针方向到315度的180度角度范围内，这就是H.265支持的33种帧内预测模式对应的180度角度范围沿逆时针方向旋转90度。
7.根据权利要求5或6所述的视频帧的帧内预测模式筛选方法，其特征是，所述视频帧中所有像素点表征最佳预测方向的向量的方向的分布角度范围均与H.265支持的33种帧内预测模式对应的180度角度范围有一半重叠，不重叠的另一半则与H.265支持的33种帧内预测模式对应的180度角度范围的另一半互为反向量。
8.根据权利要求1所述的视频帧的帧内预测模式筛选方法，其特征是，所述步骤S23中，将每一个帧内预测块所包含的像素点表征最佳预测方向的向量叠加得到该帧内预测块的预测向量。
9.根据权利要求8所述的视频帧的帧内预测模式筛选方法，其特征是，所述步骤S23中，向量叠加采用如下的公式一进行计算；
其中，Psum表示两个向量P1和P2叠加的结果，|P|表示向量P的模。
10.一种视频帧的帧内预测模式筛选装置，其特征是，包括计算单元、转换映射单元和映射筛选单元；
所述计算单元用来计算视频帧的图像纹理，得到视频帧中每一个像素点的梯度向量；
所述转换映射单元用来按方向将所有像素点的梯度向量分为两部分，每一部分的像素点的梯度向量方向都是在极坐标系180度角度范围内，并且两部分的180度角度范围无重叠；所述两部分分别进行不同方向的第一映射，即：将第一部分像素点的梯度向量的方向保持不变，将第二部分像素点的梯度向量的方向旋转180度；再进行相同方向的第二映射，即：将第一部分像素点的梯度向量和旋转180度后的第二部分像素点的梯度向量作为一个整体，均沿着逆时针方向或顺时针方向旋转90度；每一个像素点的梯度向量就转换为每一个像素点表征最佳预测方向的向量，并且所有像素点表征最佳预测方向的向量的方向分布在与H.265支持的33种帧内预测模式相同的或旋转90度后的180度角度范围内；
所述映射筛选单元用来根据视频帧中每一个像素点表征最佳预测方向的向量叠加得到每一个帧内预测块的预测向量，并通过映射得到最优的帧内预测模式。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111297784.5A CN114007074B (zh) | 2021-11-04 | 2021-11-04 | 一种视频帧的帧内预测模式筛选方法及装置 |
| PCT/CN2022/123738 WO2023078015A1 (zh) | 2021-11-04 | 2022-10-08 | 一种视频帧的帧内预测模式筛选方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111297784.5A CN114007074B (zh) | 2021-11-04 | 2021-11-04 | 一种视频帧的帧内预测模式筛选方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114007074A CN114007074A (zh) | 2022-02-01 |
| CN114007074B true CN114007074B (zh) | 2023-09-15 |
Family
ID=79927047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111297784.5A Active CN114007074B (zh) | 2021-11-04 | 2021-11-04 | 一种视频帧的帧内预测模式筛选方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114007074B (zh) |
| WO (1) | WO2023078015A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114007074B (zh) * | 2021-11-04 | 2023-09-15 | 翱捷科技股份有限公司 | 一种视频帧的帧内预测模式筛选方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104284186A (zh) * | 2014-09-24 | 2015-01-14 | 复旦大学 | 一种适用于hevc标准帧内预测模式判决过程的快速算法 |
| CN109040754A (zh) * | 2018-11-06 | 2018-12-18 | 深圳市网心科技有限公司 | 一种hevc的帧内预测模式确定方法、设备、系统及介质 |
| EP3629580A1 (en) * | 2018-09-27 | 2020-04-01 | Ateme | Method for image processing and apparatus for implementing the same |
| CN113365059A (zh) * | 2021-08-09 | 2021-09-07 | 江苏势通生物科技有限公司 | 图像冗余去除方法、图像冗余去除装置、存储介质和设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3629579A1 (en) * | 2018-09-27 | 2020-04-01 | Ateme | Method for image processing and apparatus for implementing the same |
| CN114007074B (zh) * | 2021-11-04 | 2023-09-15 | 翱捷科技股份有限公司 | 一种视频帧的帧内预测模式筛选方法及装置 |
-
2021
- 2021-11-04 CN CN202111297784.5A patent/CN114007074B/zh active Active
-
2022
- 2022-10-08 WO PCT/CN2022/123738 patent/WO2023078015A1/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104284186A (zh) * | 2014-09-24 | 2015-01-14 | 复旦大学 | 一种适用于hevc标准帧内预测模式判决过程的快速算法 |
| EP3629580A1 (en) * | 2018-09-27 | 2020-04-01 | Ateme | Method for image processing and apparatus for implementing the same |
| CN109040754A (zh) * | 2018-11-06 | 2018-12-18 | 深圳市网心科技有限公司 | 一种hevc的帧内预测模式确定方法、设备、系统及介质 |
| CN113365059A (zh) * | 2021-08-09 | 2021-09-07 | 江苏势通生物科技有限公司 | 图像冗余去除方法、图像冗余去除装置、存储介质和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114007074A (zh) | 2022-02-01 |
| WO2023078015A1 (zh) | 2023-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100420438B1 (ko) | 비디오신호처리기들을위한시간적-공간적오류제거장치및방법 | |
| US9767544B2 (en) | Scene adaptive brightness/contrast enhancement | |
| US8457433B2 (en) | Methods and systems for image noise filtering | |
| US8797414B2 (en) | Digital image stabilization device | |
| US9111365B2 (en) | Edge-adaptive interpolation and noise filtering method, computer-readable recording medium, and portable terminal | |
| US20080253652A1 (en) | Method of demosaicing a digital mosaiced image | |
| CN111510691B (zh) | 颜色插值方法及装置、设备、存储介质 | |
| US7653240B1 (en) | Color filter array and method | |
| CN108282647B (zh) | 色彩校正方法及装置、计算机可读存储介质、终端 | |
| US20180077354A1 (en) | Image processing device, image processing method, and computer program product | |
| US20210042881A1 (en) | Method and apparatus for image processing | |
| JP3862374B2 (ja) | 画像処理装置及び方法 | |
| CN110852953B (zh) | 图像插值方法及装置、存储介质、图像信号处理器、终端 | |
| CN106815827A (zh) | 基于Bayer格式的图像融合方法及图像融合装置 | |
| US10863148B2 (en) | Tile-selection based deep demosaicing acceleration | |
| CN114007074B (zh) | 一种视频帧的帧内预测模式筛选方法及装置 | |
| CN113454687A (zh) | 图像处理方法、装置和系统，计算机可读存储介质 | |
| CN108702494B (zh) | 图像处理装置、成像装置、图像处理方法和存储介质 | |
| US6967748B1 (en) | Color image pickup device | |
| JP2003123063A (ja) | 画像処理装置 | |
| JP3959547B2 (ja) | 画像処理装置、画像処理方法、及び情報端末装置 | |
| CN101778297A (zh) | 影像序列的干扰消除方法 | |
| KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
| KR100882085B1 (ko) | 영상의 컨트라스트 향상 방법 | |
| CN102760288B (zh) | 一种色彩匹配方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |