CN113079376A - 对静止区域的视频编码方法和装置 - Google Patents

对静止区域的视频编码方法和装置 Download PDF

Info

Publication number
CN113079376A
CN113079376A CN202110364940.9A CN202110364940A CN113079376A CN 113079376 A CN113079376 A CN 113079376A CN 202110364940 A CN202110364940 A CN 202110364940A CN 113079376 A CN113079376 A CN 113079376A
Authority
CN
China
Prior art keywords
prediction
frame
mode
lcu
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110364940.9A
Other languages
English (en)
Other versions
CN113079376B (zh
Inventor
张文东
周骋
周昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumavision Technologies Co Ltd
Original Assignee
Sumavision Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumavision Technologies Co Ltd filed Critical Sumavision Technologies Co Ltd
Priority to CN202110364940.9A priority Critical patent/CN113079376B/zh
Publication of CN113079376A publication Critical patent/CN113079376A/zh
Application granted granted Critical
Publication of CN113079376B publication Critical patent/CN113079376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了对静止区域的视频编码方法和装置，包括将当前编码帧进行下采样得到下采样图像；对下采样图像进行预测得到预测模式；判断预测模式是否为帧内预测；如果不是，则根据当前编码帧的LCU和待参考编码帧的LCU得到差值平方和；如果差值平方和小于预设阈值，则将当前编码帧的LCU根据skip模式或direct模式的标准规则得到预测向量；根据预测向量确定当前需求帧间模式；如果是帧内预测或差值平方和大于或等于预设阈值，则按照预设规则对当前编码帧的LCU进行模式选择，利用下采样图像进行预测，以及进行当前需求帧间模式的选择，减少不必要的划分方式决策与运动估计过程，提高编码器的实时性。

Description

对静止区域的视频编码方法和装置
技术领域
本发明涉及视频处理领域，尤其是涉及对静止区域的视频编码方法和装置。
背景技术
目前，关于视频类别中的静态场景的识别与处理，主要将初始搜索点的绝对差值与预定阈值进行比较，根据比较结果判断是否为静止区域。对于静止区域的编码过程，人眼对静止物体更加敏感，需要有针对性地提高这些位置的主观质量。
但是，上述方法并没有进行预测模式筛选和LCU划分，从而无法考虑时域图像间的参考关系与运动估计过程，无法满足超高清视频的实时性要求，用户体验差。
发明内容
有鉴于此，本发明的目的在于提供对静止区域的视频编码方法和装置，利用下采样图像进行预测模式筛选，根据当前编码帧的LCU和待参考编码帧的LCU得到差值平方和，以及进行当前需求帧间模式的选择，从而减少不必要的划分方式决策与运动估计过程，在保护编码质量的情况下，提高编码器的实时性。
第一方面，本发明实施例提供了对静止区域的视频编码方法，所述方法包括：
获取当前编码帧；
将所述当前编码帧进行下采样，得到下采样图像；
对所述下采样图像进行预测，得到预测模式；
判断所述预测模式是否为帧内预测；
如果所述预测模式不是所述帧内预测，则根据所述当前编码帧的LCU和待参考编码帧的LCU，得到差值平方和；
如果所述差值平方和小于预设阈值，则将所述当前编码帧的LCU根据skip模式或direct模式的标准规则得到预测向量；
根据所述预测向量确定当前需求帧间模式；
如果所述预测模式是所述帧内预测或所述差值平方和大于或等于预设阈值，则按照预设规则对所述当前编码帧的LCU进行模式选择。
进一步的，所述对所述下采样图像进行预测，得到预测模式，包括：
根据所述下采样图像确定帧内预测失真度最小值；
判断所述当前编码帧是否为P/B帧；
如果为所述P/B帧，则根据所述下采样图像确定第一需求运动矢量和帧间预测失真度最小值；
将所述帧间预测失真度最小值和所述帧内预测失真度最小值进行比较；
如果所述帧间预测失真度最小值小于所述帧内预测失真度最小值，则将所述帧间预测失真度最小值作为需求值，并将所述帧间预测失真度最小值对应的帧间预测作为所述预测模式；
如果为I帧，则将所述帧内预测失真度最小值作为所述需求值，并对所述帧内预测失真度最小值对应的所述帧内预测作为所述预测模式。
进一步的，所述根据所述下采样图像确定第一需求运动矢量和帧间预测失真度最小值，包括：
根据所述下采样图像构建候选运动矢量集合；
遍历所述候选运动矢量集合中的每个运动矢量，并进行运动估计，得到第一预测图像；
对所述第一预测图像和所述下采样图像进行计算，得到多个第一SATD值；
根据所述多个第一SATD值确定所述第一需求运动矢量和所述帧间预测失真度最小值。
进一步的，所述根据所述下采样图像确定帧内预测失真度最小值，包括：
根据所述下采样图像构建邻域参数像素集；
遍历所述邻域参数像素集的多个预测角度，并进行预测，得到第二预测图像；
对所述第二预测图像和所述下采样图像进行计算，得到多个第二SATD值；
根据所述多个第二SATD值，得到需求预测角度；
根据所述需求预测角度，得到所述帧内预测失真度最小值。
进一步的，所述根据所述当前编码帧的LCU和待参考编码帧的LCU，得到差值平方和，包括：
根据所述当前编码帧的LCU的位置得到所述待参考编码帧对应位置的LCU；
计算所述当前编码帧的LCU和所述待参考编码帧的LCU的所述差值平方和。
进一步的，所述根据所述预测向量确定当前需求帧间模式，包括：
将所述当前编码帧的LCU进行运动补偿，得到运动补偿后的LCU；
判断所述预测向量是否为预设向量；
如果是，则将所述运动补偿后的LCU和所述当前编码帧的LCU通过率失真优化准则确定所述当前需求帧间模式；
如果不是，则将inter 2N×2N的模式作为所述当前需求帧间模式，将通过所述inter 2N×2N的模式进行编码。
进一步的，所述将所述运动补偿后的LCU和所述当前编码帧的LCU通过率失真优化准则确定所述当前需求帧间模式，包括：
将所述运动补偿后的LCU进行量化、反量化和反变换处理，得到编码单元的重建值；
当率失真值为第一数值时，为所述skip模式；
当所述率失真值为第二数值时，为所述direct模式；
将所述第一数值与所述第二数值进行比较；
如果所述第一数值小于所述第二数值，则将所述第一数值对应的所述skip模式作为所述当前需求帧间模式；
如果所述第二数值小于所述第一数值，则将所述第二数值对应的所述direct模式作为所述当前需求帧间模式；
其中，所述失真值为所述当前编码帧的LCU中原始像素与所述编码单元的重建值之间的差值平方和，所述第一数值为失真值，所述第二数值为所述失真值与比特值的和。
进一步的，所述方法还包括：
累加每个8×8下采样图像块对应的所述需求值，得到失真度和；
如果所述失真度和与整个GOP的SATD值总和的比值大于或等于1/2，则按照所述比值分配可编码比特数；
根据所述可编码比特数计算量化参数值。
第二方面，本发明实施例提供了对静止区域的视频编码装置，所述装置包括：
当前编码帧获取单元，用于获取当前编码帧；
下采样单元，用于将所述当前编码帧进行下采样，得到下采样图像；
预测单元，用于对所述下采样图像进行预测，得到预测模式；
判断单元，用于判断所述预测模式是否为帧内预测；
差值平方和获取单元，用于在所述预测模式不是所述帧内预测的情况下，根据所述当前编码帧的LCU和待参考编码帧的LCU，得到差值平方和；
预测向量获取单元，用于在所述差值平方和小于预设阈值的情况下，将所述当前编码帧的LCU根据skip模式或direct模式的标准规则得到预测向量；
确定单元，用于根据所述预测向量确定当前需求帧间模式；
选择单元，用于在所述预测模式是所述帧内预测或所述差值平方和大于或等于预设阈值的情况下，按照预设规则对所述当前编码帧的LCU进行模式选择。
第三方面，本发明实施例提供了电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
本发明实施例提供了对静止区域的视频编码方法和装置，包括：获取当前编码帧；将当前编码帧进行下采样，得到下采样图像；对下采样图像进行预测，得到预测模式；判断预测模式是否为帧内预测；如果预测模式不是帧内预测，则根据当前编码帧的LCU和待参考编码帧的LCU，得到差值平方和；如果差值平方和小于预设阈值，则将当前编码帧的LCU根据skip模式或direct模式的标准规则得到预测向量；根据预测向量确定当前需求帧间模式；如果预测模式是帧内预测或差值平方和大于或等于预设阈值，则按照预设规则对当前编码帧的LCU进行模式选择，利用下采样图像进行预测模式筛选，根据当前编码帧的LCU和待参考编码帧的LCU得到差值平方和，以及进行当前需求帧间模式的选择，从而减少不必要的划分方式决策与运动估计过程，在保护编码质量的情况下，提高编码器的实时性。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的对静止区域的视频编码方法流程图；
图2为本发明实施例一提供的下采样过程示意图；
图3为本发明实施例一提供的对静止区域的视频编码方法中步骤S103的流程图；
图4为本发明实施例一提供的对静止区域的视频编码方法中步骤S107的流程图；
图5为本发明实施例二提供的对静止区域的视频编码装置示意图。
图标：
1-当前编码帧获取单元；2-下采样单元；3-预测单元；4-判断单元；5-差值平方和获取单元；6-预测向量获取单元；7-确定单元；8-选择单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
视频编码过程的帧间预测是必不可少的环节，帧间预测主要用于去除图像的空间相关性，将已编码图像作为参考图像，用于预测待编码区域的像素值，再将预测像素与原始像素值作差后的系数进行有损压缩后进行传输。帧间预测准确性越高，意味着预测后残差值越小，这对于提高视频质量非常关键；为了提高运动估计的精度，算法决策过程可以增大搜索面积，从而确定最佳预测mv(motion vector，运动矢量)，帧间预测是整个编码环节耗时最大的一个模块。在视频标准发展史上，帧间预测可采用许多编码技术，例如半像素甚至1/4、1/8插值估计、TZSearch算法和UMHexagonS算法等，采用这些算法可以提高运动估计精度和降低运算的复杂度。
在帧间预测处改进编码技术，是为了更符合图像纹理的特点，使编码宏块的划分方式与尺寸也变得更加灵活，由H264A/AVC时代的宏块，再到HEVC的四叉树划分，再发展至下一代视频编码技术VVC以及AVS3编码标准，还出现了二叉树、三叉树或者扩展四叉树划分方式，编码工具集的丰富可以带来编码性能的提升。但为了找到合适的划分方式，需要递归式地遍历不同的CU(Coding Unit，编码单元)组合方式，在若干种划分方式中找到某个LCU(Large Coding Unit，编码单元)的最佳划分策略，同样这些新编码技术的决策过程会增加计算量。
随着视频分辨率的不断提升，市场用户不再满足于高清、25fps、SD(StandardDynamic range，标准动态范围)视频素材带来的感观体验，而是追求更大分辨率、卓越色彩表现力、高对比度与流畅度的画质提升，4K/8K、50fps/120fps、HDR(High Dynamic Range，高动态范围)的视频编码需求与日俱增，这对于编码性能与实时性都提出了更高要求。
在广播影视类的视频素材中，有极大一部分的运动对象在画面中占据比例较少，场景整体都偏静态，如果按照传统算法为这些区域遍历各种可能的划分方法以及搜索最佳匹配运动向量，最终结果也可能是大部分的静态局域与邻近参考帧中的对应位置像素值达到最佳预测匹配效果，如果在编码库处理这些区域时，利用先验知识及时中断冗余的计算过程，这将提高编码库的计算效率，有利于保证实时性。
此外，编码质量高低除了取决于预测重建的精度外，还与QP(QuantizationParameter，量化参数)有关。大部分视频图像的预测像素与原始值的残差经过余弦变换后会将能量集中在低频区域，此时QP越大，会损失更多的高频段的信号，解码端经过反量化反变换的重建还原，令轮廓细节区域变得模糊，不利于用户的主观体验；另一方面，如果采用的QP较小，会导致保留的残差系数过大，超过额定码率，超过信道容量，从而使数据丢失。对于静止场景的区域，在场景的一段帧序列内其像素值基本上保持不变，如果将序列中关键帧的静止区域QP调小，保留较多高频细节，后继的P/B帧中的预测过程就相当于是直接复制I帧的对应位置，得到较小的预测残差值，可以对这些区域使用较大的QP值，从而在保证整体视频质量的同时，令视频码率不会超过信道容量。
如果实现静止区域运动估计过程，此时编码质量就取决于当前编码帧的当前位置，所以在编码P/B等帧间预测图像时，应该为I帧的对应静止区域提供更小的量化参数QP，保留复杂的纹理变化，这样P/B帧可以直接复制I帧中对应位置的重建像素，此时可以少保留甚至不保留P/B帧中的残差信息，可以得到最优的码率分配方案。
为便于对本实施例进行理解，下面对本发明实施例进行详细介绍。
实施例一：
图1为本发明实施例一提供的对静止区域的视频编码方法流程图。
参照图1，该方法包括以下步骤：
步骤S101，获取当前编码帧；
步骤S102，将当前编码帧进行下采样，得到下采样图像；
具体地，将当前编码帧进行下采样，得到下采样图像，其中，下采样可以为1/4。参照图2，为了提高图像块之间并行处理能力，选择高斯滤波器的4×4模板取亮度数据的像素点均值，然后利用下采样图像进行运动估计的预测，得到预测模式。其中，pixel(0，0)、pixel(0，1)、pixel(0，2)、pixel(0，3)、pixel(1，0)、pixel(1，1)、pixel(1，2)、pixel(1，3)和pixel(2，0)等为像素点，coeff(0，0)、coeff(0，1)、coeff(0，2)、coeff(0，3)、coeff(1，0)和coeff(1，1)等为滤波系数，将每个像素点与其相同位置的滤波系数相乘，最终得到下采样图像。
步骤S103，对下采样图像进行预测，得到预测模式；
这里，将下采样图像进行预测，得到预测模式，预测模式包括帧内预测和帧间预测。通过比较帧内预测与帧间预测这两种模式的SATD(Sum of Absolute TransformedDifference，Hadamard变换后再绝对值求和)值，将每个下采样图像的8×8图像块粗分成帧内预测块与帧间预测块。
步骤S104，判断预测模式是否为帧内预测；
步骤S105，如果预测模式不是帧内预测，则根据当前编码帧的LCU和待参考编码帧的LCU，得到差值平方和；
步骤S106，如果差值平方和小于预设阈值，则将当前编码帧的LCU根据skip模式或direct模式的标准规则得到预测向量；
步骤S107，根据预测向量确定当前需求帧间模式；
步骤S108，如果预测模式是帧内预测或差值平方和大于或等于预设阈值，按照预设规则对当前编码帧的LCU进行模式选择。
具体地，在实际编码时，需要根据预测模式来判断非I帧的LCU是否为静止区域，由于B帧存在双向预测，即当前编码区域可以按照显示顺序在当前B帧之前或者之后的被参考帧进行预测，此时的编码顺序与显示顺序可能并不一致，为了更符合人的主观视觉体验，对当前非I帧的LCU进行静止区域判断。
首先确定最佳预测模式，如果当前LCU对应的8×8图像块确定的最佳预测模式为帧内预测，则按照预设规则对当前编码帧的LCU进行模式选择，预设规则包括是否划分以及每一层编码单元内不同预测模式的最优决策，即每一层的划分与不划分，通过依次比较率失真代价，决定是否划分；然后每一层在划分与不划分的各种模式之间比较率失真代价，从而决定预测模式。
如果最佳预测模式不同帧内预测，则根据当前编码帧的LCU和待参考编码帧的LCU，得到差值平方和；如果差值平方和大于或等于预设阈值，则说明此处不具备较强的静止特性，故按照预设规则对当前编码帧的LCU进行模式选择。
如果差值平方和小于预设阈值，则说明当前编码帧的LCU和待参考编码帧的LCU具有一致性，当前编码帧的LCU属于静止区域，即待参考编码帧对应位置的LCU可直接拷贝至当前编码帧的对应位置，其预测向量为(0，0)。此时不需要进行LCU划分方式的决策，判断整个LCU不划分并且进行帧间预测，下一步就是判断具体的当前需求帧间模式。
进一步的，参照图3，步骤S103包括以下步骤：
步骤S201，根据下采样图像确定帧内预测失真度最小值；
步骤S202，判断当前编码帧是否为P/B帧；
步骤S203，如果为P/B帧，根据下采样图像确定第一需求运动矢量和帧间预测失真度最小值；
步骤S204，将帧间预测失真度最小值和帧内预测失真度最小值进行比较；
步骤S205，如果帧间预测失真度最小值小于帧内预测失真度最小值，则将帧间预测失真度最小值作为需求值，并将帧间预测失真度最小值对应的帧间预测作为预测模式；
步骤S206，如果为I帧，则将帧内预测失真度最小值作为需求值，并对帧内预测失真度最小值对应的帧内预测作为预测模式。
具体地，根据下采样图像确定了帧内预测失真度最小值SATDintra和帧间预测失真度最小值SATDinter后，比较帧内预测失真度最小值SATDintra和帧间预测失真度最小值SATDinter的大小，将最小失真值记为SATDbest，从而定预测模式。如果预测模式为帧间预测，则记下对应的需求值；如果预测模式为帧内预测(当前编码帧为I帧)，则将SATDintra记为SATDbest，并将帧内预测作为预测模式。
进一步的，步骤S203包括以下步骤：
步骤S301，根据下采样图像构建候选运动矢量集合；
步骤S302，遍历候选运动矢量集合中的每个运动矢量，并进行运动估计，得到第一预测图像；
步骤S303，对第一预测图像和下采样图像进行计算，得到多个第一SATD值；
步骤S304，根据多个第一SATD值确定第一需求运动矢量和帧间预测失真度最小值。
具体地，如果当前编码帧为P/B帧，在每个下采样后图像的8x8图像块的邻域(左上、上方、右上与左侧)8×8图像块的mv(motion vector，运动矢量)作为候选运动矢量集合，如果候选运动矢量集合中不存在(0，0)向量，即指向当前编码帧对应当前8×8图像块对应位置的mv，则将(0，0)向量补充至候选运动矢量集合中；如果邻域8×8图像块存在帧内预测或者超出了图像边界，则跳过该邻域图像块，不计入候选运动矢量集。
依次遍历候选运动矢量集合，以集合中每个mv作为搜索起点并进行运动估计，得到第一预测图像；对第一预测图像和下采样图像进行计算，得到多个第一SATD值，根据多个第一SATD值确定第一需求运动矢量和帧间预测失真度最小值SATDinter。其中，第一需求运动矢量为最佳搜索mv。
进一步的，步骤S201包括以下步骤：
步骤S401，根据下采样图像构建邻域参数像素集；
步骤S402，遍历邻域参数像素集的多个预测角度，并进行预测，得到第二预测图像；
步骤S403，对第二预测图像和下采样图像进行计算，得到多个第二SATD值；
步骤S404，根据多个第二SATD值，得到需求预测角度；
步骤S405，根据需求预测角度，得到帧内预测失真度最小值。
具体地，考虑到P/B帧的LCU也可以利用帧内预测进行重建，并且编码的I帧也会全部为帧内预测，所以对每个P/B帧的8×8图像块以及帧类型为I帧的下采样图像，按照帧内预测的标准构建左侧与上方的邻域参数像素集；然后遍历邻域参数像素集的多个预测角度，并进行预测，得到第二预测图像；对第二预测图像和下采样图像进行计算，得到多个第二SATD值；然后从中比较得到需求预测角度，根据需求预测角度获得帧内预测失真度最小值SATDintra，记录预测模式为帧内预测。其中，多个预测角度的数量为33个，需求预测角度为最佳预测角度，此处的预测模式为最佳预测模式。
进一步的，步骤S105包括以下步骤：
步骤S501，根据当前编码帧的LCU的位置得到待参考编码帧对应位置的LCU；
步骤S502，计算当前编码帧的LCU和待参考编码帧的LCU的差值平方和。
进一步的，参照图4，步骤S107包括以下步骤：
步骤S601，将当前编码帧的LCU进行运动补偿，得到运动补偿后的LCU；
步骤S602，判断预测向量是否为预设向量；
步骤S603，如果是，则将运动补偿后的LCU和当前编码帧的LCU通过率失真优化准则确定当前需求帧间模式；
步骤S604，如果不是，则将inter 2N×2N的模式作为当前需求帧间模式，将通过inter 2N×2N的模式进行编码。
具体地，在AVS2标准中帧间预测还包括skip模式、direct模式和inter2N×2N模式，skip模式和direct模式属于同一类模式，它们都是按照空域或者时域特性，从邻域编码单元或者参考帧对应编码单元获得预测向量mvp，区别在于skip模式不传残差，默认重建图像即为预测图像，而direct模式需要传入预测残差，需要比skip模式耗费更多的比特；而inter 2Nx2N模式则是按照标准也是通过领域编码单元或者参考帧对应编码单元获取mvp外，还可以编码实际mv与mvp的差值mvd，此外也可以写入编码残差。
进一步的，步骤S603包括以下步骤：
步骤S701，将运动补偿后的LCU进行量化、反量化和反变换处理，得到编码单元的重建值；
步骤S702，当率失真值为第一数值时，为skip模式；
步骤S703，当率失真值为第二数值时，为direct模式；
步骤S704，将第一数值与第二数值进行比较；
步骤S705，如果第一数值小于第二数值，则将第一数值对应的skip模式作为当前需求帧间模式；
步骤S706，如果第二数值小于第一数值，则将第二数值对应的direct模式作为当前需求帧间模式；
其中，失真值为当前编码帧的LCU中原始像素与编码单元的重建值之间的差值平方和，第一数值为失真值，第二数值为失真值与比特值的和。
具体地，当前编码帧的LCU根据对应skip模式或direct模式的标准规则得到的mvp(motion vector prediction，预测向量)；如果mvp为(0，0)，则需要判断是否编码残差。将当前编码帧的LCU进行运动补偿，得到运动补偿后的LCU；将运动补偿后的LCU和当前编码帧的LCU通过率失真优化(Rate Distortion Optimization，RDO)准则确定当前需求帧间模式；其中，准则公式参照公式(1)：
Figure BDA0003006611340000141
其中，RD为率失真值，Distortion为失真值，λ*R为比特值，λ为拉格朗日因子，R为比特数，fr(x,y)为编码单元的重建值，f(x,y)为当前编码帧的LCU中原始像素，失真值为当前编码帧的LCU中原始像素与编码单元的重建值之间的差值平方和。
比特值用于衡量编码后比特数量的影响，理想的编码状态应该是失真较小，同时不耗费太多的信道带宽，比特数较低。对于skip模式，可以认为RD为帧间预测后，当前编码帧的LCU中原始像素与编码单元的重建值之间的差值平方和；对于direct模式，则是编码残差，它的Distortion部分比skip模式更低，因此需要更多的比特数来编码残差。通过比较上述两种模式的RD Cost(率失真代价)，如果RD Cost越小，则这种划分模式的失真度越低，而且压缩率高。
如果mvp不为(0，0)，则按照inter 2N×2N的模式进行编码，用(0，0)与mvp进行作差得到mvd(motion vector difference，预设矢量与mvp的差值)，然后根据RDO准则判断inter 2N×2N的模式是否需要编码残差。
进一步的，该方法还包括以下步骤：
步骤S801，累加每个8×8下采样图像块对应的需求值，得到失真度和；
步骤S802，如果失真度和与整个GOP的SATD值总和的比值大于或等于1/2，则按照比值分配可编码比特数；
步骤S803，根据可编码比特数计算量化参数值。
具体地，累加每个8×8下采样图像块对应的需求值SATDbest，得到失真度和；如果失真度和与整个GOP(Group of Pictures，两个I帧之间的距离)的SATD值总和的比值大于或等于1/2，则放宽对I帧率控限制，按照比值分配可编码比特数；根据可编码比特数计算量化参数QP(Quantization Parameter，量化参数)值。
本申请利用下采样图像进行预测模式的筛选，并且对需求值SATDbest的累加，可以有针对性地对静止场景的码率分配进行调整；同时利用差值平方和确定是否直接跳过划分方式的比较过程，以及根据skip模式、direct模式和inter 2N×2N模式进行当前需求帧间模式的选择，减少不必要的划分方式决策与运动估计过程，从而在保证编码质量的情况下，提高编码器的实时性。
本发明实施例提供了对静止区域的视频编码方法，包括：获取当前编码帧；将当前编码帧进行下采样，得到下采样图像；对下采样图像进行预测，得到预测模式；判断预测模式是否为帧内预测；如果预测模式不是帧内预测，则根据当前编码帧的LCU和待参考编码帧的LCU，得到差值平方和；如果差值平方和小于预设阈值，则将当前编码帧的LCU根据skip模式或direct模式的标准规则得到预测向量；根据预测向量确定当前需求帧间模式；如果预测模式是帧内预测或差值平方和大于或等于预设阈值，则按照预设规则对当前编码帧的LCU进行模式选择，利用下采样图像进行预测模式筛选，根据当前编码帧的LCU和待参考编码帧的LCU得到差值平方和，以及进行当前需求帧间模式的选择，从而减少不必要的划分方式决策与运动估计过程，在保护编码质量的情况下，提高编码器的实时性。
实施例二：
图5为本发明实施例二提供的对静止区域的视频编码装置示意图。
参照图5，该装置包括：
当前编码帧获取单元1，用于获取当前编码帧；
下采样单元2，用于将当前编码帧进行下采样，得到下采样图像；
预测单元3，用于对下采样图像进行预测，得到预测模式；
判断单元4，用于判断预测模式是否为帧内预测；
差值平方和获取单元5，用于在预测模式不是帧内预测的情况下，根据当前编码帧的LCU和待参考编码帧的LCU，得到差值平方和；
预测向量获取单元6，用于在差值平方和小于预设阈值的情况下，将当前编码帧的LCU根据skip模式或direct模式的标准规则得到预测向量；
确定单元7，用于根据预测向量确定当前需求帧间模式；
选择单元8，用于在预测模式是帧内预测或所述差值平方和大于或等于预设阈值的情况下，按照预设规则对当前编码帧的LCU进行模式选择。
本发明实施例提供了对静止区域的视频编码装置，包括：获取当前编码帧；将当前编码帧进行下采样，得到下采样图像；对下采样图像进行预测，得到预测模式；判断预测模式是否为帧内预测；如果预测模式不是帧内预测，则根据当前编码帧的LCU和待参考编码帧的LCU，得到差值平方和；如果差值平方和小于预设阈值，则将当前编码帧的LCU根据skip模式或direct模式的标准规则得到预测向量；根据预测向量确定当前需求帧间模式；如果预测模式是帧内预测或差值平方和大于或等于预设阈值，则按照预设规则对当前编码帧的LCU进行模式选择，利用下采样图像进行预测模式筛选，根据当前编码帧的LCU和待参考编码帧的LCU得到差值平方和，以及进行当前需求帧间模式的选择，从而减少不必要的划分方式决策与运动估计过程，在保护编码质量的情况下，提高编码器的实时性。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的对静止区域的视频编码方法的步骤。
本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，计算机可读介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的对静止区域的视频编码方法的步骤。
本发明实施例所提供的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种对静止区域的视频编码方法，其特征在于，所述方法包括：
获取当前编码帧；
将所述当前编码帧进行下采样，得到下采样图像；
对所述下采样图像进行预测，得到预测模式；
判断所述预测模式是否为帧内预测；
如果所述预测模式不是所述帧内预测，则根据所述当前编码帧的LCU和待参考编码帧的LCU，得到差值平方和；
如果所述差值平方和小于预设阈值，则将所述当前编码帧的LCU根据skip模式或direct模式的标准规则得到预测向量；
根据所述预测向量确定当前需求帧间模式；
如果所述预测模式是所述帧内预测或所述差值平方和大于或等于预设阈值，则按照预设规则对所述当前编码帧的LCU进行模式选择。
2.根据权利要求1所述的对静止区域的视频编码方法，其特征在于，所述对所述下采样图像进行预测，得到预测模式，包括：
根据所述下采样图像确定帧内预测失真度最小值；
判断所述当前编码帧是否为P/B帧；
如果为所述P/B帧，则根据所述下采样图像确定第一需求运动矢量和帧间预测失真度最小值；
将所述帧间预测失真度最小值和所述帧内预测失真度最小值进行比较；
如果所述帧间预测失真度最小值小于所述帧内预测失真度最小值，则将所述帧间预测失真度最小值作为需求值，并将所述帧间预测失真度最小值对应的帧间预测作为所述预测模式；
如果为I帧，则将所述帧内预测失真度最小值作为所述需求值，并对所述帧内预测失真度最小值对应的所述帧内预测作为所述预测模式。
3.根据权利要求2所述的对静止区域的视频编码方法，其特征在于，所述根据所述下采样图像确定第一需求运动矢量和帧间预测失真度最小值，包括：
根据所述下采样图像构建候选运动矢量集合；
遍历所述候选运动矢量集合中的每个运动矢量，并进行运动估计，得到第一预测图像；
对所述第一预测图像和所述下采样图像进行计算，得到多个第一SATD值；
根据所述多个第一SATD值确定所述第一需求运动矢量和所述帧间预测失真度最小值。
4.根据权利要求2所述的对静止区域的视频编码方法，其特征在于，所述根据所述下采样图像确定帧内预测失真度最小值，包括：
根据所述下采样图像构建邻域参数像素集；
遍历所述邻域参数像素集的多个预测角度，并进行预测，得到第二预测图像；
对所述第二预测图像和所述下采样图像进行计算，得到多个第二SATD值；
根据所述多个第二SATD值，得到需求预测角度；
根据所述需求预测角度，得到所述帧内预测失真度最小值。
5.根据权利要求1所述的对静止区域的视频编码方法，其特征在于，所述根据所述当前编码帧的LCU和待参考编码帧的LCU，得到差值平方和，包括：
根据所述当前编码帧的LCU的位置得到所述待参考编码帧对应位置的LCU；
计算所述当前编码帧的LCU和所述待参考编码帧的LCU的所述差值平方和。
6.根据权利要求1所述的对静止区域的视频编码方法，其特征在于，所述根据所述预测向量确定当前需求帧间模式，包括：
将所述当前编码帧的LCU进行运动补偿，得到运动补偿后的LCU；
判断所述预测向量是否为预设向量；
如果是，则将所述运动补偿后的LCU和所述当前编码帧的LCU通过率失真优化准则确定所述当前需求帧间模式；
如果不是，则将inter 2N×2N的模式作为所述当前需求帧间模式，将通过所述inter2N×2N的模式进行编码。
7.根据权利要求6所述的对静止区域的视频编码方法，其特征在于，所述将所述运动补偿后的LCU和所述当前编码帧的LCU通过率失真优化准则确定所述当前需求帧间模式，包括：
将所述运动补偿后的LCU进行量化、反量化和反变换处理，得到编码单元的重建值；
当率失真值为第一数值时，为所述skip模式；
当所述率失真值为第二数值时，为所述direct模式；
将所述第一数值与所述第二数值进行比较；
如果所述第一数值小于所述第二数值，则将所述第一数值对应的所述skip模式作为所述当前需求帧间模式；
如果所述第二数值小于所述第一数值，则将所述第二数值对应的所述direct模式作为所述当前需求帧间模式；
其中，所述失真值为所述当前编码帧的LCU中原始像素与所述编码单元的重建值之间的差值平方和，所述第一数值为失真值，所述第二数值为所述失真值与比特值的和。
8.根据权利要求2所述的对静止区域的视频编码方法，其特征在于，所述方法还包括：
累加每个8×8下采样图像块对应的所述需求值，得到失真度和；
如果所述失真度和与整个GOP的SATD值总和的比值大于或等于1/2，则按照所述比值分配可编码比特数；
根据所述可编码比特数计算量化参数值。
9.一种对静止区域的视频编码装置，其特征在于，所述装置包括：
当前编码帧获取单元，用于获取当前编码帧；
下采样单元，用于将所述当前编码帧进行下采样，得到下采样图像；
预测单元，用于对所述下采样图像进行预测，得到预测模式；
判断单元，用于判断所述预测模式是否为帧内预测；
差值平方和获取单元，用于在所述预测模式不是所述帧内预测的情况下，根据所述当前编码帧的LCU和待参考编码帧的LCU，得到差值平方和；
预测向量获取单元，用于在所述差值平方和小于预设阈值的情况下，将所述当前编码帧的LCU根据skip模式或direct模式的标准规则得到预测向量；
确定单元，用于根据所述预测向量确定当前需求帧间模式；
选择单元，用于在所述预测模式是所述帧内预测或所述差值平方和大于或等于预设阈值的情况下，按照预设规则对所述当前编码帧的LCU进行模式选择。
10.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8任一项所述的方法。
CN202110364940.9A 2021-04-02 2021-04-02 对静止区域的视频编码方法和装置 Active CN113079376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110364940.9A CN113079376B (zh) 2021-04-02 2021-04-02 对静止区域的视频编码方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110364940.9A CN113079376B (zh) 2021-04-02 2021-04-02 对静止区域的视频编码方法和装置

Publications (2)

Publication Number Publication Date
CN113079376A true CN113079376A (zh) 2021-07-06
CN113079376B CN113079376B (zh) 2022-08-19

Family

ID=76615367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110364940.9A Active CN113079376B (zh) 2021-04-02 2021-04-02 对静止区域的视频编码方法和装置

Country Status (1)

Country Link
CN (1) CN113079376B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422792A (zh) * 2021-12-28 2022-04-29 北京华夏电通科技股份有限公司 视频图像压缩方法、装置、设备及存储介质
CN114745549A (zh) * 2022-04-02 2022-07-12 北京广播电视台 一种基于感兴趣区域的视频编码方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1090696A (zh) * 1992-06-29 1994-08-10 索尼公司 用于图象信号的高效编码和解码的设备和记录媒体
US20050152452A1 (en) * 2002-07-15 2005-07-14 Yoshinori Suzuki Moving picture encoding method and decoding method
US20160173900A1 (en) * 2013-07-12 2016-06-16 Samsung Electronics Co., Ltd. Video encoding method and apparatus therefor using modification vector inducement, video decoding method and apparatus therefor
CN105812797A (zh) * 2014-12-31 2016-07-27 浙江大华技术股份有限公司 一种编码单元选择方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1090696A (zh) * 1992-06-29 1994-08-10 索尼公司 用于图象信号的高效编码和解码的设备和记录媒体
US20050152452A1 (en) * 2002-07-15 2005-07-14 Yoshinori Suzuki Moving picture encoding method and decoding method
US20160173900A1 (en) * 2013-07-12 2016-06-16 Samsung Electronics Co., Ltd. Video encoding method and apparatus therefor using modification vector inducement, video decoding method and apparatus therefor
CN105812797A (zh) * 2014-12-31 2016-07-27 浙江大华技术股份有限公司 一种编码单元选择方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SULLIVAN，GARY: "Joint Collaborative Team on Video Coding (JCT-VC)", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422792A (zh) * 2021-12-28 2022-04-29 北京华夏电通科技股份有限公司 视频图像压缩方法、装置、设备及存储介质
CN114745549A (zh) * 2022-04-02 2022-07-12 北京广播电视台 一种基于感兴趣区域的视频编码方法和系统

Also Published As

Publication number Publication date
CN113079376B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
RU2608264C2 (ru) Способ и устройство для кодирования/декодирования вектора движения
KR101103699B1 (ko) 영상 부호화 방법 및 복호 방법, 그들의 장치, 그들의 프로그램 및 프로그램을 기록한 기록매체
TWI608725B (zh) 高級運動向量預測模式中所用的圖像編碼設備
CN101682781B (zh) 图像编码方法以及图像解码方法
TWI711297B (zh) 利用量化係數分量與圖框間預測資訊解碼視訊資料的方法
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
US20110058605A1 (en) Image processing method for adaptive spatial-temporal resolution frame
KR20050045746A (ko) 계층 구조의 가변 블록 크기를 이용한 움직임 추정 방법및 장치
KR100999091B1 (ko) 임의 크기의 가변 블록을 이용한 영상 압축 방법 및 장치
KR101390620B1 (ko) 비디오 인코딩을 위한 전력 효율적인 움직임 추정 기법
JP5897218B2 (ja) 映像符号化方法、およびこの方法を用いる映像符号化装置
US8189667B2 (en) Moving picture encoding apparatus
JP2006519565A (ja) ビデオ符号化
CN113079376B (zh) 对静止区域的视频编码方法和装置
KR100597397B1 (ko) 고속 움직임추정 알고리즘을 갖는 동영상 코딩방법 및 장치
CN112806018B (zh) 图像编码/解码方法和设备以及存储比特流的记录介质
CN114339218A (zh) 图像编码方法、图像编码装置、电子设备和可读存储介质
Moinard et al. A set of template matching predictors for intra video coding
CN113906754A (zh) 图像编码/解码方法和设备
KR101781300B1 (ko) 시간 상관도에 기반한 고속 영상 부호화 방법
Chen et al. CNN-based fast HEVC quantization parameter mode decision
KR100657277B1 (ko) 매크로블록 타입 결정 방법
CN113099225A (zh) 一种基于图像纹理和梯度特征的快速编码的方法
JP6267929B2 (ja) 画像符号化装置及び画像符号化プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant