CN117376551A - 视频编码加速方法及电子设备 - Google Patents
视频编码加速方法及电子设备 Download PDFInfo
- Publication number
- CN117376551A CN117376551A CN202311645270.3A CN202311645270A CN117376551A CN 117376551 A CN117376551 A CN 117376551A CN 202311645270 A CN202311645270 A CN 202311645270A CN 117376551 A CN117376551 A CN 117376551A
- Authority
- CN
- China
- Prior art keywords
- prediction
- mode
- skip mode
- frame
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000001133 acceleration Effects 0.000 title claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 43
- 230000008859 change Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims 3
- 239000000523 sample Substances 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 42
- 238000004891 communication Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例公开了视频编码加速方法及电子设备，所述方法应用于对目标视频进行预测编码过程中，包括：在多种预测模式中，获得以跳过模式对目标视频的当前预测单元进行帧间预测编码的残差信息，其中所述多种预测模式至少包括融合模式以及跳过模式；基于所述残差信息确定所述跳过模式的预测结果的准确度符合预设条件的情况下，跳过对融合模式的率失真代价的遍历检查，以便从多种预测模式中除融合模式之外的其他预测模式中确定所述当前预测单元的目标预测模式。通过本申请实施例，能够降低编码所需计算开销，加速编码过程。
Description
技术领域
本申请涉及视频编码技术领域，特别是涉及视频编码加速方法及电子设备。
背景技术
随着多媒体技术迅速发展，视频数据量呈爆炸式增长趋势，对通信带宽和存储资源都构成极大挑战。对此，国际标准组织先后提出多代视频压缩编码标准，以提升编码效率、降低视频存储与传输开销。一般每代标准与前一代相比，能够在同等质量下节省 30～50% 码率，这是通过引入多种新型编码技术、显著扩大率失真搜索空间来实现的。然而，这些新技术的应用也使得编码流程明显变长、计算复杂度成倍增加。因此，如何提升编码速度，成为需要本领域技术人员解决的技术问题。
发明内容
本申请提供了视频编码加速方法及电子设备，能够降低编码所需计算开销，加速编码过程。
本申请提供了如下方案：
一种视频编码加速方法，所述方法应用于对目标视频进行预测编码过程中，包括：
在多种预测模式中，获得以跳过模式对目标视频的当前预测单元进行帧间预测编码的残差信息，其中所述多种预测模式至少包括融合模式以及跳过模式；
基于所述残差信息确定所述跳过模式的预测结果的准确度符合预设条件的情况下，跳过对融合模式的率失真代价的遍历检查，以便从多种预测模式中除融合模式之外的其他预测模式中确定所述当前预测单元的目标预测模式。
其中，所述残差信息包括整体残差能量；
所述获得以跳过模式对目标视频的当前预测单元进行帧间预测编码的残差信息，包括：
获得以跳过模式对目标视频的当前预测单元进行帧间预测编码的整体残差能量，以便根据所述整体残差能量确定所述跳过模式的预测结果的准确度是否符合预设条件。
其中，所述残差信息还包括所述整体残差能量的直流分量以及交流分量，所述直流分量用于反映帧间预测编码的整体误差，所述交流分量用于反映误差在各像素间的变化程度；
所述根据所述整体残差能量确定所述跳过模式的预测结果的准确度是否符合预设条件，包括：
如果所述整体残差能量低于预设阈值，则确定所述整体残差能量的直流分量以及交流分量；
如果所述直流分量与交流分量之间的比值低于预设阈值，则确定所述跳过模式的预测结果的准确度符合预设条件。
其中，所述确定所述整体残差能量的直流分量以及交流分量，包括：
利用所述整体残差能量在亮度通道上的直流分量以及交流分量进行近似计算。
其中，所述确定所述整体残差能量的直流分量以及交流分量，包括：
按照预置的步长对所述当前预测单元进行像素采样，并计算平均每像素的整体残差能量的直流分量以及交流分量。
其中，在确定所述整体残差能量是否低于预设阈值时，通过读取编码器里计算出的所述跳过模式对应的失真程度信息，确定所述当前预测单元的整体残差能量。
其中，所述方法之前还包括：
确定帧级别的运动矢量变化幅度，以用于确定当前帧相对参考帧的运动剧烈程度；所述当前预测单元为所述当前帧中的预测单元；
如果所述运动矢量变化幅度低于预设阈值，则触发执行所述在多种预测模式中，获得以跳过模式对目标视频的当前预测单元进行帧间预测编码的残差信息的步骤。
其中，所述确定帧级别的运动矢量变化幅度，包括：
根据当前帧的预编码信息中包含的各个局部区域运动矢量幅度的估计值，确定所述当前帧的运动矢量变化幅度。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述的方法的步骤。
一种电子设备，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述任一项所述的方法的步骤。
根据本申请提供的具体实施例，本申请公开了以下技术效果：
通过本申请实施例提供的技术方案，在对目标视频进行预测编码，并通过遍历检查多种预测模式的率失真代价为当前预测单元选择目标预测模式的过程中，在对Merge（融合）模式进行检查之前，可以首先对Skip（跳过）模式进行检查，并确定以Skip模式对当前预测单元进行帧间预测编码时所得的残差信息；之后，可以根据该残差信息可以判断跳过模式的预测结果的准确度是否符合预设条件，如果符合预设条件，则可以跳过对Merge模式的率失真代价的遍历检查，以便从所述多种预测模式中除Merge模式之外的其他预测模式中为所述当前预测单元选择目标预测模式。通过这种方式，由于可以根据Skip模式的残差信息判断Skip模式的预测结果是否足够准确，如果足够准确，则对Merge模式的检查则是不必要的，可以进行跳过，这样，可以使得至少部分预测单元可以省去对Merge模式进行检查的步骤，因此，有利于降低编码所需计算开销，加速编码过程。
在优选的实施方式下，可以在确定出Skip模式的整体残差能量较小的情况下，继续判断其直流分量是否显著低于交流分量，如果是，则可以进一步证明Skip模式的预测结果已经足够准确，然后再跳过对Merge模式的检测，此时，跳过Merge模式的风险会更低。其中，对于Skip模式的整体残差能量，通过复用已编码信息，可以直接通过编码器自身的检查结果而获得，因此，涉及到计算的部分只有直流分量和交流分量，但是同样可以通过降采样、通过亮度通道进行近似计算等方式来降低计算量，因此，整体的复杂度会比较低，以此实现算法效率与算法复杂度之间的平衡。
另外，还可以通过提前进行的帧级别的运动矢量幅度的检查，能够提前滤除不适合加速的情形，避免造成资源浪费。
当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的系统架构的示意图；
图2是本申请实施例提供的方法的流程图；
图3是本申请实施例提供的编码流程的示意图；
图4是本申请实施例提供的装置的示意图；
图5是本申请实施例提供的电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中，提供了一种用于简化视频编码帧间预测过程的加速方法。为了便于理解本申请实施例所提供的具体实现方案，下面对本申请实施例中所涉及到的相关技术术语进行介绍。
视频编码：视频编码是一种信源编码技术，是指通过数据压缩，将原始视频格式的文件转换成体积较小的比特流文件，以显著节省存储空间和传输带宽。
HEVC（High Efficiency Video Coding，高效率视频编码），又称 H.265，是由国际视频编码联合组于 2013 年提出的一种视频编码标准。与上一代高级视频编码标准（Advanced Video Coding，AVC）相比，HEVC 能够在同等视觉质量下节省 30～50% 码率，显著提升了编码效率。
CTU（ Coding Tree Unit，编码树单元）：为适应不同视频分辨率，编码每帧前一般需将其分为若干相同大小的图像块，这一概念在 HEVC 中称为CTU，其默认尺寸为 64×64像素。后续大部分编码过程，均在各个 CTU 中完成。
CU（Coding Unit，编码单元）：CU为编码过程的基本单元，是一个 CTU 的整体或部分区域，其中包含内容预测、变换、量化及熵编码等必要步骤。一个 CTU 既可仅包含一个CU，也可通过递归式四叉树划分的方式分为多个子 CU。默认情况下，最大 CU 尺寸等于CTU 尺寸，即 64×64 像素；最小 CU 尺寸为 8×8 像素。
PU（Prediction Unit，预测单元）：PU是实现内容预测的基本单元，由 CU 进一步划分得到。每个 CU 既可仅包含一个 PU，也可划分为两个或四个 PU，其中每个 PU 可以是正方形或矩形，最小 PU 宽度/高度为 4 像素。
预测编码：由于视频内容普遍具有空、时相关性，一个 PU 中的内容往往可通过已知信息预测得到，而无需对相似的内容重复编码。因此，预测编码就是根据离散信号之间存在着上述关联性的特点，利用前面一个或多个信号预测下一个信号，然后对实际值和预测值的差（也即预测误差，也称残差）进行编码。如果预测比较准确，残差就会很小，在同等精度要求的条件下，就可以用比较少的比特进行编码，可极大减少视频画面中的冗余信息，达到压缩数据的目的。
帧内/帧间预测：预测编码分为帧内预测以及帧间预测两种方式，其中，若根据当前帧中的邻近内容估计得到，则称为帧内预测；若根据其他帧的内容与帧间运动情况估计得到，则称为帧间预测。
其中，帧间预测可以细分为多种模式，例如，包括：
常规 Inter 模式：对于当前帧中待编码的 PU，帧间预测模式（Inter-predictionmode，简称 Inter 模式）的常规流程是在参考帧中搜索出一个与当前 PU 差异最小的局部图像块，即目标匹配块，该过程称为运动估计，其中目标匹配块与当前 PU 之间的相对位移称为MV（Motion Vector，运动矢量）。理论上，运动估计过程应遍历所有像素，从所有可能的MV 中选出最小的MV，对应的局部图像块就是目标图像块。但实际应用中往往受到算力限制，一般采用快速算法近似估计 MV。确定 MV后，当前 PU 画面内容即可由参考帧中对应位置的图像块预测得到，其中两者画面内容的差距称为残差。一般而言，残差信号的能量远小于原始图像信号能量，后续只需对残差编码即可显著节省码率。
Merge（融合）模式：与常规 Inter 模式相比，融合模式缩小了 MV的搜索范围，此模式无需执行完整的运动估计，只需从预先构建的候选 MV列表中选择其一，以减小计算量。该候选列表根据当前帧中邻近 PU 或参考帧中对应位置的 PU 构建而成，最多包含 5个向量。编码器比较各个候选 MV对应的率失真代价，并选取代价最小者作为 Merge 模式的实际 MV。这里需要说明的是，由于MV候选列表较小，因此，MV搜索简单，但是，可能会导致MV搜索的不够准确，也就是说，理论上存在与具体PU对应的最小MV，但是，在Merge模式下可能无法找到该MV，以至于这种模式下产生的残差可能会比理论上的要大，此时，该Merge模式的率失真代价可能反而会高于常规 Inter 模式。
Skip（跳过）模式：Skip模式是一种特殊的 Merge 模式，该模式将残差视为零、无需编码，即直接将参考帧中图像内容作为当前 PU 的预测结果。
RD cost（Rate-Distortion cost，率失真代价）：综合衡量码率与失真程度的一种指标。
帧率：视频每秒的帧数（Frames Per Second，FPS），即每秒编码或播放的图像个数。
码率：单位时间对应的编码比特数，即视频码流的比特数与播放时间之比。对于相同的原始视频，编码后的码率越低代表压缩效果越显著，越能有效去除信息冗余。
在视频传输过程中，低码率的视频更利于传输和存储，但失真度会大大增加，相反，低失真度的高质量视频则会使码率增加，增大网络传输的压力。如何在视频码率和编码质量之间权衡是视频编码中永恒的命题，这个过程称之为率失真优化。对于不同的视频帧中的不同PU而言，具体使用哪种预测模式才能获得更低的率失真代价是不一定的，通常也很难通过比较明确的规则或者先验知识进行确定。因此，在传统视频编码框架中，编码器需对每个预测单元PU检查帧内预测、常规帧间预测、Skip、Merge 等多个模式，计算各个模式的率失真代价后，选出代价最小的一种模式，作为该PU的编码模式，然后用该模式对该PU进行预测编码。也就是说，针对每个PU都要分别检查各种预测模式的率失真代价，从中选择出一种最合适的预测模式。对于同一帧而言，针对不同PU最终选择出的预测模式可能会不同。
具体的，率失真优化的目的就是找到一组编码参数使得对应的可操作点尽可能接近率失真曲线理论值，也就是在一组可能的操作点中确定使系统性能较优的操作点。但是，为了保证率失真代价的精确度，不可避免地需要计算经过重建环路的重建像素和原始像素的差异代价，这意味着要引入完整的重建环路，其中存在非常大的硬件资源代价和周期代价，这就使得完整的率失真优化过程极为耗时，而实际编码结果仅保留一种模式，因此，其中存在显著的加速潜力。
现有技术中存在一些针对率失真优化的加速算法，但是，主要是在标准编码器的基础上进行设计的，并且，这种加速算法本身可能也会需要很大的计算开销。但是，对于业界广泛应用的快速编码器（通过优化编程语言或者使用多线程等方式来实现编码过程的加速），这种针对率失真优化的加速算法本身的计算复杂度会影响整个编码器的性能，导致总体编码复杂度难以降低甚至增加。因此，对于快速编码器而言，需要更轻量化的针对率失真优化的加速算法，才能够真正起到进一步加速的作用。另外，在已有的视频编码加速算法中，缺乏判断具体某一种预测模式是否开启的策略，例如，对于快速编码器中较常出现的Merge模式，尚无实现简洁、有效的加速算法，难以用于实际编码过程。
针对以上情况，本申请实施例综合利用帧间运动与残差能量信息，提供了自适应视频内容的Merge模式加速算法，这是一种轻量级的针对率失真优化的加速算法。具体的，在视频帧间编码遍历检查各种预测模式的率失真代价的过程中，对于具体的PU（预测单元），可以首先检查 Skip 模式，如果Skip 模式预测所得残差符合目标条件，使其足以证明Skip 模式预测的比较准确，则可以跳过对Merge模式的检查，也即，不再针对该PU检查Merge 模式的率失真代价，从而降低整体编码复杂度。例如，如果Skip 模式预测所得整体残差能量低于预设阈值（例如，接近全零块），此时，就可以跳过对Merge模式的率失真代价的检查。或者，在优选的方式下，还可以进一步计算Skip 模式预测所得整体残差能量的直流分量以及交流分量，如果不仅整体残差能量比较低，而且其中直流分量显著低于交流分量，则可以更充分地证明Skip 模式预测的已经比较准确，此时再跳过对Skip 模式的率失真代价的检查，则风险会更低。
在优选的方式下，在上述加速算法执行之前，还可以进行帧级别的运动矢量变化幅度预判，如果帧级别的运动矢量变化幅度比较小，则可以触发执行上述加速算法，否则可以不必开启该算法。这样，使得算法流程可以包含两级预判（也即，帧级的运动矢量变化幅度预判，以及PU级的Skip 模式预测所得残差预判），能够提前过滤掉算法不适用的场景。
从系统架构角度而言，参见图1，本申请实施例可以为视频编码提供加速算法，具体的加速算法可以应用于视频编码器中，也即，可以在视频编码器中实现关于本申请实施例中的加速算法相关代码，以实现基于率失真优化的加速。这种视频编码器可以在多种场景中被调用。例如，在视频直播场景中，主播端在向直播服务器推送视频直播流之前，需要首先对视频直播流进行编码，此时，主播端就可以调用视频编码器对直播流进行编码；直播服务器在向具体的观看端进行推流时，也可能重新对直播流进行编码，此时，也会涉及到对编码器的调用，等等。另外，在一些视频播放平台等场景中，对于内容生产方提供的视频源，在上线到平台之前，通常也会涉及到对视频源的编码，此时，也可以调用上述带有加速算法的编码器来完成编码任务，等等。
下面对本申请实施例提供的具体实现方案进行详细介绍。
首先，本申请实施例提供了一种视频编码加速方法，该方法应用于对目标视频进行预测编码过程中，参见图2，该方法可以包括：
S201：在多种预测模式中，获得以跳过模式对目标视频的当前预测单元进行帧间预测编码的残差信息，其中所述多种预测模式至少包括融合模式以及跳过模式。
其中，关于预测编码的概念在前文中有过介绍，具体实现时，在对一个目标视频进行预测编码时，可以以视频中多个帧为单位分别进行，对于每个帧还可以划分成前述CTU、CU、PU等单元，这些单元通常可以为正方形或者矩形，因此，也可以称为“块”。其中，在进行各种级别的分块时，通常也可以有多种分块方式，相应的，也可以通过相应的算法来实现加速，但是由于不属于本申请实施例描述的重点，因此，这里不再详述。
对于划分出来的PU也即预测单元，就需要确定出对应的预测模式，在传统的方式下，针对每个具体的PU，都需要分别对帧内预测模式、常规帧间预测模式、Skip模式、Merge模式等计算出率失真代价，然后从中选择出代价最小的一种预测模式。但是，在本申请实施例中，在进行遍历检查的过程中，可以首先检查Skip模式，并确定出以Skip模式对当前预测单元进行帧间预测编码时所得的残差信息。后续则可以基于该残差信息，确定是否可以跳过对Merge模式的检查。
其中，关于残差信息，具体可以有多种，例如，可以包括整体残差能量，或者，在优选的方式下，还可以包括整体残差能量的直流分量以及交流分量等，通过综合更多方面的信息，来综合判断跳过Merge模式带来的风险程度高低，然后再做出是否跳过Merge模式的决策。对此，后文中会有详细介绍。
这里需要说明的是，在实际应用中，在该步骤S201之前，还可以确定帧级别的运动矢量变化幅度，以用于确定当前帧相对参考帧的运动剧烈程度，如果帧级别的运动矢量变化幅度低于预设阈值，再触发执行该步骤S201及后续步骤。也就是说，在开始按照本申请实施例通过算法进行加速之前，可以首先确定帧级别的运动矢量变化幅度，据此确定当前帧是否适合采用本申请实施例提供的算法进行加速。其中，如果帧级别的运动矢量变化幅度比较小，则说明当前帧相对参考帧的运动剧烈程度比较低，一般而言，对运动较为平缓的区域，更倾向于利用 Skip 模式直接预测，且关闭 Merge 模式造成的损失较小。因此，在编码每一帧前，可以首先根据帧级运动矢量幅度预判是否开启后续的快速算法。
具体实现时，由于在编码器里，每一帧都有预编码过程，在这种预编码的过程中，可以粗略计算每个块的运动矢量幅度，然后通过计算平均值，作为帧级别的运动矢量幅度。也就是说，每帧的预编码信息中已经包含各个局部区域运动矢量幅度的估计值，因此，可直接由此估算帧级别的整体运动矢量幅度，而无需额外执行运动估计。也即，即使不执行本申请实施例提供的加速算法，编码器也会在预编码过程中估计出各个局部区域运动矢量幅度，因此，可以直接利用该信息来获取帧级别的运动矢量幅度，而不需要再进行额外的计算。
例如，在一种典型的 HEVC 快速编码器中，每帧编码前首先生成宽、高均为原始视频一半的低分辨率预编码帧，将此预编码帧分成多个互不重叠的 8×8 像素单元（对应原分辨率视频中 16×16 像素单元），再对每个单元估算一些编码特征，如 SATD cost（Sumof Absolute Transformed Difference，基于绝对变换域误差和的一种RD cost估计方法）、内容变化程度、运动矢量信息等。因此，在本方案中，即可由预编码帧中的运动矢量信息估算帧级平均运动矢量幅度。也即，可以根据当前帧的预编码信息中包含的各个局部区域运动矢量幅度的估计值，确定所述当前帧的运动矢量变化幅度。为简化计算，每个运动矢量的幅度可以按横、纵坐标的绝对值之和进行估算，等等。
也就是说，可以在编码每一帧前，根据预编码信息估算帧级平均运动矢量幅度，若平均幅度较低，表明当前帧相对于参考帧的运动程度较小，跳过 Merge 模式的风险较低，因此，可继续判断每个预测单元是否需要检查Merge 模式，否则，如果帧级平均运动矢量幅度本身比较高，则可以提前终止本申请实施例中提供的快速算法。这样，可以使得算法中包括帧级和预测单元级两级预判，能够提前滤除不适合加速的情形，避免资源浪费，另外，也可以提升预判的准确性，降低错判的风险。
S202：基于所述残差信息确定所述跳过模式的预测结果的准确度符合预设条件的情况下，跳过对融合模式的率失真代价的遍历检查，以便从多种预测模式中除融合模式之外的其他预测模式中确定所述当前预测单元的目标预测模式。
在针对某个预测单元完成对Skip模式的率失真代价进行检测，并得到Skip模式产生的残差信息后，可以通过判断残差信息是否符合预设条件，来确定是否跳过对Merge（融合）模式的率失真代价的遍历检查。
具体的，残差信息可以包括整体残差能量，可以根据这种整体残差能量来确定Skip模式的预测结果的准确度。例如，一种方式下，可以判断以Skip模式对当前预测单元进行帧间预测编码时所得的整体残差能量是否比较低，例如，是否接近全零状态，如果是，则可以跳过对融合模式的率失真代价的遍历检查。
具体的，在检查Merge模式的率失真代价之前，编码器可以首先检查Skip模式的率失真代价，并能获得该Skip模式的预测结果以及残差，此时的整体残差能量可反映出Skip模式的预测程度。例如，具体可以定义为：
上式中，和/>、/>和/>、/>和/>分别为当前预测单元的Y（亮度）、U（色度，表示蓝色分量）、V（色度，表示红色分量）分量原始图像和预测图像内容，原始图像也即当前PU中的图像内容，预测图像则为参考帧中某个图像块中的图像内容。(x，y)为PU内部具体像素点的相对坐标，N为PU宽度（假设PU为正方形）。此处整体残差能量（也即总能量）/>无需重新计算，可直接读取编码器中对Skip模式的预测结果得到，该预测结果中会包括编码器里计算出的所述跳过模式对应的失真程度信息，当前预测单元的整体残差能量就可以根据该失真程度信息进行确定。
也就是说，关于Skip模式下的整体残差能量可以不必另行计算，利用编码器本身对Merge模式进行检测过程中得到的预测结果，即可获得该整体残差能量。本申请实施例中，可以根据该整体残差能量的大小，来确定是否可以跳过对Merge模式的检查。
为了能够确定对上述整体残差能量进行是较大还是较小等定性判断，还可以为整体残差能量设置阈值，用于判断当前PU的残差是否较小。例如，设当前CU的QP（Quantization Parameter，量化参数）值为，PU宽度为N（假设为正方形），则阈值可以为：
若PU中平均每像素的残差能量低于此阈值，即：
则可以认为当前PU的整体残差能量较小，近似为全零块，可能适合跳过Merge模式。
其中，QP值表示每个PU中编码残差时进行量化的精细程度：QP值越小，量化间隔就越小，编码出来的画面质量越高、但码率会大一些；相反，QP值越大，量化间隔就变大，画质更低、但更节省码率。因此，QP是调节码率和画面质量的一个指标，编码一个PU之前是直接可以得到QP值的，而且会影响选用Merge模式的可能性，因此，本申请实施例中可以根据QP来确定对整体残差能量进行判断时的阈值。关于与QP的关系，本申请实施例中可以采用“0.14”作为系数，该数值可以是通过测试等方式确定出来的，当然，在实际应用中，可以根据具体编码器的不同，对具体的系数值进行调整，例如，可以是0.1、0.2，等等。当然，这个系数的选择也比较重要，如果系数过小，算法加速就不太明显，如果过大，则可能会产生更多的误判，影响编码效率，因此，具体实现时，可以结合具体编码器的情况通过多次测试等方式，选择出合适的系数。
在确定出Skip模式下的整体残差能量，并与阈值进行比较之后，确定出整体残差能量是否较小，如果是，则可以直接跳过对Merge模式的检查，也即，在这种情况下，通常Skip模式的率失真代价会低于Merge模式，即使对Merge模式进行了检查，最终可能也还是会选择Skip模式（暂时只考虑在Merge模式与Skip模式之间的选择，关于其他模式可以通过其他方式确定是否可以跳过，这里不再进行详述），因此，可以跳过对Merge模式的检查。
在优选的实施方式下，具体的残差信息还可以包括整体残差能量的直流分量以及交流分量，在确定出Skip模式的整体残差能量比较小之后，还可以进一步对整体残差能量的直流分量以及交流分量进行判断，以确定直流分量是否显著低于交流分量，如果是，再跳过对融合模式的率失真代价的遍历检查。
其中，具体的直流分量用于反映帧间预测编码的整体误差，交流分量用于反映误差在各像素间的变化程度，也就是说，如果误差在各像素间有一定的变化程度，但是，帧间预测编码的整体误差明显更小，此时，可以进一步证明用Skip模式对当前PU进行预测时可以得到比较准确的预测结果，因此，跳过对融合模式的率失真代价的遍历检查的风险会进一步减小。
具体的，关于直流分量以及交流分量，通常并不是编码器在对Skip模式进行检查过程中能够直接输出的，因此，属于在本申请实施例的场景中需要额外计算的参数。具体实现时，为了降低计算量，可以近似计算亮度PU（Y通道）的残差直流与交流能量，也即，可以利用所述整体残差能量在亮度通道上的直流分量以及交流分量进行近似计算。另外，为了进一步降低计算量，还可以按照预置的步长对所述当前预测单元进行像素采样，并计算平均每像素的整体残差能量的直流分量以及交流分量。例如，具体的步长可以为：
由此估测平均每像素的残差能量为：
上式中，平均每像素的整体残差能量 =“均方差”：先计算各个像素残差的平方，再取平均；平均每像素的残差直流分量/>=“方均差”：先计算各像素的平均残差（保留正负号），再取平方；平均每像素的残差交流分量/> = 整体残差能量 - 直流分量。
如满足：
则认为残差的直流分量较小，Skip模式预测较为准确，因此，可跳过当前PU的Merge模式，此时，可以体现出本申请实施例中提供的快速算法发挥作用之处。当前，上述式中的系数“0.5”可以通过测试等方式得到，具体实现时，对于不同的编码器，该系数可以不同，这里不进行限定。
通过上述方式，在检查每个PU的 Merge 模式之前，根据当前PU的 Skip 模式残差预判是否继续：若 Skip 模式整体残差能量足够小，则当前PU的内容可能与参考帧较为接近，Merge 模式可能不是必需；反之，若 Skip 模式残差较大，则 Merge 模式需要保留，终止快速算法。当PU级预判均通过后，可以再进一步比较 Skip 模式残差的直流分量和交流分量：若直流分量显著低于交流分量，则证明 Skip 模式的预测结果本身足够准确，因此，可以跳过后续的 Merge 模式检查，从而加速整体编码过程。
为便于更好地理解本申请实施例提供的具体实现方案，下面结合图3中所示的例子，对本申请实施例提供的优选实施例中的处理流程进行介绍（在该例子中，假设进行了帧级预判，另外在判断Skip模式的残差能量时，不仅考虑了整体残差能量，还考虑了直流分量与交流分量）。
具体的，该方可以包括以下步骤：
S301：当前帧编码开始；然后进入Step1，也即，关于帧级运动矢量幅度的预判，该Step1可以包括S302以及S303两个步骤：
S302：计算预编码帧的平均运动矢量（MV）幅度，假设为A；
S303：帧级运动矢量幅度预判，例如，判断A是否小于40（该数字可以为其他数值），如果是，则进入S304，否则进入S313；
S304：判断是否已遍历检查该帧所有PU的Skip模式，如果是，则当前帧编码结束（具体是指按照本申请实施例中提供的快速算法结束），否则进入S305；
S305：检查当前PU的Skip模式，然后进入Step2，也即PU级的残差能量预判，具体的，该Step2可以包括S306至S308；
S306：从编码器中读取整体残差能量：
S307：为整体残差能量设阈值： ；
S308：整体残差能量预判，判断是否 ；如果是，则进入Step3，否则进入S312按照常规流程检查Merge模式；其中，Step3包括S309至S310；
S309：降采样计算亮度PU残差直流分量和交流分量/> ；
S310：残差直流分量、交流分量比较，判断是否 ；如果是，则进入S311，否则进入S312按照常规流程检查Merge模式；
S311：跳过对当前PU的Merge模式的检查，并返回S304；
S312：按照常规流程检查Merge模式，并返回S304；
S313：按照常规流程编码，不开启本申请实施例中的加速算法。
以上对本申请实施例提供的方案进行了介绍，由于可以在部分满足条件的情况下，跳过对Merge模式的检查，因此，可以提升算法效率。另外，就算法复杂度而言，本申请实施例提供的方案同样具备优势，主要体现在：一方面，具体的算法流程可以包括帧级以及PU级两级预判，因此，能够提前过滤掉算法不适用的场景；另一方面，在计算残差能量时，对于Skip模式的整体残差能量，通过复用已编码信息，可以直接通过编码器自身的检查结果而获得，因此，涉及到计算的部分只有直流分量和交流分量，但是同样可以通过降采样、通过亮度通道进行近似计算等方式来降低计算量，因此，整体的复杂度会比较低，以此实现算法效率与算法复杂度之间的平衡。
其中，对于典型的电商直播视频，经过测试，算法本身运行时间仅占编码时间的0.8%以内，对应帧率超过3000fps，对整体编码时间无明显影响，保证了算法简洁高效。例如，将本方案应用于某编码器进行云转码时，在40段视频序列上测试了编码性能，其中，衡量编码效率所用指标为BD-rate（Bjontegaard Delta-rate，即同等客观质量下的码率变化率），其值为负代表码率节省，为正则代表码率增加，所用码率点为CRF（Constant RateFactor，固定速率系数）{18,22,26,30}；另外，通过单线程编码帧率衡量编码过程的计算复杂度。
其中，BD-rate测试结果如下（其中PSNR全称为“Peak Signal-to-Noise Ratio”，也即峰值信噪比，是图像和视频信息压缩领域中常用的衡量指标；SSIM全称为“StructuralSimilarity Index”，即为结构相似性，也是衡量图像质量的指标之一）：
表1
编码速度测试结果如下（其中FPS全称是“Frames Per Second”，是图像领域中的定义，指画面每秒传输帧数）：
表2
需要说明的是，本申请实施例提供的视频编码加速算法可以在多种场景中应用，例如，包括视频直播场景，或者视频回放场景，视频类内容平台在进行视频发布等场景，等等。具体的，都可以在相应场景中涉及到对编码器程序的调用，在这种编码器程序中就可以利用本申请实施例提供的方法实现加速。尤其是在视频直播等对编码帧率要求比较高的场景中，本申请实施例提供的方案将会发挥出更大的优势。
总之，通过本申请实施例提供的技术方案，在对目标视频进行预测编码，并通过遍历检查多种预测模式的率失真代价为当前预测单元选择目标预测模式的过程中，在对Merge（融合）模式进行检查之前，可以首先对Skip（跳过）模式进行检查，并确定以Skip模式对当前预测单元进行帧间预测编码时所得的残差信息；根据该残差信息可以判断跳过模式的预测结果的准确度是否符合条件，如果符合条件，则可以跳过对Merge模式的率失真代价的遍历检查，以便从所述多种预测模式中除Merge模式之外的其他预测模式中为所述当前预测单元选择目标预测模式。通过这种方式，由于可以根据Skip模式的残差信息判断Skip模式的预测结果是否足够准确，如果足够准确，则对Merge模式的检查则是不必要的，可以进行跳过，这样，可以使得至少部分PU可以省去对Merge模式进行检查的步骤，因此，有利于提升整体的编码速度。
在优选的实施方式下，可以在确定出Skip模式的整体残差能量较小的情况下，继续判断其直流分量是否显著低于交流分量，如果是，则可以进一步证明Skip模式的预测结果已经足够准确，然后再跳过对Merge模式的检测，此时，跳过Merge模式的风险会更低。其中，对于Skip模式的整体残差能量，通过复用已编码信息，可以直接通过编码器自身的检查结果而获得，因此，涉及到计算的部分只有直流分量和交流分量，但是同样可以通过降采样、通过亮度通道进行近似计算等方式来降低计算量，因此，整体的复杂度会比较低，以此实现算法效率与算法复杂度之间的平衡。
再者，还可以通过提前进行的帧级别的运动矢量幅度的检查，能够提前滤除不适合加速的情形，避免造成资源浪费。
需要说明的是，本申请实施例中可能会涉及到对用户数据的使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下（ 例如，用户明确同意，对用户切实通知，等），在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。
与前述方法实施例相对应，本申请实施例还提供了一种视频编码加速装置，参见图4，包括：
残差信息获取单元401，用于在多种预测模式中，获得以跳过模式对目标视频的当前预测单元进行帧间预测编码的残差信息，其中所述多种预测模式至少包括融合模式以及跳过模式；
决策单元402，用于基于所述残差信息确定所述跳过模式的预测结果的准确度符合预设条件的情况下，跳过对融合模式的率失真代价的遍历检查，以便从多种预测模式中除融合模式之外的其他预测模式中确定所述当前预测单元的目标预测模式。
其中，所述残差信息包括整体残差能量，此时，所述残差信息获取单元具体可以用于：
获得以跳过模式对目标视频的当前预测单元进行帧间预测编码的整体残差能量，以便根据所述整体残差能量确定所述跳过模式的预测结果的准确度是否符合预设条件。
在优选的实施方式下，所述残差信息还包括所述整体残差能量的直流分量以及交流分量，决策单元具体可以用于：
如果所述整体残差能量小于预设阈值，则确定所述整体残差能量的直流分量以及交流分量；如果所述直流分量与交流分量之间的比值低于预设阈值，则确定所述跳过模式的预测结果的准确度符合预设条件。
其中，可以利用所述整体残差能量在亮度通道上的直流分量以及交流分量进行近似计算。
另外，还可以按照预置的步长对所述当前预测单元进行像素采样，并计算平均每像素的整体残差能量的直流分量以及交流分量。
其中，在确定所述整体残差能量是否低于预设阈值时，可以通过读取编码器里计算出的所述跳过模式对应的失真程度信息，确定所述当前预测单元的整体残差能量。
另外，该方法还可以包括：
帧级预判单元，用于确定帧级别的运动矢量变化幅度，以用于确定当前帧相对参考帧的运动剧烈程度；如果所述运动矢量变化幅度低于预设阈值，则触发执行所述方法的各步骤。
具体的，可以根据当前帧的预编码信息中包含的各个局部区域运动矢量幅度的估计值，确定所述当前帧的运动矢量变化幅度。
另外，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。
以及一种电子设备，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法实施例中任一项所述的方法的步骤。
其中，图5示例性的展示出了电子设备的架构，具体可以包括处理器510，视频显示适配器511，磁盘驱动器512，输入/输出接口513，网络接口514，以及存储器520。上述处理器510、视频显示适配器511、磁盘驱动器512、输入/输出接口513、网络接口514，与存储器520之间可以通过通信总线530进行通信连接。
其中，处理器510可以采用通用的CPU（Central Processing Unit，处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。
存储器520可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器520可以存储用于控制电子设备500运行的操作系统521，用于控制电子设备500的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器523，数据存储管理系统524，以及视频编码加速处理系统525等等。上述视频编码加速处理系统525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器520中，并由处理器510来调用执行。
输入/输出接口513用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口514用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线530包括一通路，在设备的各个组件（例如处理器510、视频显示适配器511、磁盘驱动器512、输入/输出接口513、网络接口514，与存储器520）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器510、视频显示适配器511、磁盘驱动器512、输入/输出接口513、网络接口514，存储器520，总线530等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本申请所提供的视频编码加速方法及电子设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种视频编码加速方法，其特征在于，所述方法应用于对目标视频进行预测编码过程中，包括：
在多种预测模式中，获得以跳过模式对目标视频的当前预测单元进行帧间预测编码的残差信息，其中所述多种预测模式至少包括融合模式以及跳过模式；
基于所述残差信息确定所述跳过模式的预测结果的准确度符合预设条件的情况下，跳过对融合模式的率失真代价的遍历检查，以便从多种预测模式中除融合模式之外的其他预测模式中确定所述当前预测单元的目标预测模式。
2.根据权利要求1所述的方法，其特征在于，
所述残差信息包括整体残差能量；
所述获得以跳过模式对目标视频的当前预测单元进行帧间预测编码的残差信息，包括：
获得以跳过模式对目标视频的当前预测单元进行帧间预测编码的整体残差能量，以便根据所述整体残差能量确定所述跳过模式的预测结果的准确度是否符合预设条件。
3.根据权利要求2所述的方法，其特征在于，
所述残差信息还包括所述整体残差能量的直流分量以及交流分量，所述直流分量用于反映帧间预测编码的整体误差，所述交流分量用于反映误差在各像素间的变化程度；
所述根据所述整体残差能量确定所述跳过模式的预测结果的准确度是否符合预设条件，包括：
如果所述整体残差能量低于预设阈值，则确定所述整体残差能量的直流分量以及交流分量；
如果所述直流分量与交流分量之间的比值低于预设阈值，则确定所述跳过模式的预测结果的准确度符合预设条件。
4.根据权利要求3所述的方法，其特征在于，
所述确定所述整体残差能量的直流分量以及交流分量，包括：
利用所述整体残差能量在亮度通道上的直流分量以及交流分量进行近似计算。
5.根据权利要求3所述的方法，其特征在于，
所述确定所述整体残差能量的直流分量以及交流分量，包括：
按照预置的步长对所述当前预测单元进行像素采样，并计算平均每像素的整体残差能量的直流分量以及交流分量。
6.根据权利要求2所述的方法，其特征在于，
在确定所述整体残差能量是否低于预设阈值时，通过读取编码器里计算出的所述跳过模式对应的失真程度信息，确定所述当前预测单元的整体残差能量。
7.根据权利要求1所述的方法，其特征在于，所述方法之前还包括：
确定帧级别的运动矢量变化幅度，以用于确定当前帧相对参考帧的运动剧烈程度；所述当前预测单元为所述当前帧中的预测单元；
如果所述运动矢量变化幅度低于预设阈值，则触发执行所述在多种预测模式中，获得以跳过模式对目标视频的当前预测单元进行帧间预测编码的残差信息的步骤。
8.根据权利要求7所述的方法，其特征在于，
所述确定帧级别的运动矢量变化幅度，包括：
根据当前帧的预编码信息中包含的各个局部区域运动矢量幅度的估计值，确定所述当前帧的运动矢量变化幅度。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8任一项所述的方法的步骤。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行权利要求1至8任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311645270.3A CN117376551B (zh) | 2023-12-04 | 2023-12-04 | 视频编码加速方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311645270.3A CN117376551B (zh) | 2023-12-04 | 2023-12-04 | 视频编码加速方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117376551A true CN117376551A (zh) | 2024-01-09 |
| CN117376551B CN117376551B (zh) | 2024-02-23 |
Family
ID=89391359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311645270.3A Active CN117376551B (zh) | 2023-12-04 | 2023-12-04 | 视频编码加速方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117376551B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006112642A1 (en) * | 2005-04-19 | 2006-10-26 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptively selecting context model for entropy coding |
| JP2008028886A (ja) * | 2006-07-25 | 2008-02-07 | Seiko Epson Corp | 画像処理装置およびぼやけ検出方法 |
| US20090074075A1 (en) * | 2007-09-14 | 2009-03-19 | The Hong Kong University Of Science And Technology | Efficient real-time rate control for video compression processes |
| KR20120083200A (ko) * | 2011-01-17 | 2012-07-25 | 삼성전자주식회사 | 깊이 영상 부호화/복호화 장치 및 방법 |
| US20130034152A1 (en) * | 2010-04-16 | 2013-02-07 | Sk Telecom Co., Ltd. | Apparatus and method for encoding/decoding images |
| CN105933717A (zh) * | 2016-04-25 | 2016-09-07 | 北京奇艺世纪科技有限公司 | 一种编码单元的模式决策方法和装置 |
| CN106131546A (zh) * | 2016-07-26 | 2016-11-16 | 王靖韬 | 一种提前确定hevc合并和跳过编码模式的方法 |
| WO2017113152A1 (zh) * | 2015-12-30 | 2017-07-06 | 天彩电子（深圳）有限公司 | 基于多组光源的心率测量方法及实现该方法的穿戴式设备 |
| CN107113446A (zh) * | 2014-12-09 | 2017-08-29 | 联发科技股份有限公司 | 视频编码中的运动矢量预测子或合并候选的推导方法 |
| CN107211124A (zh) * | 2015-01-27 | 2017-09-26 | 高通股份有限公司 | 适应性跨分量残差预测 |
| CN113382260A (zh) * | 2019-06-21 | 2021-09-10 | 杭州海康威视数字技术股份有限公司 | 预测模式的解码、编码方法及装置 |
| WO2022237168A1 (zh) * | 2021-05-10 | 2022-11-17 | 浙江智慧视频安防创新中心有限公司 | 一种顺序执行的帧间帧内联合预测编解码的方法及装置 |
| CN115426499A (zh) * | 2017-03-31 | 2022-12-02 | 明达半导体股份有限公司 | 图像解码方法和图像编码方法 |
| WO2022261838A1 (zh) * | 2021-06-15 | 2022-12-22 | Oppo广东移动通信有限公司 | 残差编码和视频编码方法、装置、设备和系统 |
| CN116156167A (zh) * | 2022-03-04 | 2023-05-23 | 杭州海康威视数字技术股份有限公司 | 一种残差跳过编解码方法及装置 |
| CN116489385A (zh) * | 2023-05-15 | 2023-07-25 | 腾讯科技（深圳）有限公司 | 视频编码方法、解码方法、装置、电子设备及存储介质 |
| CN117156133A (zh) * | 2023-10-27 | 2023-12-01 | 淘宝（中国）软件有限公司 | 一种视频编码的帧间预测模式选择方法及装置 |
-
2023
- 2023-12-04 CN CN202311645270.3A patent/CN117376551B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006112642A1 (en) * | 2005-04-19 | 2006-10-26 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptively selecting context model for entropy coding |
| JP2008028886A (ja) * | 2006-07-25 | 2008-02-07 | Seiko Epson Corp | 画像処理装置およびぼやけ検出方法 |
| US20090074075A1 (en) * | 2007-09-14 | 2009-03-19 | The Hong Kong University Of Science And Technology | Efficient real-time rate control for video compression processes |
| US20130034152A1 (en) * | 2010-04-16 | 2013-02-07 | Sk Telecom Co., Ltd. | Apparatus and method for encoding/decoding images |
| KR20120083200A (ko) * | 2011-01-17 | 2012-07-25 | 삼성전자주식회사 | 깊이 영상 부호화/복호화 장치 및 방법 |
| CN107113446A (zh) * | 2014-12-09 | 2017-08-29 | 联发科技股份有限公司 | 视频编码中的运动矢量预测子或合并候选的推导方法 |
| CN107211124A (zh) * | 2015-01-27 | 2017-09-26 | 高通股份有限公司 | 适应性跨分量残差预测 |
| WO2017113152A1 (zh) * | 2015-12-30 | 2017-07-06 | 天彩电子（深圳）有限公司 | 基于多组光源的心率测量方法及实现该方法的穿戴式设备 |
| CN105933717A (zh) * | 2016-04-25 | 2016-09-07 | 北京奇艺世纪科技有限公司 | 一种编码单元的模式决策方法和装置 |
| CN106131546A (zh) * | 2016-07-26 | 2016-11-16 | 王靖韬 | 一种提前确定hevc合并和跳过编码模式的方法 |
| CN115426499A (zh) * | 2017-03-31 | 2022-12-02 | 明达半导体股份有限公司 | 图像解码方法和图像编码方法 |
| CN113382260A (zh) * | 2019-06-21 | 2021-09-10 | 杭州海康威视数字技术股份有限公司 | 预测模式的解码、编码方法及装置 |
| CN113382261A (zh) * | 2019-06-21 | 2021-09-10 | 杭州海康威视数字技术股份有限公司 | 预测模式的解码、编码方法及装置 |
| WO2022237168A1 (zh) * | 2021-05-10 | 2022-11-17 | 浙江智慧视频安防创新中心有限公司 | 一种顺序执行的帧间帧内联合预测编解码的方法及装置 |
| WO2022261838A1 (zh) * | 2021-06-15 | 2022-12-22 | Oppo广东移动通信有限公司 | 残差编码和视频编码方法、装置、设备和系统 |
| CN116156167A (zh) * | 2022-03-04 | 2023-05-23 | 杭州海康威视数字技术股份有限公司 | 一种残差跳过编解码方法及装置 |
| CN116489385A (zh) * | 2023-05-15 | 2023-07-25 | 腾讯科技（深圳）有限公司 | 视频编码方法、解码方法、装置、电子设备及存储介质 |
| CN117156133A (zh) * | 2023-10-27 | 2023-12-01 | 淘宝（中国）软件有限公司 | 一种视频编码的帧间预测模式选择方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| ZHENG LIU: "Deep Multi-Task Learning Based Fast Intra-Mode Decision for Versatile Video Coding", 《 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY ( VOLUME: 33, ISSUE: 10, OCTOBER 2023)》 * |
| 朱威;张训华;王财盛;张桦;: "基于时空相关性的HEVC帧间模式决策快速算法", 通信学报, no. 04 * |
| 马祥: "利用视频与深度图相关性的深度图帧内编码", 《西安电子科技大学学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117376551B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2010035370A1 (ja) | 動画像符号化方法および動画像復号化方法 | |
| US20050190977A1 (en) | Method and apparatus for video encoding | |
| US20120027092A1 (en) | Image processing device, system and method | |
| US20090097546A1 (en) | System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate | |
| US10368071B2 (en) | Encoding data arrays | |
| CN104284197A (zh) | 视频编码器及其操作方法 | |
| RU2684193C1 (ru) | Устройство и способ для компенсации движения в видеоизображении | |
| US11425372B2 (en) | Video picture decoding and encoding method and apparatus | |
| EP4262203A1 (en) | Method and apparatus for video predictive coding | |
| US20140233645A1 (en) | Moving image encoding apparatus, method of controlling the same, and program | |
| US20130336387A1 (en) | Video encoding device, video encoding method and video encoding program | |
| US20220109830A1 (en) | Method for constructing merge candidate motion information list, apparatus, and codec | |
| CN108401185B (zh) | 参考帧选择方法、视频转码方法、电子设备和存储介质 | |
| US20120207212A1 (en) | Visually masked metric for pixel block similarity | |
| KR20010053814A (ko) | 영상 부호화 시스템의 부호화방식 선택장치 및 방법 | |
| CN117376551B (zh) | 视频编码加速方法及电子设备 | |
| KR100771640B1 (ko) | 고속 모드 결정 기능을 구비한 ｈ.２６４ 인코더 | |
| US11902506B2 (en) | Video encoder, video decoder, and corresponding methods | |
| JP4126044B2 (ja) | 動画像符号化装置及び方法 | |
| JP2009284058A (ja) | 動画像符号化装置 | |
| US9049442B2 (en) | Moving image encoding apparatus and method for controlling the same | |
| CN116982262A (zh) | 视频编码中依赖性量化的状态转换 | |
| CN113542737A (zh) | 编码模式确定方法、装置、电子设备及存储介质 | |
| JP4676513B2 (ja) | 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体 | |
| CN112218086A (zh) | 编码、解码方法、传输方法、编码、解码装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |