CN112399176A - 一种视频编码方法、装置、计算机设备及存储介质 - Google Patents

一种视频编码方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112399176A
CN112399176A CN202011286774.7A CN202011286774A CN112399176A CN 112399176 A CN112399176 A CN 112399176A CN 202011286774 A CN202011286774 A CN 202011286774A CN 112399176 A CN112399176 A CN 112399176A
Authority
CN
China
Prior art keywords
coded
video frame
current
video
code rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011286774.7A
Other languages
English (en)
Other versions
CN112399176B (zh
Inventor
王妙辉
张家麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chuangzhisheng Technology Co ltd
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011286774.7A priority Critical patent/CN112399176B/zh
Publication of CN112399176A publication Critical patent/CN112399176A/zh
Application granted granted Critical
Publication of CN112399176B publication Critical patent/CN112399176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开了一种视频编码方法、装置、计算机设备及存储介质。该方法包括：获取待编码视频图像组及其总码率和其中每个视频帧分配得到的初始码率；利用预设滤波核提取当前待编码视频帧的内容特征；确定当前未编码帧数以及前一同图像级别视频帧的压缩质量，并根据总码率确定当前剩余码率；将当前待编码视频帧的初始码率、内容特征、当前未编码帧数、当前剩余码率以及前一同图像级别视频帧的压缩质量输入训练好的强化学习模型中，以预测当前待编码视频帧的量化参数；根据量化参数对当前待编码视频帧进行编码。解决了在信道带宽有限的场景下编码屏幕内容视频时出现的码率不稳定和质量波动等问题，从而提升视频的视觉质量。

Description

一种视频编码方法、装置、计算机设备及存储介质
技术领域
本发明实施例涉及视频编码技术领域，尤其涉及一种视频编码方法、装置、计算机设备及存储介质。
背景技术
在视频编码中，码率控制是一项重要的技术。码率控制的目的是在码率有限的情况下，合理使用比特进行编码以使视频压缩后的失真最小。现有的视频编码标准高效视频编(HEVC)的参考软件HM中主要采用提案JCTVC-K0103提出的R-λ模型进行码率控制算法。
但是现有的码率控制算法是基于自然场景视频所建立的，仅考虑了目标码率在码率控制中的作用，并不能适用于屏幕内容视频，缺少考虑屏幕内容视频内容的特性。屏幕内容视频在游戏直播、在线教育以及远程会议中有着广泛的应用，相比于传统的自然场景视频，屏幕内容视频一般具有物体不规则运动、场景突变、更锐利的图像边缘和更多的平坦单调区域等情况。因此，现有的码率控制算法针对屏幕内容视频的码率控制不够精准，且屏幕内容视频的场景突变的特点会给压缩后的图像造成更多的失真，以及码率缓冲区的视频质量的波动。
发明内容
本发明实施例提供一种视频编码方法、装置、计算机设备及存储介质，以有效解决在信道带宽有限的场景下编码屏幕内容视频时出现的码率不稳定和质量波动等问题，从而提高码率控制的准确性，提升视频的视觉质量。
第一方面，本发明实施例提供了一种视频编码方法，该方法包括：
A、获取待编码视频图像组以及所述待编码视频图像组分配得到的总码率和所述待编码视频图像组中每个视频帧分配得到的初始码率；
B、利用预设滤波核对当前待编码视频帧的内容特征进行提取，所述内容特征包括能量特征、强度特征、形状特征以及平滑性特征；
C、确定所述待编码视频图像组的当前未编码帧数以及所述当前待编码视频帧的前一同图像级别视频帧的压缩质量，并根据所述总码率确定所述待编码视频图像组的当前剩余码率；
D、将所述当前待编码视频帧的初始码率、所述内容特征、所述当前未编码帧数、所述当前剩余码率以及所述前一同图像级别视频帧的压缩质量输入训练好的强化学习模型中，以对所述当前待编码视频帧的量化参数进行预测；
E、根据所述量化参数对所述当前待编码视频帧进行编码；
F、判断当前是否满足预设结束条件；若是，则结束所述待编码视频图像组的编码过程；若否，则将所述当前待编码视频帧更新为后一视频帧并返回执行步骤B。
第二方面，本发明实施例还提供了一种视频编码装置，该装置包括：
初始码率获取模块，用于获取待编码视频图像组以及所述待编码视频图像组分配得到的总码率和所述待编码视频图像组中每个视频帧分配得到的初始码率；
内容特征提取模块，用于利用预设滤波核对当前待编码视频帧的内容特征进行提取，所述内容特征包括能量特征、强度特征、形状特征以及平滑性特征；
剩余码率确定模块，用于确定所述待编码视频图像组的当前未编码帧数以及所述当前待编码视频帧的前一同图像级别视频帧的压缩质量，并根据所述总码率确定所述待编码视频图像组的当前剩余码率；
量化参数预测模块，用于将所述当前待编码视频帧的初始码率、所述内容特征、所述当前未编码帧数、所述当前剩余码率以及所述前一同图像级别视频帧的压缩质量输入训练好的强化学习模型中，以对所述当前待编码视频帧的量化参数进行预测；
编码模块，用于根据所述量化参数对所述当前待编码视频帧进行编码；
结束条件判断模块，用于判断当前是否满足预设结束条件；若是，则结束所述待编码视频图像组的编码过程；若否，则将所述当前待编码视频帧更新为后一视频帧并返回所述内容特征提取模块继续执行。
第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的视频编码方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的视频编码方法。
本发明实施例提供了一种视频编码方法，首先获取待编码视频图像组以及待编码视频图像组分配得到的总码率和其中每个视频帧分配得到的初始码率，再利用预设滤波核对当前待编码视频帧的能量特征、强度特征、形状特征以及平滑性特征等内容特征进行提取，并确定待编码视频图像组当前未编码帧数、当前剩余码率以及当前待编码视频帧的前一同图像级别视频帧的压缩质量，然后将得到的当前待编码视频帧的初始码率、内容特征、当前未编码帧数、当前剩余码率以及前一同图像级别视频帧的压缩质量作为输入特征输入到训练好的强化学习模型中，以预测得到当前待编码视频帧在编码过程中所需的量化参数，从而根据该量化参数对当前待编码视频帧进行编码。本发明实施例所提供的技术方案，通过分析被编码的视频帧的图像内容特征，同时结合编码器的当前状态信息，并通过强化学习的方法预测对应的量化参数，实现了对内容特征，尤其是屏幕内容视频的内容特征更好的利用，有效的解决了在信道带宽有限的场景下编码屏幕内容视频时出现的码率不稳定和质量波动等问题，从而提高码率控制的准确性，提升视频的视觉质量。
附图说明
图1为本发明实施例一提供的视频编码方法的流程图；
图2为本发明实施例二提供的视频编码装置的结构示意图；
图3为本发明实施例三提供的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的视频编码方法的流程图。本实施例可适用于对各种场景视频，尤其是屏幕内容视频进行优化编码的情况，该方法可以由本发明实施例提供的视频编码装置来执行，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中。如图1所示，具体包括如下步骤：
S11、获取待编码视频图像组以及待编码视频图像组分配得到的总码率和待编码视频图像组中每个视频帧分配得到的初始码率。
其中，视频图像组(Group of picture，GOP)是指一组连续的画面，具体可以指视频中两个I帧之间的画面，用来辅助随机存取。在视频编码的过程中，可以视频图像组为单位按顺序进行编码，即可以在待编码视频输入时，按顺序获取到待编码视频中的每一个待编码视频图像组。当获取到一个视频图像组并对其进行编码时，该视频图像组即为待编码视频图像组。在待编码视频输入的同时，还可以根据HEVC现有的码率分配方法计算得到待编码视频图像组分配得到的总码率，以及待编码视频图像组中每个视频帧分配得到的初始码率。具体的，当前待编码视频帧的初始码率的分配过程可以通过如下公式来实现：
Figure BDA0002782650690000061
其中，Rf表示当前待编码视频帧分配得到的初始码率，RG表示待编码视频图像组分配得到的总码率，CodedGOP表示待编码视频图像组中已经编码的视频帧的数量，ωPic和ωPicCurr分别表示待编码视频图像组中每个视频帧的权重值和当前待编码视频帧的权重值。
S12、利用预设滤波核对当前待编码视频帧的内容特征进行提取，内容特征包括能量特征、强度特征、形状特征以及平滑性特征。
具体的，当开始对当前待编码视频帧进行编码时，首先可以对当前待编码视频帧的内容特征进行提取，以便通过分析当前待编码视频帧的内容特性来更好的确定其编码方式，即实现更好的对编码所用的量化参数进行预测。具体可以先根据预设滤波核对当前待编码视频帧进行卷积操作，以获得可以表示图像轮廓特征的特征矩阵，再根据特征矩阵来确定当前待编码视频帧的各种内容特征。
可选的，预设滤波核包括对应至少一种尺寸以及至少一种角度的至少一个滤波核。优选的，预设滤波核可以由多种尺寸以及多种角度的滤波核组成，从而可以获得图像不同细致程度以及不同方向上的结构显著性特征，进而可以对当前待编码视频帧的内容特性进行更加准确且全面的分析，具体即可以通过将各个的滤波核分别对当前待编码视频帧进行卷积操作来实现。
进一步可选的，预设滤波核包括对应三种尺寸以及三种角度的九个滤波核，三种尺寸分别为3×3、5×5和7×7，三种角度分别为0度、45度和90度；相应的，利用预设滤波核对当前待编码视频帧的内容特征进行提取，内容特征包括能量特征、强度特征、形状特征以及平滑性特征，包括：将九个滤波核分别与当前待编码视频帧进行卷积操作，得到不同细致程度以及不同方向的九个特征矩阵；根据九个特征矩阵以及第一公式确定能量特征，第一公式为：
Figure BDA0002782650690000071
其中，G1表示能量特征，可以反映当前待编码视频帧整体的能量信息，Gn(i，j，θ)表示对应尺寸为n×n角度为θ的滤波核的特征矩阵中位置为(i，j)的灰度值，S表示预设滤波核的尺寸的值域，即S＝[3，5，7]，X表示滤波核的角度的值域，即X＝[0°，45°，90°]，n1、n2和n3分别表示预设滤波核的三种尺寸，ω1表示第一调节系数，具体可以设置为0.97，N表示当前待编码视频帧的像素数量；
根据九个特征矩阵以及第二公式确定强度特征，第二公式为：
Figure BDA0002782650690000072
其中，G2表示强度特征，可以反映当前待编码视频帧整体的强度信息，ω2表示第二调节系数，具体可以设置为7.77，α1表示第一正比例因子，具体可以设置为2.20，α2表示第二正比例因子，具体可以设置为1.86，正比例因子可用于调节每个部分的相对重要性，C1表示第一稳定系数，具体可以设置为-20，C2表示第二稳定系数，具体可以设置为18，稳定系数可用于维持稳定；
根据九个特征矩阵以及第三公式确定形状特征，第三公式为：
Figure BDA0002782650690000073
其中，G3表示形状特征，可以反映当前待编码视频帧整体的形状信息，ω3表示第三调节系数，具体可以设置为233；
根据九个特征矩阵、第四公式以及第五公式确定平滑性特征，第四公式和第五公式分别为：
Figure BDA0002782650690000081
Figure BDA0002782650690000082
其中，Vn(θ)表示对应尺寸为n×n的滤波核当前待编码视频帧在θ方向上的平滑性特征，
Figure BDA0002782650690000083
表示对应尺寸为n×n角度为θ的滤波核的特征矩阵的平均值，G4表示当前待编码视频帧在三种滤波核尺寸以及三种角度上的平滑性特征，可以反映当前待编码视频帧整体的平滑程度，ω4表示第四调节系数，具体可以设置为0.58，ω5表示第五调节系数，具体可以设置为80.2，α3表示第三正比例因子，具体可以设置为2.3，α4表示第四正比例因子，具体可以设置为2.4。
进一步可选的，将九个滤波核分别与当前待编码视频帧进行卷积操作，得到不同细致程度以及不同方向的九个特征矩阵，包括：
Figure BDA0002782650690000084
其中，Gn(θ)表示对应尺寸为n×n角度为θ的滤波核的特征矩阵，I表示当前待编码视频帧，
Figure BDA0002782650690000085
表示当前待编码视频帧的亮度平均值，gn(θ)表示尺寸为n×n角度为θ的滤波核，ω6表示第六调节系数，具体可以设置为0.16。
具体的，当预设滤波核包括对应三种尺寸以及三种角度的九个滤波核时，分别完成卷积操作后即可获得对应的九个特征矩阵，随后即可根据这九个特征矩阵来确定当前待编码视频帧的各个内容特征的值。
S13、确定待编码视频图像组的当前未编码帧数以及当前待编码视频帧的前一同图像级别视频帧的压缩质量，并根据总码率确定待编码视频图像组的当前剩余码率。
具体的，随着对待编码视频图像组中的各个视频帧进行编码的过程中，当前未编码帧数会不断减少，具体可以在编码过程中对已完成编码的视频帧进行统计，并通过将待编码视频图像组中视频帧的总数减去已完成编码的视频帧的数量来确定，则在针对当前待编码视频帧进行编码的过程中，即可根据当前统计得到的已完成编码的视频帧的数量来确定当前未编码帧数。同样的，在编码过程中还可以对已完成编码的视频帧分配得到的实际码率进行统计，从而根据待编码视频图像组可用于分配的总码率计算得到当前剩余码率。图像的压缩质量可以理解为失真视频相对于原始视频的相似程度或保真程度，具体可以通过均方误差(MSE)、峰值信噪比(PSNR)或结构相似性评价(SSIM)等方法计算得到，在针对当前待编码视频帧进行编码的过程中，前一同图像级别视频帧已经编码完成，则可以获得前一同图像级别视频帧编码后的失真图像，再通过与前一同图像级别视频帧的原始图像进行比较，从而获得当前待编码视频帧的前一同图像级别视频帧的压缩质量。
S14、将当前待编码视频帧的初始码率、内容特征、当前未编码帧数、当前剩余码率以及前一同图像级别视频帧的压缩质量输入训练好的强化学习模型中，以对当前待编码视频帧的量化参数进行预测。
其中，强化学习又称再励学习、评价学习或增强学习，可用于描述和解决智能体在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。具体的，在步骤t中，由智能体(Agent)接收到观察环境(Environment)的状态(State)和奖励信号(Reward)的信息，当给定一种状态st和奖励信号rt时，智能体可以根据策略π(at|st)对环境执行一种动作at(Action)，当执行完动作at后，作为回应环境会转换成一个新的状态st+1，并且会得到一个新的奖励信号rt+1用于下一次操作，最终的目标即是使得累计的奖励最大化。强化学习的常见模型是标准的马尔可夫决策过程，在本实施例中，即可将传统的码率控制问题转化表示为一个马尔可夫决策问题，具体可以将帧层的码率控制算法定义为智能体，将编码用的量化参数定义为动作，将编码器定义为环境，从而智能体可以根据编码器的环境来决定用于编码当前待编码视频帧的量化参数。具体的，将当前待编码视频帧的初始码率、内容特征、待编码视频图像组的当前未编码帧数、当前剩余码率以及前一同图像级别视频帧的压缩质量输入训练好的强化学习模型中，即可预测得到当前待编码视频帧的量化参数。
具体的，可以利用强化学习方法训练得到一个强化学习模型，从而根据输入特征预测当前待编码视频帧的量化参数。可选的，强化学习模型采用深度强化学习算法A3C。A3C主要分为两个部分，分别是行动者(Actor)和评判者(Critic)，行动者控制智能体的动作而评判者用于评估动作的优劣，行动者是一个策略网络而评判者是一个价值方程网络。训练和测试所用的数据库由HEVC的标准测试序列组成，其中，HEVC的标准测试序列有24个，按照分辨率或者内容特性可以分为6个种类。在本实施例中，可以从6个种类中分别选取1-2个序列，共12个序列作为训练数据，将剩余的序列作为测试序列，在这些序列中，可以从各个序列中选取前200帧作为样本数据集，在确定了训练用的数据之后，即可通过获取相应的输入特征和输出特征，对强化学习模型进行训练。在训练过程中，可以通过调节行动者学习率、评价者学习率、训练数据以及衰减因子来优化强化学习模型的网络参数。
可选的，强化学习模型的奖励信号的计算方法为：
r＝α×β×γ
Figure BDA0002782650690000111
Figure BDA0002782650690000112
Figure BDA0002782650690000113
其中，r表示奖励信号，α表示当前待编码视频帧的结构相似性，即可以通过结构相似性评价方法确定，x和y分别表示当前待编码视频帧压缩后的图像和原图，μx和μy分别表示x和y的亮度平均值，σx和σy分别表示x和y的标准差，σxy表示x和y的协方差，ω7表示第七调节系数，具体可以设置为0.08，ω8表示第八调节系数，具体可以设置为1.21，C3表示第三稳定系数，具体可以设置为5.90，C4表示第四稳定系数，具体可以设置为3.73，C5表示第五稳定系数，具体可以设置为-1.03，δ1表示第五正比例因子，具体可以设置为2.3，δ2表示第六正比例因子，具体可以设置为2.1，δ3表示第七正比例因子，具体可以设置为2.4，β表示当前待编码视频帧与前一视频帧之间的质量波动，αPre_frame表示前一视频帧的结构相似性，C6表示第六稳定系数，具体可以设置为1.68，δ4表示第八正比例因子，具体可以设置为2.3，γ表示当前待编码视频帧的实际码率与当前待编码视频帧的初始码率之间的差距，T表示待编码视频图像组中每个视频帧的初始码率的平均值，Ncoded表示待编码视频图像组中已编码的视频帧数量，Ri表示实际码率，ω9表示第九调节系数，具体可以设置为1.37，δ5表示第九正比例因子，具体可以设置为2.4。
S15、根据量化参数对当前待编码视频帧进行编码。
具体的，编码的过程可以由现有的HEVC的GOP级别码率分配方法来实现，即可以根据离散余弦变换的量化参数的大小来输出当前待编码视频帧的实际码率。其中，量化参数反映了空间细节压缩情况，如果量化参数小，则大部分的细节都会被保留，而当量化参数增大，一些细节丢失，码率降低，图像失真加强且质量下降，即量化参数和码率成反比关系，而且随着视频源的复杂度提高，反比关系会更加明显。
S16、判断当前是否满足预设结束条件；若是，则结束待编码视频图像组的编码过程；若否，执行S17。
S17、将当前待编码视频帧更新为后一视频帧并返回执行S12。
具体的，在满足预设结束条件之前，每完成一次当前待编码视频帧的编码过程，即可以向后继续对后一视频帧重复进行特征提取、量化参数预测以及码率分配等编码过程，当满足了预设结束条件时，即完成了整个待编码视频图像组的编码过程，此时即可跳出循环，以结束该待编码视频图像组的编码过程。在此基础上，还可以在需要时逐个对下一待编码视频图像组重复上述的整个编码过程。
可选的，判断当前是否满足预设结束条件，包括：更新当前剩余码率；判断当前剩余码率是否小于零或者当前待编码视频帧是否为待编码视频图像组中的最后一个视频帧。具体的，在编码过程中可以对已完成编码的视频帧分配得到的实际码率进行统计，从而再根据待编码视频图像组可用于分配的总码率计算当前剩余码率，从而评估是否还存在可分配的码率以继续编码的过程，具体可以在每完成一次当前待编码视频帧的编码过程之后，更新一次待编码视频图像组的当前剩余码率。同时，在每次当前待编码视频帧完成编码之后，还可以判断当前待编码视频帧是否已经是待编码视频图像组的最后一帧，即若当前剩余码率小于零或者当前待编码视频帧是待编码视频图像组中的最后一个视频帧，则结束该待编码视频图像组的编码过程，否则，则继续后一视频帧的编码过程。
本发明实施例所提供的技术方案，首先获取待编码视频图像组以及待编码视频图像组分配得到的总码率和其中每个视频帧分配得到的初始码率，再利用预设滤波核对当前待编码视频帧的能量特征、强度特征、形状特征以及平滑性特征等内容特征进行提取，并确定待编码视频图像组当前未编码帧数、当前剩余码率以及当前待编码视频帧的前一同图像级别视频帧的压缩质量，然后将得到的当前待编码视频帧的初始码率、内容特征、当前未编码帧数、当前剩余码率以及前一同图像级别视频帧的压缩质量作为输入特征输入到训练好的强化学习模型中，以预测得到当前待编码视频帧在编码过程中所需的量化参数，从而根据该量化参数对当前待编码视频帧进行编码。通过分析被编码的视频帧的图像内容特征，同时结合编码器的当前状态信息，并通过强化学习的方法预测对应的量化参数，实现了对内容特征，尤其是屏幕内容视频的内容特征更好的利用，有效的解决了在信道带宽有限的场景下编码屏幕内容视频时出现的码率不稳定和质量波动等问题，从而提高码率控制的准确性，提升视频的视觉质量。
实施例二
图2为本发明实施例二提供的视频编码装置的结构示意图，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中。如图2所示，该装置包括：
初始码率获取模块21，用于获取待编码视频图像组以及待编码视频图像组分配得到的总码率和待编码视频图像组中每个视频帧分配得到的初始码率；
内容特征提取模块22，用于利用预设滤波核对当前待编码视频帧的内容特征进行提取，内容特征包括能量特征、强度特征、形状特征以及平滑性特征；
剩余码率确定模块23，用于确定待编码视频图像组的当前未编码帧数以及当前待编码视频帧的前一同图像级别视频帧的压缩质量，并根据总码率确定待编码视频图像组的当前剩余码率；
量化参数预测模块24，用于将当前待编码视频帧的初始码率、内容特征、当前未编码帧数、当前剩余码率以及前一同图像级别视频帧的压缩质量输入训练好的强化学习模型中，以对当前待编码视频帧的量化参数进行预测；
编码模块25，用于根据量化参数对当前待编码视频帧进行编码；
结束条件判断模块26，用于判断当前是否满足预设结束条件；若是，则结束待编码视频图像组的编码过程；若否，则将当前待编码视频帧更新为后一视频帧并返回内容特征提取模块继续执行。
本发明实施例所提供的技术方案，首先获取待编码视频图像组以及待编码视频图像组分配得到的总码率和其中每个视频帧分配得到的初始码率，再利用预设滤波核对当前待编码视频帧的能量特征、强度特征、形状特征以及平滑性特征等内容特征进行提取，并确定待编码视频图像组当前未编码帧数、当前剩余码率以及当前待编码视频帧的前一同图像级别视频帧的压缩质量，然后将得到的当前待编码视频帧的初始码率、内容特征、当前未编码帧数、当前剩余码率以及前一同图像级别视频帧的压缩质量作为输入特征输入到训练好的强化学习模型中，以预测得到当前待编码视频帧在编码过程中所需的量化参数，从而根据该量化参数对当前待编码视频帧进行编码。通过分析被编码的视频帧的图像内容特征，同时结合编码器的当前状态信息，并通过强化学习的方法预测对应的量化参数，实现了对内容特征，尤其是屏幕内容视频的内容特征更好的利用，有效的解决了在信道带宽有限的场景下编码屏幕内容视频时出现的码率不稳定和质量波动等问题，从而提高码率控制的准确性，提升视频的视觉质量。
在上述技术方案的基础上，可选的，预设滤波核包括对应至少一种尺寸以及至少一种角度的至少一个滤波核。
在上述技术方案的基础上，可选的，预设滤波核包括对应三种尺寸以及三种角度的九个滤波核，三种尺寸分别为3×3、5×5和7×7，三种角度分别为0度、45度和90度；
相应的，内容特征提取模块22，包括：
特征矩阵获取单元，用于将九个滤波核分别与当前待编码视频帧进行卷积操作，得到不同细致程度以及不同方向的九个特征矩阵；
能量特征确定单元，用于根据九个特征矩阵以及第一公式确定能量特征，第一公式为：
Figure BDA0002782650690000151
其中，G1表示能量特征，Gn(i，j，θ)表示对应尺寸为n×n角度为θ的滤波核的特征矩阵中位置为(i，j)的灰度值，S表示预设滤波核的尺寸的值域，X表示滤波核的角度的值域，n1、n2和n3分别表示预设滤波核的三种尺寸，ω1表示第一调节系数，N表示当前待编码视频帧的像素数量；
强度特征确定单元，用于根据九个特征矩阵以及第二公式确定强度特征，第二公式为：
Figure BDA0002782650690000152
其中，G2表示强度特征，ω2表示第二调节系数，α1表示第一正比例因子，α2表示第二正比例因子，C1表示第一稳定系数，C2表示第二稳定系数；
形状特征确定单元，用于根据九个特征矩阵以及第三公式确定形状特征，第三公式为：
Figure BDA0002782650690000161
其中，G3表示形状特征，ω3表示第三调节系数；
平滑性特征确定单元，用于根据九个特征矩阵、第四公式以及第五公式确定平滑性特征，第四公式和第五公式分别为：
Figure BDA0002782650690000162
Figure BDA0002782650690000163
其中，Vn(θ)表示对应尺寸为n×n的滤波核当前待编码视频帧在θ方向上的平滑性特征，
Figure BDA0002782650690000164
表示对应尺寸为n×n角度为θ的滤波核的特征矩阵的平均值，G4表示当前待编码视频帧在三种滤波核尺寸以及三种角度上的平滑性特征，ω4表示第四调节系数，ω5表示第五调节系数，α3表示第三正比例因子，α4表示第四正比例因子。
在上述技术方案的基础上，可选的，特征矩阵获取单元具体用于：
Figure BDA0002782650690000165
其中，Gn(θ)表示对应尺寸为n×n角度为θ的滤波核的特征矩阵，I表示当前待编码视频帧，
Figure BDA0002782650690000166
表示当前待编码视频帧的亮度平均值，gn(θ)表示尺寸为n×n角度为θ的滤波核，ω6表示第六调节系数。
在上述技术方案的基础上，可选的，结束条件判断模块26，包括：
剩余码率更新单元，用于更新当前剩余码率；
判断单元，用于判断当前剩余码率是否小于零或者当前待编码视频帧是否为待编码视频图像组中的最后一个视频帧。
在上述技术方案的基础上，可选的，强化学习模型的奖励信号的计算方法为：
r＝α×β×γ
Figure BDA0002782650690000171
Figure BDA0002782650690000172
Figure BDA0002782650690000173
其中，r表示奖励信号，α表示当前待编码视频帧的结构相似性，x和y分别表示当前待编码视频帧压缩后的图像和原图，μx和μy分别表示x和y的亮度平均值，σx和σy分别表示x和y的标准差，σxy表示x和y的协方差，ω7表示第七调节系数，ω8表示第八调节系数，C3表示第三稳定系数，C4表示第四稳定系数，C5表示第五稳定系数，δ1表示第五正比例因子，δ2表示第六正比例因子，δ3表示第七正比例因子，β表示当前待编码视频帧与前一视频帧之间的质量波动，αPre_frame表示前一视频帧的结构相似性，C6表示第六稳定系数，δ4表示第八正比例因子，γ表示当前待编码视频帧的实际码率与当前待编码视频帧的初始码率之间的差距，T表示待编码视频图像组中每个视频帧的初始码率的平均值，Ncoded表示待编码视频图像组中已编码的视频帧数量，Ri表示实际码率，ω9表示第九调节系数，δ5表示第九正比例因子。
在上述技术方案的基础上，可选的，强化学习模型采用深度强化学习算法A3C。
本发明实施例所提供的视频编码装置可执行本发明任意实施例所提供的视频编码方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，在上述视频编码装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例三
图3为本发明实施例三提供的计算机设备的结构示意图，示出了适于用来实现本发明实施方式的示例性计算机设备的框图。图3显示的计算机设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图3所示，该计算机设备包括处理器31、存储器32、输入装置33及输出装置34；计算机设备中处理器31的数量可以是一个或多个，图3中以一个处理器31为例，计算机设备中的处理器31、存储器32、输入装置33及输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的视频编码方法对应的程序指令/模块(例如，视频编码装置中的初始码率获取模块21、内容特征提取模块22、剩余码率确定模块23、量化参数预测模块24、编码模块25及结束条件判断模块26)。处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的视频编码方法。
存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置33可用于接收待编码视频图像以及产生与计算机设备的用户设置和功能控制有关的键信号输入等。输出装置34可用于向视频接收端发送编码完成的视频数据等。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行一种视频编码方法，该方法包括：
A、获取待编码视频图像组以及待编码视频图像组分配得到的总码率和待编码视频图像组中每个视频帧分配得到的初始码率；
B、利用预设滤波核对当前待编码视频帧的内容特征进行提取，内容特征包括能量特征、强度特征、形状特征以及平滑性特征；
C、确定待编码视频图像组的当前未编码帧数以及当前待编码视频帧的前一同图像级别视频帧的压缩质量，并根据总码率确定待编码视频图像组的当前剩余码率；
D、将当前待编码视频帧的初始码率、内容特征、当前未编码帧数、当前剩余码率以及前一同图像级别视频帧的压缩质量输入训练好的强化学习模型中，以对当前待编码视频帧的量化参数进行预测；
E、根据量化参数对当前待编码视频帧进行编码；
F、判断当前是否满足预设结束条件；若是，则结束待编码视频图像组的编码过程；若否，则将当前待编码视频帧更新为后一视频帧并返回执行步骤B。
存储介质可以是任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的视频编码方法中的相关操作。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种视频编码方法，其特征在于，包括：
A、获取待编码视频图像组以及所述待编码视频图像组分配得到的总码率和所述待编码视频图像组中每个视频帧分配得到的初始码率；
B、利用预设滤波核对当前待编码视频帧的内容特征进行提取，所述内容特征包括能量特征、强度特征、形状特征以及平滑性特征；
C、确定所述待编码视频图像组的当前未编码帧数以及所述当前待编码视频帧的前一同图像级别视频帧的压缩质量，并根据所述总码率确定所述待编码视频图像组的当前剩余码率；
D、将所述当前待编码视频帧的初始码率、所述内容特征、所述当前未编码帧数、所述当前剩余码率以及所述前一同图像级别视频帧的压缩质量输入训练好的强化学习模型中，以对所述当前待编码视频帧的量化参数进行预测；
E、根据所述量化参数对所述当前待编码视频帧进行编码；
F、判断当前是否满足预设结束条件；若是，则结束所述待编码视频图像组的编码过程；若否，则将所述当前待编码视频帧更新为后一视频帧并返回执行步骤B。
2.根据权利要求1所述的视频编码方法，其特征在于，所述预设滤波核包括对应至少一种尺寸以及至少一种角度的至少一个滤波核。
3.根据权利要求2所述的视频编码方法，其特征在于，所述预设滤波核包括对应三种尺寸以及三种角度的九个滤波核，所述三种尺寸分别为3×3、5×5和7×7，所述三种角度分别为0度、45度和90度；
相应的，所述利用预设滤波核对当前待编码视频帧的内容特征进行提取，所述内容特征包括能量特征、强度特征、形状特征以及平滑性特征，包括：
将所述九个滤波核分别与所述当前待编码视频帧进行卷积操作，得到不同细致程度以及不同方向的九个特征矩阵；
根据所述九个特征矩阵以及第一公式确定所述能量特征，所述第一公式为：
Figure FDA0002782650680000021
其中，G1表示所述能量特征，Gn(i，j，θ)表示对应尺寸为n×n角度为θ的滤波核的特征矩阵中位置为(i，j)的灰度值，S表示所述预设滤波核的尺寸的值域，X表示所述滤波核的角度的值域，n1、n2和n3分别表示所述预设滤波核的三种尺寸，ω1表示第一调节系数，N表示所述当前待编码视频帧的像素数量；
根据所述九个特征矩阵以及第二公式确定所述强度特征，所述第二公式为：
Figure FDA0002782650680000022
其中，G2表示所述强度特征，ω2表示第二调节系数，α1表示第一正比例因子，α2表示第二正比例因子，C1表示第一稳定系数，C2表示第二稳定系数；
根据所述九个特征矩阵以及第三公式确定所述形状特征，所述第三公式为：
Figure FDA0002782650680000023
其中，G3表示所述形状特征，ω3表示第三调节系数；
根据所述九个特征矩阵、第四公式以及第五公式确定所述平滑性特征，所述第四公式和所述第五公式分别为：
Figure FDA0002782650680000024
Figure FDA0002782650680000031
其中，Vn(θ)表示对应尺寸为n×n的滤波核所述当前待编码视频帧在θ方向上的平滑性特征，
Figure FDA0002782650680000032
表示对应尺寸为n×n角度为θ的滤波核的特征矩阵的平均值，G4表示所述当前待编码视频帧在三种滤波核尺寸以及三种角度上的平滑性特征，ω4表示第四调节系数，ω5表示第五调节系数，α3表示第三正比例因子，α4表示第四正比例因子。
4.根据权利要求3所述的视频编码方法，其特征在于，所述将所述九个滤波核分别与所述当前待编码视频帧进行卷积操作，得到不同细致程度以及不同方向的九个特征矩阵，包括：
Figure FDA0002782650680000033
其中，Gn(θ)表示对应尺寸为n×n角度为θ的滤波核的特征矩阵，I表示所述当前待编码视频帧，
Figure FDA0002782650680000034
表示所述当前待编码视频帧的亮度平均值，gn(θ)表示尺寸为n×n角度为θ的滤波核，ω6表示第六调节系数。
5.根据权利要求1所述的视频编码方法，其特征在于，所述判断当前是否满足预设结束条件，包括：
更新所述当前剩余码率；
判断所述当前剩余码率是否小于零或者所述当前待编码视频帧是否为所述待编码视频图像组中的最后一个视频帧。
6.根据权利要求1所述的视频编码方法，其特征在于，所述强化学习模型的奖励信号的计算方法为：
r＝α×β×γ
Figure FDA0002782650680000041
Figure FDA0002782650680000042
Figure FDA0002782650680000043
其中，r表示所述奖励信号，α表示所述当前待编码视频帧的结构相似性，x和y分别表示所述当前待编码视频帧压缩后的图像和原图，μx和μy分别表示x和y的亮度平均值，σx和σy分别表示x和y的标准差，σxy表示x和y的协方差，ω7表示第七调节系数，ω8表示第八调节系数，C3表示第三稳定系数，C4表示第四稳定系数，C5表示第五稳定系数，δ1表示第五正比例因子，δ2表示第六正比例因子，δ3表示第七正比例因子，β表示所述当前待编码视频帧与前一视频帧之间的质量波动，αPre_frame表示所述前一视频帧的结构相似性，C6表示第六稳定系数，δ4表示第八正比例因子，γ表示所述当前待编码视频帧的实际码率与所述当前待编码视频帧的初始码率之间的差距，T表示所述待编码视频图像组中每个视频帧的初始码率的平均值，Ncoded表示所述待编码视频图像组中已编码的视频帧数量，Ri表示所述实际码率，ω9表示第九调节系数，δ5表示第九正比例因子。
7.根据权利要求1所述的视频编码方法，其特征在于，所述强化学习模型采用深度强化学习算法A3C。
8.一种视频编码装置，其特征在于，包括：
初始码率获取模块，用于获取待编码视频图像组以及所述待编码视频图像组分配得到的总码率和所述待编码视频图像组中每个视频帧分配得到的初始码率；
内容特征提取模块，用于利用预设滤波核对当前待编码视频帧的内容特征进行提取，所述内容特征包括能量特征、强度特征、形状特征以及平滑性特征；
剩余码率确定模块，用于确定所述待编码视频图像组的当前未编码帧数以及所述当前待编码视频帧的前一同图像级别视频帧的压缩质量，并根据所述总码率确定所述待编码视频图像组的当前剩余码率；
量化参数预测模块，用于将所述当前待编码视频帧的初始码率、所述内容特征、所述当前未编码帧数、所述当前剩余码率以及所述前一同图像级别视频帧的压缩质量输入训练好的强化学习模型中，以对所述当前待编码视频帧的量化参数进行预测；
编码模块，用于根据所述量化参数对所述当前待编码视频帧进行编码；
结束条件判断模块，用于判断当前是否满足预设结束条件；若是，则结束所述待编码视频图像组的编码过程；若否，则将所述当前待编码视频帧更新为后一视频帧并返回所述内容特征提取模块继续执行。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的视频编码方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的视频编码方法。
CN202011286774.7A 2020-11-17 2020-11-17 一种视频编码方法、装置、计算机设备及存储介质 Active CN112399176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011286774.7A CN112399176B (zh) 2020-11-17 2020-11-17 一种视频编码方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011286774.7A CN112399176B (zh) 2020-11-17 2020-11-17 一种视频编码方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112399176A true CN112399176A (zh) 2021-02-23
CN112399176B CN112399176B (zh) 2022-09-16

Family

ID=74605878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011286774.7A Active CN112399176B (zh) 2020-11-17 2020-11-17 一种视频编码方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112399176B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738509A (zh) * 2021-03-30 2021-04-30 浙江华创视讯科技有限公司 视频编码方法、视频解码方法、存储介质以及电子设备
CN113949870A (zh) * 2021-09-09 2022-01-18 镕铭微电子(济南)有限公司 一种编码过程中的屏幕内容检测的方法及装置
CN114786011A (zh) * 2022-06-22 2022-07-22 苏州浪潮智能科技有限公司 一种jpeg图像压缩的方法、系统、设备和存储介质
CN115134598A (zh) * 2021-03-25 2022-09-30 四川大学 一种基于qp估计的压缩视频质量盲增强方法
CN116800976A (zh) * 2023-07-17 2023-09-22 武汉星巡智能科技有限公司 伴睡婴幼儿时音视频压缩和还原方法、装置及设备
JP7498377B2 (ja) 2021-05-28 2024-06-11 ディープマインド テクノロジーズ リミテッド 強化学習を通してレート制御ニューラルネットワークを訓練すること
WO2024120396A1 (zh) * 2022-12-07 2024-06-13 北京字跳网络技术有限公司 视频编码方法、装置、电子设备及存储介质
WO2024124911A1 (zh) * 2022-12-16 2024-06-20 书行科技(北京)有限公司 视频编码方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215958A1 (en) * 2010-08-26 2013-08-22 Sk Telecom Co., Ltd. Encoding and decoding device and method using intra prediction
CN103888765A (zh) * 2014-03-27 2014-06-25 天格科技（杭州）有限公司 一种改进型R-λ模型H.265码率控制方法
CN104683804A (zh) * 2015-02-14 2015-06-03 北京航空航天大学 基于视频内容特征的参数自适应多维码率控制方法
CN110913221A (zh) * 2018-09-18 2020-03-24 华为技术有限公司 一种视频码率预测方法及装置
CN111726633A (zh) * 2020-05-11 2020-09-29 河南大学 基于深度学习和显著性感知的压缩视频流再编码方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215958A1 (en) * 2010-08-26 2013-08-22 Sk Telecom Co., Ltd. Encoding and decoding device and method using intra prediction
CN103888765A (zh) * 2014-03-27 2014-06-25 天格科技（杭州）有限公司 一种改进型R-λ模型H.265码率控制方法
CN104683804A (zh) * 2015-02-14 2015-06-03 北京航空航天大学 基于视频内容特征的参数自适应多维码率控制方法
CN110913221A (zh) * 2018-09-18 2020-03-24 华为技术有限公司 一种视频码率预测方法及装置
CN111726633A (zh) * 2020-05-11 2020-09-29 河南大学 基于深度学习和显著性感知的压缩视频流再编码方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134598A (zh) * 2021-03-25 2022-09-30 四川大学 一种基于qp估计的压缩视频质量盲增强方法
CN112738509A (zh) * 2021-03-30 2021-04-30 浙江华创视讯科技有限公司 视频编码方法、视频解码方法、存储介质以及电子设备
JP7498377B2 (ja) 2021-05-28 2024-06-11 ディープマインド テクノロジーズ リミテッド 強化学習を通してレート制御ニューラルネットワークを訓練すること
CN113949870A (zh) * 2021-09-09 2022-01-18 镕铭微电子(济南)有限公司 一种编码过程中的屏幕内容检测的方法及装置
CN114786011A (zh) * 2022-06-22 2022-07-22 苏州浪潮智能科技有限公司 一种jpeg图像压缩的方法、系统、设备和存储介质
WO2024120396A1 (zh) * 2022-12-07 2024-06-13 北京字跳网络技术有限公司 视频编码方法、装置、电子设备及存储介质
WO2024124911A1 (zh) * 2022-12-16 2024-06-20 书行科技(北京)有限公司 视频编码方法、装置、电子设备及存储介质
CN116800976A (zh) * 2023-07-17 2023-09-22 武汉星巡智能科技有限公司 伴睡婴幼儿时音视频压缩和还原方法、装置及设备
CN116800976B (zh) * 2023-07-17 2024-03-12 武汉星巡智能科技有限公司 伴睡婴幼儿时音视频压缩和还原方法、装置及设备

Also Published As

Publication number Publication date
CN112399176B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN112399176B (zh) 一种视频编码方法、装置、计算机设备及存储介质
Li et al. Learning convolutional networks for content-weighted image compression
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN1117482C (zh) 利用基于特征点的运动估算编码视频信号的方法
CN1941911B (zh) 退色补偿的参数化
CN112102212B (zh) 一种视频修复方法、装置、设备及存储介质
US20100295922A1 (en) Coding Mode Selection For Block-Based Encoding
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
DE10253383B4 (de) Verfahren und Einrichtung zum Kodieren sich bewegender Bilder mit fester Rechenkomplexität
CN111182303A (zh) 共享屏幕的编码方法、装置、计算机可读介质及电子设备
CN111901532B (zh) 基于循环神经网络迭代策略的视频稳定方法
CN112465846B (zh) 基于填充策略的含云遥感图像压缩方法
CN112468808B (zh) 一种基于强化学习的i帧目标带宽分配方法及装置
CN112399177B (zh) 一种视频编码方法、装置、计算机设备及存储介质
DE112018002117T5 (de) Systeme und verfahren für verzögerte post-prozesse in der videocodierung
Hachicha et al. Efficient inter-view bit allocation methods for stereo image coding
CN116170594B (zh) 一种基于率失真代价预测的编码方法和装置
CN111083498A (zh) 一种用于视频编码帧间环路滤波的模型训练方法和使用方法
CN115567712A (zh) 基于人眼恰可察觉失真的屏幕内容视频编码感知码率控制方法及装置
CN111510740B (zh) 转码方法、装置、电子设备和计算机可读存储介质
CN115665413A (zh) 图像压缩最优量化参数的估计方法
CN115131673A (zh) 一种面向任务的遥感影像压缩方法及系统
CN116491115A (zh) 用于视频编码的具有反馈控制的速率控制机器学习模型
CN113747178A (zh) 一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法及系统
JP3032213B2 (ja) 画像符号化装置及び画像復号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220823

Address after: Room 370, Hong Kong-Shenzhen International Center, Xinniu Community, Minzhi Street, Longhua District, Shenzhen, Guangdong 518131

Applicant after: Shenzhen Chuangzhisheng Technology Co.,Ltd.

Address before: 518060 No. 3688 Nanhai Road, Shenzhen, Guangdong, Nanshan District

Applicant before: SHENZHEN University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant