CN115190309A - 视频帧处理方法、训练方法、装置、设备及存储介质 - Google Patents

视频帧处理方法、训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115190309A
CN115190309A CN202210778599.6A CN202210778599A CN115190309A CN 115190309 A CN115190309 A CN 115190309A CN 202210778599 A CN202210778599 A CN 202210778599A CN 115190309 A CN115190309 A CN 115190309A
Authority
CN
China
Prior art keywords
video frame
target
sample
preset
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210778599.6A
Other languages
English (en)
Other versions
CN115190309B (zh
Inventor
张旭
施乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210778599.6A priority Critical patent/CN115190309B/zh
Publication of CN115190309A publication Critical patent/CN115190309A/zh
Priority to US18/075,867 priority patent/US20240007639A1/en
Priority to EP22212075.0A priority patent/EP4300959A1/en
Application granted granted Critical
Publication of CN115190309B publication Critical patent/CN115190309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties

Abstract

本公开提供了视频帧处理方法、训练方法、装置、设备及存储介质，涉及人工智能领域，尤其涉及云计算、视频处理、媒体云技术，可应用在智能云场景下。具体实现方案为：在待编码视频帧序列满足预设条件的情况下，获取所述待编码视频帧序列中当前视频帧所对应的目标特征；将所述当前视频帧所对应的目标特征输入至第一目标模型，得到所述当前视频帧对应的第一输出结果；基于所述当前视频帧对应的第一输出结果，确定所述当前视频帧对应的第一目标图像组GOP长度。如此，解决了现有GOP长度固定而导致编码质量降低的问题，实现了GOP长度的自适应调整。

Description

视频帧处理方法、训练方法、装置、设备及存储介质
技术领域
本公开涉及人工智能领域，尤其涉及云计算、视频处理、媒体云技术，可应用在智能云场景下。
背景技术
图像组(Group of Picture，GOP)长度，在高效视频编码(HEVC)编码器中通常是固定的，但是，在某些场景中，固定GOP长度，会导致编码质量降低。因此，亟需一种方法来解决上述问题。
发明内容
本公开提供了一种视频帧处理方法、训练方法、装置、设备及存储介质。
根据本公开的一方面，提供了一种视频帧处理方法，包括：
在待编码视频帧序列满足预设条件的情况下，获取所述待编码视频帧序列中当前视频帧所对应的目标特征；
将所述当前视频帧所对应的目标特征输入至第一目标模型，得到所述当前视频帧对应的第一输出结果；
基于所述当前视频帧对应的第一输出结果，确定所述当前视频帧对应的第一目标图像组GOP长度。
根据本公开的另一方面，提供了一种模型训练方法，包括：
从至少两个第一预设图像组GOP长度中，选取出目标视频帧序列样本中视频帧样本所对应的GOP长度样本；
基于所述视频帧样本所对应的GOP长度样本，得到所述视频帧样本的标签数据；
将所述视频帧样本的预设特征，以及所述视频帧样本的标签数据作为训练数据；其中，所述训练数据用于对第一预设模型进行模型训练，以得到第一目标模型。
根据本公开的另一方面，提供了一种视频处理装置，包括：
第一获取单元，用于在待编码视频帧序列满足预设条件的情况下，获取所述待编码视频帧序列中当前视频帧所对应的目标特征；
第一确定单元，用于将所述当前视频帧所对应的目标特征输入至第一目标模型，得到所述当前视频帧对应的第一输出结果；
第二确定单元，用于基于所述当前视频帧对应的第一输出结果，确定所述当前视频帧对应的第一目标图像组GOP长度。
根据本公开的另一方面，提供了一种模型训练装置，包括：
第三确定单元，用于从至少两个第一预设图像组GOP长度中，选取出目标视频帧序列样本中视频帧样本所对应的GOP长度样本；
第四确定单元，用于基于所述视频帧样本所对应的GOP长度样本，得到所述视频帧样本的标签数据；
模型处理单元，用于将所述视频帧样本的预设特征，以及所述视频帧样本的标签数据作为训练数据；其中，所述训练数据用于对第一预设模型进行模型训练，以得到第一目标模型。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
这样，本公开方案解决了现有GOP长度固定而导致编码质量降低的问题，实现了GOP长度的自适应调整。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例视频帧处理方法的实现流程示意图一；
图2(a)和图2(b)是根据本公开实施例视频帧处理方法在一具体示例中的待编码视频帧序列的示意图；
图3是根据本公开实施例视频帧处理方法的实现流程示意图二；
图4是根据本公开实施例模型训练方法的实现流程示意图；
图5是根据本公开实施例视频帧处理方法在一具体示例中的实现流程示意图；
图6是根据本公开实施例视频帧处理方法在一具体示例中确定GOP长度样本的实现流程示意图；
图7是根据本公开实施例视频帧处理装置的结构示意图一；
图8是根据本公开实施例视频帧处理装置的结构示意图二；
图9是根据本公开实施例模型训练装置的结构示意图；
图10是用来实现本公开实施例的视频帧处理方法或模型处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，缺少某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
以下对本公开方案所涉及的相关概念进行简单介绍：
HEVC技术中，对若干时间连续的图像构成的视频帧序列进行压缩时，会先将其分割为若干个图像组GOP，此时，图像组所包含的视频帧的数量称为GOP长度。HEVC分为封闭GOP和开放GOP。所述封闭GOP指每个GOP都以IDR(Instantaneous Decoding Refresh)帧开始，各个GOP之间独立编码。而开放GOP指第一个GOP中第一个帧内编码图像为IDR帧，后续GOP中的第一个帧内编码图像均为non-IDR，即后面GOP中的帧间编码图像均可以越过non_IDR图像，使用前一个GOP中已编码的图像做参考图像。
这里，所述IDR帧均为I帧；换言之，所述GOP中第一帧为I帧，中间帧为B帧，最后一帧为P帧。基于此，确定GOP长度，相当于确定GOP中B帧的数量，举例来说，若B帧的数量为7，此时，GOP长度则为7帧B帧，加1帧P帧，共8帧；或者，GOP长度为7帧B帧，加1帧P帧，以及1帧I帧，共9帧。
其中，所述I帧，又称为内部画面(intra picture)，由帧内预测的宏块组成；所述P帧，为前向预测编码帧，由在它前面的B帧或者I帧预测而来；所述B帧，为双向差别帧，参考在其前后出现的帧，也即B帧记录的是本帧与前后帧的差别。
基于此，本公开方案提供了一种视频帧处理方法，具体地，图1是根据本申请一实施例视频帧处理方法的示意性流程图一。该方法选地可以应用于电子设备，比如，个人电脑，或服务器、或服务器集群等，本公开方案对此不作具体限制。进一步地，该方法包括以下内容的至少部分内容。
如图1所示，包括：
步骤S101：在待编码视频帧序列满足预设条件的情况下，获取所述待编码视频帧序列中当前视频帧所对应的目标特征。
这里，所述预设条件可基于实际需求而设置的，本公开方案对此不作限制。
步骤S102：将所述当前视频帧所对应的目标特征输入至第一目标模型，得到所述当前视频帧对应的第一输出结果。
步骤S103：基于所述当前视频帧对应的第一输出结果，确定所述当前视频帧对应的第一目标图像组GOP长度。
这样，本公开方案使用预先训练完成的第一目标模型来预测当前视频帧所对应的第一目标GOP长度，如此，来解决现有GOP长度固定而导致编码质量降低的问题，实现了GOP长度的自适应调整；尤其对于场景波动较大的序列而言，采用本公开方案使得编码性能更优。
在一具体示例中，可以预先建立输出结果与GOP长度之间的映射关系，如此，基于映射关系来确定出该第一输出结果所指示的第一目标GOP长度。或者，还可直接基于该第一输出结果得到第一目标GOP长度。
在另一具体示例中，所述第一目标模型为预先训练完成的模型；比如，可以具体为分类模型，此时，可基于预先设置的GOP长度的个数，来确定输出结果的个数，进而基于输出结果与GOP长度之间的映射关系，得到输出结果所代表的GOP长度；举例来说，所述第一目标模型为三分类模型，此时，输出结果可以具体为数值0，1，2；相应地，各数值指代不同GOP长度，如数值0表示GOP长度为4，数值1表示GOP长度为8，数值2表示GOP长度为16，如此，基于输出结果得到GOP长度。
进一步地，可以理解的是，实际应用中，所述第一目标模型的输出结果还可以直接为指示GOP长度的数值，比如，继续以三分类模型为例，此时，输出结果还可以具体为4,8,16等，相应地，各数值指代不同GOP长度，如数值4表示GOP长度为4，数值8表示GOP长度为8，数值16表示GOP长度为16。
需要说明的是，以上仅为示例性说明，实际应用中还可以其他形式的输出结果，本公开方案对此不作限制。
在本公开方案的一具体示例中，所述当前视频帧为所述待编码视频帧序列中B帧。这里，所述B为所述待编码视频帧序列中的中间帧，也即为双向差别帧，能够参考在其前、后出现的帧。如此，兼容现有高效视频编码技术，为工程化推广奠定了基础。举例来说，如图2(a)所示，为一待编码视频帧序列的示意图，在确定出该当前视频帧(也即图2(a)所指的B帧)的第一目标GOP长度为4的情况下，即可得到一个具有该第一目标GOP长度的图像组。如此，为后续压缩处理、编码处理奠定了基础。
实际应用中，还可能存在当前编码帧为所述待编码视频帧序列中I帧的情况，此时，如图2(b)所示，若当前编码帧为I帧，且确定出该当前视频帧的第一目标GOP长度为4的情况下，即可从当前编码帧的下一帧开始，组成一个具有4帧的图像组。进一步地，为了提升预测得到的GOP长度的准确率，在当前编码帧为I帧的情况下，可以直接跳过不进行预测，直接将该I帧的下一帧作为当前编码帧，再基于本公开方案进行处理。
进一步地，所述待编码视频帧序列为从待编码视频数据中所选取出的子序列，如图2(a)所示，所述待编码视频帧序列中的首帧为I帧，中间帧为B帧，最后一帧为P帧。如此，兼容现有高效视频编码技术，为工程化推广奠定了基础。进而解决了现有高效视频编码技术中固定GOP长度而导致编码质量降低的问题。
需要说明的是，本公开方案应用于开放GOP的场景中，此时，待编码视频帧序列中仅第一帧为I帧；换言之，本公开方案基于GOP长度得到的图像组中包括多个B帧和一个P帧，相应地，确定GOP长度，还可以理解为确定图像组中B帧的数量；进一步地，在B帧的数量确定后，GOP长度即为B帧的数量+1。
进一步地，第一目标模型所输出的第一输出结果还可以指示当前视频帧所对应的B帧的数量，此时，得到的第一目标GOP长度＝B帧的数量+1。
在本公开方案的一具体示例中，所述第一目标模型是基于目标视频帧序列样本中视频帧样本的预设特征以及所述视频帧样本的标签数据，对第一预设模型进行模型训练所得；所述视频帧样本的标签数据是基于所述视频帧样本所对应的GOP长度样本而确定的。如此，使得第一目标模型能够对当前视频帧所对应的GOP长度进行预测，在提升编码性能的基础上，兼容性和适用性更强。同时，还提升了处理效率。
在本公开方案的一具体示例中，所述视频帧样本所对应的GOP长度样本是从至少两个第一预设GOP长度中，选取出的与目标编码特征信息所对应的预设GOP长度；所述目标编码特征信息是从至少两个第一编码特征信息中选取出的；所述至少两个第一编码特征信息是从所述视频帧样本起，基于至少两个第一预设GOP长度对所述目标视频帧序列样本进行编码处理后所得。如此，提供了一种简便可行的标签数据制作方法，为提升模型准确率奠定了基础，同时，也为提升编码性能奠定了基础。
可以理解的是，第一目标模型的训练方法可参见下述示例，此处不再赘述。
在本公开方案的一具体示例中，提供了一种视频帧处理方法，具体地，图3是根据本申请一实施例视频帧处理方法的示意性流程图二。该方法可选地可以应用于电子设备，比如，个人电脑，或服务器、服务器集群等，但并不仅限于此。该方法包括以下内容的至少部分内容。可以理解的是，图1、图2(a)所示方法的相关内容，同样也适用于图3所示的方法，基于此，图3所示的相关内容可参见以上具体示例，此处不再赘述。
进一步地，如图2(a)和图3所示，具体步骤如下：
步骤S301：在待编码视频帧序列满足预设条件的情况下，获取所述待编码视频帧序列中当前视频帧所对应的目标特征。
步骤S302：将所述当前视频帧所对应的目标特征输入至第一目标模型，得到所述当前视频帧对应的第一输出结果。
步骤S303：基于所述当前视频帧对应的第一输出结果，确定所述当前视频帧对应的第一目标图像组GOP长度。
步骤S304：在所述待编码视频帧序列中，从所述当前视频帧起，选取出具有所述第一目标GOP长度的第一图像组。
步骤S305：至少基于具有所述第一目标GOP长度的第一图像组，对所述待编码视频帧序列进行编码处理。
这里，在得到第一图像组后，可对所述待编码视频帧序列中的第一图像组进行编码处理。
这样，本公开方案使用预先训练的第一目标模型来预测当前视频帧所对应的第一GOP长度，如此，来解决现有GOP长度固定而导致编码质量降低的问题，同时，在编码过程中，实现了GOP长度的自适应调整；尤其对于场景波动较大的序列而言，采用本公开方案使得编码性能更优。
在本公开方案的一具体示例中，在确定所述当前视频帧对应的第一目标GOP长度之后，还可以基于图1或图3所示的方式，对剩余待编码视频帧序列进行处理，如此循环，直至处理完成待编码视频帧序列；具体包括：
在剩余待编码视频帧序列满足所述预设条件的情况下，获取剩余待编码视频帧序列中目标视频帧所对应的目标特征；其中，所述剩余待编码视频帧序列为所述待编码视频帧序列中除所述第一图像组之外的视频帧序列；这里，所述目标视频帧可以为所述剩余待编码视频帧序列中的第一帧；
将所述目标视频帧所对应的目标特征，输入至所述第一目标模型，得到所述目标视频帧对应的第二输出结果；
基于所述目标视频帧对应的第二输出结果，确定所述目标视频帧对应的第二目标GOP长度。
这里，所述目标视频帧可以理解为重新确定的新的当前视频帧，基于此，可以上述应用于当前视频帧的方式，均可以应用于该目标视频帧。
在一具体示例中，所述目标视频帧为所述剩余待编码视频帧序列中B帧。如此，兼容现有高效视频编码技术，为工程化推广奠定了基础。举例来说，如图2(a)所示，为一待编码视频帧序列的示意图，在确定出该目标视频帧(也即图2(a)所指的B帧)的第二目标GOP长度为8的情况下，即可得到一个具有该第二目标GOP长度的图像组。如此，为后续压缩处理、编码处理奠定了基础。
进一步地，在另一具体示例中，如图2(a)所示，在得到第二目标GOP长度之后，还可以在所述剩余待编码视频帧序列中，从所述目标视频帧起，选取出具有所述第二目标GOP长度的第二图像组。比如，在第二目标GOP长度为8的情况下，即可得到一个具有该第二目标GOP长度的第二图像组。进而至少基于具有所述第二目标GOP长度的第二图像组，对所述待编码视频帧序列进行编码处理。
这里，在得到第二图像组后，可对所述待编码视频帧序列中的第二图像组进行编码处理。如此循环，直至对待编码视频帧序列编码完成为止。
这样，本公开方案使用预先训练完成的第一目标模型来预测目标视频帧所对应的第二目标GOP长度，如此，来解决现有GOP长度固定而导致编码质量降低的问题，实现了GOP长度的自适应调整；尤其对于场景波动较大的序列而言，采用本公开方案使得编码性能更优。
在本公开方案的一具体示例中，可以采用如下方式来确定待编码视频帧序列是否满足所述预设条件，具体地，在所述待编码视频帧序列所包含的视频帧的数量大于预设阈值的情况下，确定所述待编码视频帧序列满足所述预设条件。如此，提供了一种预测时机，即只有在待编码视频帧序列所包含的视频帧的数量大于预设阈值的情况下，才需要调用第一目标模型，进而为进一步提升编码效率奠定了基础。同时，该方式简便、可行，便于工程化推广。
或者，在所述待编码视频帧序列所包含的视频帧的数量小于或等于预设阈值的情况下，将第二预设GOP长度作为所述待编码视频帧序列中当前视频帧的GOP长度。
也就是说，本示例中，在待编码视频帧序列所包含的视频帧的数量大于预设阈值的情况下，才会调用第一目标模型，并基于第一目标模型来预测当前视频帧所对应的GOP长度；而在待编码视频帧序列所包含的视频帧的数量小于或等于所述预设阈值的情况下，即使用预先设置的固定的GOP长度，也即第二预设GOP长度，如此，在不损失编码效率的基础上，来解决现有GOP长度固定而导致编码质量降低的问题；换言之，本公开方案能够在提升编码质量的基础上，兼顾编码效率。同时，该方式简便、可行，便于工程化推广。
这里，所述预设阈值可基于实际需求而设置，本公开方案对此不作限制。
这样，本公开方案使用预先训练完成的第一目标模型来预测当前视频帧所对应的第一目标GOP长度，如此，来解决现有GOP长度固定而导致编码质量降低的问题，实现了GOP长度的自适应调整；尤其对于场景波动较大的序列而言，采用本公开方案使得编码性能更优。
本公开方案还提供了一种模型训练方法，如图4所示，包括：
步骤S401：从至少两个第一预设图像组GOP长度中，选取出目标视频帧序列样本中视频帧样本所对应的GOP长度样本。
步骤S402：基于所述视频帧样本所对应的GOP长度样本，得到所述视频帧样本的标签数据。
举例来说，在所述视频帧样本所对应的GOP长度样本为4的情况下，此时，该视频帧样本的标签数据可以设置为0；在所述视频帧样本所对应的GOP长度样本为8的情况下，该视频帧样本的标签数据可以设置为1；在所述视频帧样本所对应的GOP长度样本为16的情况下，该视频帧样本的标签数据可以设置为2；如此，基于该方式训练得到的第一目标模型即可为三分类模型。
或者，可以直接将视频帧样本所对应的GOP长度样本，作为该视频帧样本的标签数据，比如，继续以三分类模型为例，在所述视频帧样本所对应的GOP长度样本为4的情况下，此时，该视频帧样本的标签数据可以设置为4；在所述视频帧样本所对应的GOP长度样本为8的情况下，该视频帧样本的标签数据可以设置为8；在所述视频帧样本所对应的GOP长度样本为16的情况下，该视频帧样本的标签数据可以设置为16。如此，也得到训练得到第一目标模型。
可以理解的是，以上仅为示例性说明，实际应用中，还可以选择其他标签设置方式，而且，得到的第一目标模型还可以为二分类、四分类等模型，本公开方案对此不作限制。
步骤S403：将所述视频帧样本的预设特征，以及所述视频帧样本的标签数据作为训练数据；其中，所述训练数据用于对第一预设模型进行模型训练，以得到第一目标模型。
这样，本公开方案提供了一种有效预测当前视频帧所对应的GOP长度的模型，如此，为解决现有GOP长度固定而导致编码质量降低的问题奠定了基础，同时，为实现GOP长度的自适应调整提供了模型支持。
在一具体示例中，所述视频帧样本的预设特征至少包括以下之一：
当前视频帧样本的帧内cost；
当前视频帧样本的帧内块数量；
与当前视频帧样本相关联的其他视频帧样本的帧内cost；
与当前视频帧样本相关联的其他视频帧样本的帧内块数量。
这里，可以基于第一预设图像组GOP长度，来确定当前视频帧样本相关联的其他视频帧样本。举例来说，以三个第一预设图像组GOP长度，且分别为4、8以及16为例，此时，与当前视频帧样本相关联的其他视频帧样本则可具体为：从当前视频帧样本起的第四帧、第八帧、第16帧。
以上仅为示例性说明，实际应用中，为了提升模型结果的准确率，还可以选择其他预设特征，本公开方案对此不作具体限制。
在本公开方案的一具体示例中，所述预设特征是基于预设规则从所述视频帧样本的多个特征中选取出的，包括以下至少之一：所述视频帧样本的原始特征；基于至少两个所述原始特征而得到的组合特征。
举例来说，所述原始特征包括以下至少之一：当前视频帧样本的帧内cost；当前视频帧样本的帧内块数量；与当前视频帧样本相关联的其他视频帧样本的帧内cost；与当前视频帧样本相关联的其他视频帧样本的帧内块数量。相应地，所述组合特征可以是基于至少两个所述原始特征得到的新特征，比如，通过计算或拼接等方式，对两个或两个以上原始特征进行处理后得到新特征。实际应用中，相较于存在物理含义的原始特征而言，得到的新特征(也即组合特征)可能并非有明确的物理含义，比如，组合特征＝当前视频帧样本的帧内cost×当前视频帧样本的帧内块数量，此时，该组合特征并不存在物理含义，但是，组合特征的具体数值和输出结果之间存在关联，此时，将组合特征作为训练数据同样能够提升模型的准确性。
可以理解的是，在模型预测阶段所输入的目标特征的特征属性(或称特征类型)与模型训练阶段所采用的预设特征的特征属性(或称特征类型)相关联；比如，目标特征的特征属性与所述预设特征的特征属性完全相同，或者为预设特征的特征属性中的至少部分，本公开方案对此不作限制，只要能够基于第一目标模型实现预测即可。举例来说，所述预设特征可以为当前视频帧样本的帧内cost；当前视频帧样本的帧内块数量；与当前视频帧样本相关联的其他视频帧样本的帧内cost；与当前视频帧样本相关联的其他视频帧样本的帧内块数量；此时，所述目标特征可仅选择当前视频帧的帧内cost，或者为当前视频帧的帧内cost和帧内块数量，或者为当前视频帧的帧内cost和帧内块数量，以及与当前视频帧相关联的其他视频帧的帧内cost和帧内块数量，本公开方案对此不作具体限制。
这样，使用科学的特征来进行模型训练，提升了第一目标模型的预测准确率，进而为后续提升预测效率奠定了基础。同时，也为解决现有GOP长度固定而导致编码质量降低的问题、实现GOP长度的自适应调整奠定了基础。
在本公开方案的一具体示例中，所述预设特征是基于所述多个特征对应的特征值，从所述多个特征中筛选得到的；所述多个特征的特征值是将所述多个特征输入至第二目标模型后所得到。
也就是说，在第一预设模型的训练过程中，所使用的预设特征是特征筛选后所得，比如，利用第二目标模型对多个特征进行筛选得到预设特征，如此，使用更加科学的特征来进行模型训练，进一步提升了第一目标模型的预测准确率。
可以理解的是，该多个特征也包含有以下至少之一：所述视频帧样本的原始特征；基于至少两个所述原始特征而得到的组合特征。如此，便于从该多个特征中选取得到预设特征。
举例来说，采用xgBoost模型作为待训练模型，选择多个待处理特征以及用于标注该待处理特征的重要程度的标签，对待训练模型进行训练，得到第二目标模型。在得到第二目标模型之后，将多个特征输入至该第二目标模型，得到该多个特征的特征值，这里，该特征值能够表示该特征值所对应特征的重要程度；进而基于特征值，对该多个特征进行重要性排序，并基于排序结果得到预设特征，比如，基于特征值进行降序排序，并将前N个特征，作为预设特征。
在本公开方案的一具体示例中，还可以采用如下方式来确定出目标视频帧序列样本中视频帧样本所对应的GOP长度样本，具体包括：
从所述视频帧样本开始，基于至少两个第一预设GOP长度，对所述目标视频帧序列样本进行编码处理，得到至少两个第一编码特征信息；举例来说，在第一预设GOP长度等于4的情况下，从视频帧样本开始，基于第一预设GOP长度为4，对所述目标视频帧序列样本进行编码处理，得到一个第一编码特征信息；进一步地，在第一预设GOP长度等于8的情况下，从视频帧样本开始，基于第一预设GOP长度为8，对所述目标视频帧序列样本进行编码处理，再得到一个第一编码特征信息；如此，得到多个第一编码特征信息，该第一编码特征信息与第一预设GOP长度对应。
进一步地，从所述至少两个第一编码特征信息中选取出目标编码特征信息；比如，选取出最优的编码特征信息，并将最优的编码特征信息作为目标编码特征信息。
基于此，以上步骤S401中，从至少两个第一预设图像组GOP长度中，选取出目标视频帧序列样本中视频帧样本所对应的GOP长度样本，则可具体包括：
从所述至少两个第一预设GOP长度中，选取出与所述目标编码特征信息所对应的预设GOP长度，作为所述视频帧样本所对应的GOP长度样本。
这样，基于编码特征信息来选择出视频帧样本所对应的GOP长度样本，如此，为有效提升第一目标模型的预测准确度奠定了基础。同时，该方式简便、可解释性强，为后续工程化推广奠定了基础。
在本公开方案的一具体示例中，为了进一步提升预测准确度，还可以进行如下操作：
在编码处理的过程中，消除所述目标视频帧序列样本中B帧和/或P帧，对所述目标视频帧序列样本中I帧的影响；其中，如图2(a)所示，所述目标视频帧序列样本中的首帧为I帧，中间帧为B帧，最后一帧为P帧。
基于此，以上所述的从所述视频帧样本开始，基于至少两个第一预设GOP长度，对所述目标视频帧序列样本进行编码处理，得到至少两个第一编码特征信息，包括：
在消除对所述目标视频帧序列样本中I帧的影响之后，从所述视频帧样本开始，基于至少两个预设GOP长度，对所述目标视频帧序列样本进行编码处理，得到至少两个第一编码特征信息。
这里，考虑到实际应用中，所选用的目标视频帧序列样本是从目标视频数据样本中所截取的，相较于目标视频数据样本而言，该目标视频帧序列样本较短，因此，在模型训练的过程中，需要消除I帧对编码结果的影响。因为，与B帧和P帧的编码结果(比如码率)相比，I帧的码率较大，而且，目标视频帧序列样本中的后续帧，还会参考I帧进行编码，因此，为避免I帧对编码结果产生较大影响，需要使I帧相对固定，同时，相对固定I帧也不会受到GOP长度的变化影响，如此，来提升预测结果的准确度。
这样，为有效提升预测结果的准确度奠定了基础，进一步为解决现有GOP长度固定而导致编码质量降低的问题、实现GOP长度的自适应调整奠定了基础。同时，该方式简便、可解释性强，为后续工程化推广奠定了基础。
在本公开方案的一具体示例中，采用如下方式来消除对I帧的影响；具体地，以上所述的在编码处理的过程中，消除所述目标视频帧序列样本中B帧和/或P帧，对所述目标视频帧序列样本中I帧的影响，包括：在编码处理的过程中，将所述目标视频帧序列样本中，影响所述I帧的编码结果的B帧和/或P帧的相关参数，调整为预设值。如此，提供了一种简便可行的方式，来有效消除后续帧对I帧的影响，为有效提升预测结果的准确度奠定了基础，进一步为解决现有GOP长度固定而导致编码质量降低的问题、实现GOP长度的自适应调整奠定了基础。
在本公开方案的一具体示例中，其中，所述第一编码特征信息为基于所述目标视频帧序列样本的B帧和/或P帧的相关信息而得到。
举例来说，所述第一编码特征信息包括以下信息中的至少之一：
目标视频帧序列样本中B帧的码率，峰值信噪比(Peak Signal to Noise Ratio，PSNR)，结构相似性(Structural Similarity，SSIM)，视频多评估方法融合VMAF；
目标视频帧序列样本中P帧的码率，PSNR，SSIM，VMAF。
换言之，所述第一编码特征信息不包括I帧的相关信息，如此，来消除I帧的影响；进一步来提升预测结果的准确度，进而为解决现有GOP长度固定而导致编码质量降低的问题、实现GOP长度的自适应调整奠定了基础。
这样，与现有方式相比，本公开方案编码性能较优，尤其是场景波动性出现较大变化后，性能优势更加突出，且兼容性更强；同时，本公开方案在处理过程中，采用了特征工程的方法，并结合确定GOP长度的所需的关键特征，利用机器学习模型对特征的重要性进行排序，如此，来科学选择特征，使得特征和结果有着更大的相关性。
另外，在标签制作过程中，本公开方案眼于当前视频帧，采用了简化的方法得到最优的GOP长度，而且，该方式计算量较低，提升了标签的制作效率，进而为提升模型训练效率、降低模型训练成本奠定了基础。
以下结合具体示例，对本公开方案做进一步详细说明；如图5所示，主要步骤包括：
步骤1：选取待编码视频帧序列，比如，基于时域复杂度和空域复杂度的不同选取得到该编码视频帧序列。判断待编码视频帧序列所包含的视频帧的数量，是否大于预设阈值，比如，是否大于16帧；在大于预设阈值(比如16帧)的情况下，执行步骤2；否则，执行步骤5。
步骤2：调用机器学习模型，也即第一目标模型，并将待编码视频帧序列中当前视频帧所对应的目标特征输入至所调用的机器学习模型，得到输出结果。
本示例，以该机器学习模型为三分类模型为例，此时，输出结果为三个概率值，每个概率值对应一个指定的GOP长度，如，对应4、8、16。进一步地，可以将概率值中最大值所指示的GOP长度作为目标GOP长度。
这里，对于三分类模型而言，且输出的三个概率值所指示的GOP长度为4、8、16的情况下，所述当前视频帧所对应的目标特征可以具体包括：
当前视频帧的帧内cost；当前视频帧的帧内块数量；与当前视频帧相关联的其他视频帧样本(比如，第四帧、第八帧、第16帧)的帧内cost；与当前视频帧样本相关联的其他视频帧样本(比如，第四帧、第八帧、第16帧)的帧内块数量。
步骤3：判断输出结果是否均小于指定数值，比如0.5；若是，执行步骤5；否则，执行步骤4；基于输出结果确定出当前视频帧所对应的目标GOP长度。
这里，可以理解的是，该指定数值可以基于实际需求而定，本公开方案对此不作限制。
步骤4：基于输出结果，选取出最大值所对应的GOP长度，作为所述当前视频帧对应的目标GOP长度，并执行步骤6。
步骤5：将预先设置的固定GOP长度(也即第二预设GOP长度)，作为所述当前视频帧所对应的目标GOP长度，并执行步骤6。
步骤6：基于目标GOP长度，对待编码视频帧序列进行编码。
进一步地，以下对第一目标模型的训练步骤进行详细说明，具体地，如图6所示，具体步骤包括：
步骤1：从视频数据中截取49帧，作为子序列，该子序列即为视频帧序列样本。这里，所述49帧中第一帧为I帧。
这里，选取的子序列的帧数应该尽量大一些，比如，更加接近原视频，如此，避免GOP长度选择不准确的问题；因为，在编码处理过程中，子序列外的后续帧会对当前帧的量化参数产生影响，此时，若选取的子序列的帧数较少，则无法包含子序列外的后续帧对当前帧的影响，因此，降低了预测的准确率；但是，若子序列的帧数过大，会使得计算过慢；基于此，权衡利弊后，本示例选取的子序列包含49帧。
步骤2：消除子序列中其他帧对I帧的影响。
步骤3：将子序中划分为两部分，第一部分为前16帧，第二部分为后32帧；其中，第一部分按照预设GOP长度(也即第一预设GOP长度)为4或8或16，且第二部分按照预设GOP长度为16为例进行编码处理，以制备标签。
步骤4：得到当前帧在预设GOP长度为4或8或16的情况下所对应的统计信息。
这里，以第一部分的预设GOP长度为4、第二部分的预设GOP长度为16为例，在消除子序列中其他帧对I帧的影响后，得到当前帧对应的编码结果；统计该编码结果，并得到统计信息(比如，包括码率，PSNR，SSIM，VMAF)，这里，所述统计信息为从该当前帧起，该子序列中B帧和P帧的相关信息，而不包含I帧的相关信息，因为，如图2(a)所示，本公开方案针对的开放GOP，此时，GOP长度与I帧无关，因此，得到的统计信息中不包含I帧的相关信息。
步骤5：基于统计信息得到当前帧在预设GOP长度为4或8或16的情况下的BDrate曲线。
也得到：当前帧在预设GOP长度为4的情况下的BDrate曲线；当前帧在预设GOP长度为8的情况下的BDrate曲线以及当前帧在预设GOP长度为16的情况下的BDrate曲线。
步骤6:得到当前帧的最优BDrate曲线；并选取最优BDrate曲线所对应的GOP长度作为该当前帧对应的最优GOP长度，也即GOP长度样本。
进一步地，基于上述方式制备标签数据，比如，对于三分类模型而言，在当前帧对应的GOP长度样本为4的情况下，将该当前帧的标签数据设置为0；在当前帧对应的GOP长度样本为8的情况下，将该当前帧的标签数据设置为1；在当前帧对应的GOP长度样本为16的情况下，将该当前帧的标签数据设置为2；如此，来进行模型训练。进一步地，将当前帧的帧内cost、帧内块数量，以及和从当前帧起的第四帧、第八帧、第十六帧的帧间cost和帧内块数量作为预设特征，并与当前帧的标签数据一并输入至第一预设模型进行训练，进而得到第一目标模型。
需要说明的是，在进行模型训练之前，需要进行特征选择，而特征选择的准确与否直接决定了输出结果的准确率。基于此，本示例可以采用机器学习模型，如xgBoost模型来选择特征，比如，选取多个待处理特征，并基于多个待处理特征的重要程度，对该多个待处理特征进行打标，如此，对xgBoost模型进行训练，进而得到第二目标模型；此时，该第二目标模型即可用于预测特征的重要程度，比如，利用训练完成的第二目标模型来基于重要程度，对特征进行排序，进而选取出用于对初始模型进行训练的预设特征，如此，来提升模型的准确率。
进一步地，在进行特征选取时，不仅可以选取视频帧序列样本的原始特征，还可以将原始特征进行组合得到组合特征，比如，通过计算或拼接等方式，对两个或两个以上原始特征进行处理后得到新特征(也即组合特征)。实际应用中，相较于存在物理含义的原始特征而言，得到的新特征(也即组合特征)可能并非有明确的物理含义，但是，组合特征的具体数值和输出结果之间存在关联，此时，将组合特征作为训练数据同样能够提升模型的准确性。
基于此，本公开方案通过使用性能更好的机器学习模型和更加系统的特征选择方式，来选择出与结果相关性更高的特征，并基于选取出的特征训练得到性能更优的模型；从而基于训练得到的模型对GOP长度进行预测，如此，有效提升了预测结果的准确率，进而来有效提升编码性能，且该方式所使用的带宽更少。
本公开方案还提供了一种视频帧处理装置，如图7所示，包括：
第一获取单元701，用于在待编码视频帧序列满足预设条件的情况下，获取所述待编码视频帧序列中当前视频帧所对应的目标特征；
第一确定单元702，用于将所述当前视频帧所对应的目标特征输入至第一目标模型，得到所述当前视频帧对应的第一输出结果；
第二确定单元703，用于基于所述当前视频帧对应的第一输出结果，确定所述当前视频帧对应的第一目标图像组GOP长度。
在本公开方案的一具体示例中，所述第一目标模型是基于目标视频帧序列样本中视频帧样本的预设特征以及所述视频帧样本的标签数据，对第一预设模型进行模型训练所得；
所述视频帧样本的标签数据是基于所述视频帧样本所对应的GOP长度样本而确定的。
在本公开方案的一具体示例中，所述视频帧样本所对应的GOP长度样本是从至少两个第一预设GOP长度中，选取出的与目标编码特征信息所对应的预设GOP长度；
所述目标编码特征信息是从至少两个第一编码特征信息中选取出的；所述至少两个第一编码特征信息是从所述视频帧样本起，基于至少两个第一预设GOP长度对所述目标视频帧序列样本进行编码处理后所得。
在本公开方案的一具体示例中，如图8所示，还包括：编码处理单元801，其中，
所述编码处理单元801，用于在所述待编码视频帧序列中，从所述当前视频帧起，选取出具有所述第一目标GOP长度的第一图像组；至少基于具有所述第一目标GOP长度的第一图像组，对所述待编码视频帧序列进行编码处理。
在本公开方案的一具体示例中，所述第一获取单元701，还用于在剩余待编码视频帧序列满足所述预设条件的情况下，获取剩余待编码视频帧序列中目标视频帧所对应的目标特征；其中，所述剩余待编码视频帧序列为所述待编码视频帧序列中除所述第一图像组之外的视频帧序列；
所述第一确定单元702，还用于将所述目标视频帧所对应的目标特征，输入至所述第一目标模型，得到所述目标视频帧对应的第二输出结果；
所述第二确定单元703，还用于基于所述目标视频帧对应的第二输出结果，确定所述目标视频帧对应的第二目标GOP长度。
在本公开方案的一具体示例中，如图8所示，还包括：预处理单元802，其中，
所述预处理单元802，用于在所述待编码视频帧序列所包含的视频帧的数量大于预设阈值的情况下，确定所述待编码视频帧序列满足所述预设条件。
在本公开方案的一具体示例中，所述第二确定单元703，还用于：
在所述待编码视频帧序列所包含的视频帧的数量小于或等于预设阈值的情况下，将第二预设GOP长度作为所述待编码视频帧序列中当前视频帧的GOP长度。
在本公开方案的一具体示例中，所述当前视频帧为所述待编码视频帧序列中B帧。
在本公开方案的一具体示例中，所述待编码视频帧序列为从待编码视频数据中所选取出的子序列，所述待编码视频帧序列中的首帧为I帧，中间帧为B帧，最后一帧为P帧。
本公开实施例的装置的各单元的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开方案还提供了一种模型训练装置，如图9所示，包括：
第三确定单元901，用于从至少两个第一预设图像组GOP长度中，选取出目标视频帧序列样本中视频帧样本所对应的GOP长度样本；
第四确定单元902，用于基于所述视频帧样本所对应的GOP长度样本，得到所述视频帧样本的标签数据；
模型处理单元903，用于将所述视频帧样本的预设特征，以及所述视频帧样本的标签数据作为训练数据；其中，所述训练数据用于对第一预设模型进行模型训练，以得到第一目标模型。
在本公开方案的一具体示例中，所述预设特征是基于预设规则从所述视频帧样本的多个特征中选取出的，包括以下至少之一：
所述视频帧样本的原始特征；
基于至少两个所述原始特征而得到的组合特征。
在本公开方案的一具体示例中，所述预设特征是基于所述多个特征对应的特征值，从所述多个特征中筛选得到的；
所述多个特征的特征值是将所述多个特征输入至第二目标模型后所得到。
在本公开方案的一具体示例中，所述第三确定单元901，还用于：
从所述视频帧样本开始，基于至少两个第一预设GOP长度，对所述目标视频帧序列样本进行编码处理，得到至少两个第一编码特征信息；
从所述至少两个第一编码特征信息中选取出目标编码特征信息；
从所述至少两个第一预设GOP长度中，选取出与所述目标编码特征信息所对应的预设GOP长度，作为所述视频帧样本所对应的GOP长度样本。
在本公开方案的一具体示例中，所述第三确定单元901，还用于：
在编码处理的过程中，消除所述目标视频帧序列样本中B帧和/或P帧，对所述目标视频帧序列样本中I帧的影响；其中，所述目标视频帧序列样本中的首帧为I帧，中间帧为B帧，最后一帧为P帧；
在消除对所述目标视频帧序列样本中I帧的影响之后，从所述视频帧样本开始，基于至少两个预设GOP长度，对所述目标视频帧序列样本进行编码处理，得到至少两个第一编码特征信息。
在本公开方案的一具体示例中，所述第三确定单元901，具体用于：
在编码处理的过程中，将所述目标视频帧序列样本中，影响所述I帧的编码结果的B帧和/或P帧的相关参数，调整为预设值。
在本公开方案的一具体示例中，所述第一编码特征信息为基于所述目标视频帧序列样本的B帧和/或P帧的相关信息而得到。
本公开实施例的装置的各单元的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如视频帧处理方法或模型训练方法。例如，在一些实施例中，视频帧处理方法或模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的视频帧处理方法或模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频帧处理方法或模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (35)

1.一种视频帧处理方法，包括：
在待编码视频帧序列满足预设条件的情况下，获取所述待编码视频帧序列中当前视频帧所对应的目标特征；
将所述当前视频帧所对应的目标特征输入至第一目标模型，得到所述当前视频帧对应的第一输出结果；
基于所述当前视频帧对应的第一输出结果，确定所述当前视频帧对应的第一目标图像组GOP长度。
2.根据权利要求1所述的方法，其中，
所述第一目标模型是基于目标视频帧序列样本中视频帧样本的预设特征以及所述视频帧样本的标签数据，对第一预设模型进行模型训练所得；
所述视频帧样本的标签数据是基于所述视频帧样本所对应的GOP长度样本而确定的。
3.根据权利要求2所述的方法，其中，所述视频帧样本所对应的GOP长度样本是从至少两个第一预设GOP长度中，选取出的与目标编码特征信息所对应的预设GOP长度；
所述目标编码特征信息是从至少两个第一编码特征信息中选取出的；所述至少两个第一编码特征信息是从所述视频帧样本起，基于至少两个第一预设GOP长度对所述目标视频帧序列样本进行编码处理后所得。
4.根据权利要求1至3任一项所述的方法，还包括：
在所述待编码视频帧序列中，从所述当前视频帧起，选取出具有所述第一目标GOP长度的第一图像组；
至少基于具有所述第一目标GOP长度的第一图像组，对所述待编码视频帧序列进行编码处理。
5.根据权利要求4所述的方法，还包括：
在剩余待编码视频帧序列满足所述预设条件的情况下，获取剩余待编码视频帧序列中目标视频帧所对应的目标特征；其中，所述剩余待编码视频帧序列为所述待编码视频帧序列中除所述第一图像组之外的视频帧序列；
将所述目标视频帧所对应的目标特征，输入至所述第一目标模型，得到所述目标视频帧对应的第二输出结果；
基于所述目标视频帧对应的第二输出结果，确定所述目标视频帧对应的第二目标GOP长度。
6.根据权利要求1至3任一项所述的方法，还包括：
在所述待编码视频帧序列所包含的视频帧的数量大于预设阈值的情况下，确定所述待编码视频帧序列满足所述预设条件。
7.根据权利要求1至3任一项所述的方法，还包括：
在所述待编码视频帧序列所包含的视频帧的数量小于或等于预设阈值的情况下，将第二预设GOP长度作为所述待编码视频帧序列中当前视频帧的GOP长度。
8.根据权利要求1至3任一项所述的方法，其中，所述当前视频帧为所述待编码视频帧序列中B帧。
9.根据权利要求8所述的方法，其中，所述待编码视频帧序列为从待编码视频数据中所选取出的子序列，所述待编码视频帧序列中的首帧为I帧，中间帧为B帧，最后一帧为P帧。
10.一种模型训练方法，包括：
从至少两个第一预设图像组GOP长度中，选取出目标视频帧序列样本中视频帧样本所对应的GOP长度样本；
基于所述视频帧样本所对应的GOP长度样本，得到所述视频帧样本的标签数据；
将所述视频帧样本的预设特征，以及所述视频帧样本的标签数据作为训练数据；其中，所述训练数据用于对第一预设模型进行模型训练，以得到第一目标模型。
11.根据权利要求10所述的方法，其特征在于，其中，所述预设特征是基于预设规则从所述视频帧样本的多个特征中选取出的，包括以下至少之一：
所述视频帧样本的原始特征；
基于至少两个所述原始特征而得到的组合特征。
12.根据权利要求11所述的方法，其中，所述预设特征是基于所述多个特征对应的特征值，从所述多个特征中筛选得到的；
所述多个特征的特征值是将所述多个特征输入至第二目标模型后所得到。
13.根据权利要求10至12任一项所述的方法，其特征在于，还包括：
从所述视频帧样本开始，基于至少两个第一预设GOP长度，对所述目标视频帧序列样本进行编码处理，得到至少两个第一编码特征信息；
从所述至少两个第一编码特征信息中选取出目标编码特征信息；
其中，所述从至少两个第一预设图像组GOP长度中，选取出目标视频帧序列样本中视频帧样本所对应的GOP长度样本，包括：
从所述至少两个第一预设GOP长度中，选取出与所述目标编码特征信息所对应的预设GOP长度，作为所述视频帧样本所对应的GOP长度样本。
14.根据权利要求13所述的方法，其特征在于，还包括：
在编码处理的过程中，消除所述目标视频帧序列样本中B帧和/或P帧，对所述目标视频帧序列样本中I帧的影响；其中，所述目标视频帧序列样本中的首帧为I帧，中间帧为B帧，最后一帧为P帧；
其中，所述从所述视频帧样本开始，基于至少两个第一预设GOP长度，对所述目标视频帧序列样本进行编码处理，得到至少两个第一编码特征信息，包括：
在消除对所述目标视频帧序列样本中I帧的影响之后，从所述视频帧样本开始，基于至少两个预设GOP长度，对所述目标视频帧序列样本进行编码处理，得到至少两个第一编码特征信息。
15.根据权利要求14所述的方法，其特征在于，其中，所述在编码处理的过程中，消除所述目标视频帧序列样本中B帧和/或P帧，对所述目标视频帧序列样本中I帧的影响，包括：
在编码处理的过程中，将所述目标视频帧序列样本中，影响所述I帧的编码结果的B帧和/或P帧的相关参数，调整为预设值。
16.根据权利要求14或15所述的方法，其特征在于，其中，所述第一编码特征信息为基于所述目标视频帧序列样本的B帧和/或P帧的相关信息而得到。
17.一种视频处理装置，包括：
第一获取单元，用于在待编码视频帧序列满足预设条件的情况下，获取所述待编码视频帧序列中当前视频帧所对应的目标特征；
第一确定单元，用于将所述当前视频帧所对应的目标特征输入至第一目标模型，得到所述当前视频帧对应的第一输出结果；
第二确定单元，用于基于所述当前视频帧对应的第一输出结果，确定所述当前视频帧对应的第一目标图像组GOP长度。
18.根据权利要求17所述的装置，其中，所述第一目标模型是基于目标视频帧序列样本中视频帧样本的预设特征以及所述视频帧样本的标签数据，对第一预设模型进行模型训练所得；
所述视频帧样本的标签数据是基于所述视频帧样本所对应的GOP长度样本而确定的。
19.根据权利要求18所述的装置，其中，所述视频帧样本所对应的GOP长度样本是从至少两个第一预设GOP长度中，选取出的与目标编码特征信息所对应的预设GOP长度；
所述目标编码特征信息是从至少两个第一编码特征信息中选取出的；所述至少两个第一编码特征信息是从所述视频帧样本起，基于至少两个第一预设GOP长度对所述目标视频帧序列样本进行编码处理后所得。
20.根据权利要求17至19任一项所述的装置，还包括：编码处理单元，其中，
所述编码处理单元，用于在所述待编码视频帧序列中，从所述当前视频帧起，选取出具有所述第一目标GOP长度的第一图像组；至少基于具有所述第一目标GOP长度的第一图像组，对所述待编码视频帧序列进行编码处理。
21.根据权利要求20所述的装置，其中，
所述第一获取单元，还用于在剩余待编码视频帧序列满足所述预设条件的情况下，获取剩余待编码视频帧序列中目标视频帧所对应的目标特征；其中，所述剩余待编码视频帧序列为所述待编码视频帧序列中除所述第一图像组之外的视频帧序列；
所述第一确定单元，还用于将所述目标视频帧所对应的目标特征，输入至所述第一目标模型，得到所述目标视频帧对应的第二输出结果；
所述第二确定单元，还用于基于所述目标视频帧对应的第二输出结果，确定所述目标视频帧对应的第二目标GOP长度。
22.根据权利要求17至19任一项所述的装置，还包括：预处理单元，其中，
所述预处理单元，用于在所述待编码视频帧序列所包含的视频帧的数量大于预设阈值的情况下，确定所述待编码视频帧序列满足所述预设条件。
23.根据权利要求17至19任一项所述的装置，其中，所述第二确定单元，还用于：
在所述待编码视频帧序列所包含的视频帧的数量小于或等于预设阈值的情况下，将第二预设GOP长度作为所述待编码视频帧序列中当前视频帧的GOP长度。
24.根据权利要求17至19任一项所述的装置，其中，所述当前视频帧为所述待编码视频帧序列中B帧。
25.根据权利要求24所述的装置，其中，所述待编码视频帧序列为从待编码视频数据中所选取出的子序列，所述待编码视频帧序列中的首帧为I帧，中间帧为B帧，最后一帧为P帧。
26.一种模型训练装置，包括：
第三确定单元，用于从至少两个第一预设图像组GOP长度中，选取出目标视频帧序列样本中视频帧样本所对应的GOP长度样本；
第四确定单元，用于基于所述视频帧样本所对应的GOP长度样本，得到所述视频帧样本的标签数据；
模型处理单元，用于将所述视频帧样本的预设特征，以及所述视频帧样本的标签数据作为训练数据；其中，所述训练数据用于对第一预设模型进行模型训练，以得到第一目标模型。
27.根据权利要求26所述的装置，其特征在于，其中，所述预设特征是基于预设规则从所述视频帧样本的多个特征中选取出的，包括以下至少之一：
所述视频帧样本的原始特征；
基于至少两个所述原始特征而得到的组合特征。
28.根据权利要求27所述的装置，其中，所述预设特征是基于所述多个特征对应的特征值，从所述多个特征中筛选得到的；
所述多个特征的特征值是将所述多个特征输入至第二目标模型后所得到。
29.根据权利要求26至28任一项所述的装置，其中，所述第三确定单元，还用于：
从所述视频帧样本开始，基于至少两个第一预设GOP长度，对所述目标视频帧序列样本进行编码处理，得到至少两个第一编码特征信息；
从所述至少两个第一编码特征信息中选取出目标编码特征信息；
从所述至少两个第一预设GOP长度中，选取出与所述目标编码特征信息所对应的预设GOP长度，作为所述视频帧样本所对应的GOP长度样本。
30.根据权利要求29所述的装置，其中，所述第三确定单元，还用于：
在编码处理的过程中，消除所述目标视频帧序列样本中B帧和/或P帧，对所述目标视频帧序列样本中I帧的影响；其中，所述目标视频帧序列样本中的首帧为I帧，中间帧为B帧，最后一帧为P帧；
在消除对所述目标视频帧序列样本中I帧的影响之后，从所述视频帧样本开始，基于至少两个预设GOP长度，对所述目标视频帧序列样本进行编码处理，得到至少两个第一编码特征信息。
31.根据权利要求30所述的装置，其特征在于，其中，所述第三确定单元，具体用于：
在编码处理的过程中，将所述目标视频帧序列样本中，影响所述I帧的编码结果的B帧和/或P帧的相关参数，调整为预设值。
32.根据权利要求30或31所述的装置，其特征在于，其中，所述第一编码特征信息为基于所述目标视频帧序列样本的B帧和/或P帧的相关信息而得到。
33.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-16中任一项所述的方法。
34.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-16中任一项所述的方法。
35.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-16中任一项所述的方法。
CN202210778599.6A 2022-06-30 2022-06-30 视频帧处理方法、训练方法、装置、设备及存储介质 Active CN115190309B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210778599.6A CN115190309B (zh) 2022-06-30 2022-06-30 视频帧处理方法、训练方法、装置、设备及存储介质
US18/075,867 US20240007639A1 (en) 2022-06-30 2022-12-06 Video Frame Processing Method, Training Method, Device, and Storage Medium
EP22212075.0A EP4300959A1 (en) 2022-06-30 2022-12-07 Video frame processing method and apparatus, training method and apparatus, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210778599.6A CN115190309B (zh) 2022-06-30 2022-06-30 视频帧处理方法、训练方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115190309A true CN115190309A (zh) 2022-10-14
CN115190309B CN115190309B (zh) 2023-05-30

Family

ID=83514456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210778599.6A Active CN115190309B (zh) 2022-06-30 2022-06-30 视频帧处理方法、训练方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US20240007639A1 (zh)
EP (1) EP4300959A1 (zh)
CN (1) CN115190309B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102630013A (zh) * 2012-04-01 2012-08-08 北京捷成世纪科技股份有限公司 基于场景切换的码率控制视频压缩方法和装置
US20130208813A1 (en) * 2010-07-30 2013-08-15 Deutsche Telekom Ag Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal
CN104780367A (zh) * 2015-04-13 2015-07-15 浙江宇视科技有限公司 一种动态调整gop长度的方法和装置
CN106973066A (zh) * 2017-05-10 2017-07-21 福建星网智慧科技股份有限公司 一种实时通讯中h264编码视频数据传输方法以及系统
CN110392284A (zh) * 2019-07-29 2019-10-29 腾讯科技（深圳）有限公司 视频编码、视频数据处理方法、装置、计算机设备和存储介质
CN112019850A (zh) * 2020-08-27 2020-12-01 广州市百果园信息技术有限公司 基于场景切换的图像组划分方法、视频编码方法及装置
WO2021072694A1 (en) * 2019-10-17 2021-04-22 Alibaba Group Holding Limited Adaptive resolution coding based on machine learning model
CN112911299A (zh) * 2019-12-03 2021-06-04 浙江宇视科技有限公司 一种视频码率控制方法、装置、电子设备和存储介质
US11363262B1 (en) * 2020-12-14 2022-06-14 Google Llc Adaptive GOP structure using temporal dependencies likelihood

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3021579B1 (en) * 2014-11-14 2016-10-12 Axis AB Method and encoder system for encoding video
US10970555B2 (en) * 2019-08-27 2021-04-06 At&T Intellectual Property I, L.P. Data-driven event detection for compressed video

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208813A1 (en) * 2010-07-30 2013-08-15 Deutsche Telekom Ag Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal
CN102630013A (zh) * 2012-04-01 2012-08-08 北京捷成世纪科技股份有限公司 基于场景切换的码率控制视频压缩方法和装置
CN104780367A (zh) * 2015-04-13 2015-07-15 浙江宇视科技有限公司 一种动态调整gop长度的方法和装置
CN106973066A (zh) * 2017-05-10 2017-07-21 福建星网智慧科技股份有限公司 一种实时通讯中h264编码视频数据传输方法以及系统
CN110392284A (zh) * 2019-07-29 2019-10-29 腾讯科技（深圳）有限公司 视频编码、视频数据处理方法、装置、计算机设备和存储介质
WO2021072694A1 (en) * 2019-10-17 2021-04-22 Alibaba Group Holding Limited Adaptive resolution coding based on machine learning model
CN112911299A (zh) * 2019-12-03 2021-06-04 浙江宇视科技有限公司 一种视频码率控制方法、装置、电子设备和存储介质
CN112019850A (zh) * 2020-08-27 2020-12-01 广州市百果园信息技术有限公司 基于场景切换的图像组划分方法、视频编码方法及装置
US11363262B1 (en) * 2020-12-14 2022-06-14 Google Llc Adaptive GOP structure using temporal dependencies likelihood

Also Published As

Publication number Publication date
CN115190309B (zh) 2023-05-30
EP4300959A1 (en) 2024-01-03
US20240007639A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
WO2014190308A1 (en) Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming
US11277619B2 (en) Rate control for video splicing applications
US20170180746A1 (en) Video transcoding method and electronic apparatus
CN111263243B (zh) 视频编码方法、装置、计算机可读介质及电子设备
US11197021B2 (en) Coding resolution control method and terminal
CN112272299A (zh) 一种视频编码的方法、装置、设备和存储介质
CN106791850A (zh) 视频编码方法及装置
CN111787322B (zh) 视频编码的方法、装置、电子设备及计算机可读存储介质
US11917163B2 (en) ROI-based video coding method and device
CN109218722B (zh) 一种视频编码方法、装置及设备
US9020283B2 (en) Electronic device and method for splitting image
US20140133768A1 (en) Electronic device and method for splitting image
CN115190309B (zh) 视频帧处理方法、训练方法、装置、设备及存储介质
CN111464805B (zh) 一种基于全景显著性的立体全景视频快速编码方法
US11323703B2 (en) Moving-image encoding device, moving-image encoding method, and program
CN105706447B (zh) 动画图像编码设备、动画图像解码设备、动画图像编码方法以及动画图像解码方法
CN111510715B (zh) 视频处理方法、系统、计算机设备及存储介质
CN115190295B (zh) 视频帧处理方法、装置、设备及存储介质
CN105812803A (zh) 一种针对变换单元tu的残差舍弃方法及装置
US20240137502A1 (en) Systems and methods for encoding and decoding video with memory-efficient prediction mode selection
WO2023142663A1 (zh) 编码过程中的运动估计方法、装置、设备、存储介质及程序产品
CN117640929A (zh) 一种图像处理方法、装置及相关设备
CN115334309A (zh) 帧内预测编码方法、装置、设备以及存储介质
EP4367880A1 (en) Systems and methods for encoding and decoding video with memory-efficient prediction mode selection
CN116471407A (zh) 视频编码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant