CN108259902B - 视频数据编码和被配置为执行视频数据编码的视频编码器 - Google Patents

视频数据编码和被配置为执行视频数据编码的视频编码器 Download PDF

Info

Publication number
CN108259902B
CN108259902B CN201711360590.9A CN201711360590A CN108259902B CN 108259902 B CN108259902 B CN 108259902B CN 201711360590 A CN201711360590 A CN 201711360590A CN 108259902 B CN108259902 B CN 108259902B
Authority
CN
China
Prior art keywords
encoding
group
candidate
picture
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711360590.9A
Other languages
English (en)
Other versions
CN108259902A (zh
Inventor
田敏秀
鲁圣昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108259902A publication Critical patent/CN108259902A/zh
Application granted granted Critical
Publication of CN108259902B publication Critical patent/CN108259902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

可以实现视频编码器的设备可以包括生成视频显示，所述视频显示包括基于根据单独的、独立的编码方案生成的不同编码画面组之间的比较而选择出的编码画面组。输入画面可以包括具有一个或多个输入画面的多个子组。可以根据单独的、独立的编码方案对每个画面子组进行多次编码，以生成与每个子组相关联的多个候选编码组。对于每个子组，可以将一个候选编码组选择为与所述子组相关联的编码画面。所选择的编码画面可以用于生成包括与多个子组相关联的编码画面的视频显示。

Description

视频数据编码和被配置为执行视频数据编码的视频编码器
相关申请的交叉引用
本申请要求于2016年12月28日在韩国知识产权局(KIPO)递交的韩国专利申请No.10-2016-0180916的优先权，其全部内容通过引用合并于此。
技术领域
示例实施例总体涉及视频处理，更具体地，涉及对视频数据进行编码以自适应地调整画面组(GOP)的结构的方法、执行该方法的视频编码器以及包括视频编码器的电子系统。
背景技术
ISO/IEC(国际标准化组织/国际电工委员会)下的MPEG(运动图像专家组)和ITU-T(国际电信联盟电信)下的VCEG(视频编码专家组)是视频编码/解码的领先标准。例如，已经建立和使用了视频编码/解码的各种国际标准，比如MPEG-1、MPEG-2、H.261、H.262(或MPEG-2第2部分)、H.263、MPEG-4、AVC(高级视频编码)、HEVC(高效视频编码)等。AVC也称为H.264或MPEG-4第10部分，并且HEVC也称为H.265或MPEG-H第2部分。根据对高分辨率和高质量视频(比如，高清(HD)视频、超高清(UHD)视频等)的需求日益增长，研究聚焦于用于实现提高的压缩性能的视频编码。
发明内容
因此，提供本公开以基本消除由于相关技术的限制和缺点而引起的一个或多个问题。
本公开的至少一个示例实施例提供了一种对视频数据进行编码的方法，所述方法能够基于输入画面的特性来自适应地调整画面组(GOP)的结构。
本公开的至少一个示例实施例提供了一种执行对视频数据进行编码的方法的视频编码器。
本公开的至少一个示例实施例提供了一种包括视频编码器的电子系统。
根据一些示例实施例，一种对视频数据进行编码的方法可以包括：接收多个输入画面，所述多个输入画面包括具有一个或多个输入画面的多个子组，每个子组的大小小于画面组(GOP)的大小。所述方法可以包括：对于每个给定子组，通过根据单独的、独立的编码方案对给定子组中所包括的一个或多个输入画面进行多次编码来生成与给定子组相关联的多个候选编码组。所述方法可以包括：对于每个给定子组，通过将与给定子组相关联的多个候选编码组的编码成本和编码质量中的至少一个编码参数彼此进行比较，来将与给定子组相关联的多个候选编码组中的一个候选编码组选择为与给定子组相关联的多个编码画面。所述方法可以包括：基于所述选择来生成视频显示，所述视频显示包括分别与所述多个子组相关联的多个编码画面。
根据一些示例实施例，一种视频编码器可以包括存储指令程序的存储器和处理器。所述处理器可以被配置为执行所述指令程序以进行以下操作：接收多个输入画面；将所述多个输入画面输出为具有一个或多个输入画面的多个子组，每个子组的大小小于画面组(GOP)的大小；对于每个给定子组，通过根据单独的、独立的编码方案对给定子组中所包括的一个或多个输入画面进行多次编码来生成与给定子组相关联的多个候选编码组；对于每个给定子组，将与给定子组相关联的多个候选编码组存储在缓存池中；对于每个给定子组，通过将与给定子组相关联的多个候选编码组的编码成本和编码质量中的至少一个编码参数彼此进行比较，来将与给定子组相关联的多个候选编码组中的一个候选编码组选择为与给定子组相关联的多个编码画面；以及基于所述选择来生成视频显示，所述视频显示包括分别与所述多个子组相关联的多个编码画面。
根据一些示例实施例，一种电子系统可以包括存储指令程序的存储器和处理器。所述处理器可以被配置为执行所述指令程序，以提供多个输入画面，并且对所述多个输入画面进行编码。所述编码可以包括：接收所述多个输入画面；将所述多个输入画面输出为具有一个或多个输入画面的多个子组，每个子组的大小小于画面组(GOP)的大小；对于每个给定子组，通过根据单独的、独立的编码方案对给定子组中所包括的一个或多个输入画面进行多次编码来生成与给定子组相关联的多个候选编码组；将所述多个候选编码组存储在多个缓存器中；对于每个给定子组，通过将与给定子组相关联的多个候选编码组的编码成本和编码质量中的至少一个编码参数彼此进行比较，来将与给定子组相关联的多个候选编码组中的一个候选编码组选择为与给定子组相关联的多个编码画面；以及基于所述选择来生成视频显示，所述视频显示包括分别与所述多个子组相关联的多个编码画面。
根据一些示例实施例，一种电子设备可以包括存储指令程序的存储器和处理器。所述处理器可以被配置为执行所述指令程序以进行以下操作：接收多个输入画面，所述多个输入画面包括具有一个或多个画面的多个子组，每个子组的大小小于画面组(GOP)的大小；对于每个给定子组，通过根据单独的、独立的编码方案对给定子组中所包括的一个或多个输入画面进行多次编码来生成与给定子组相关联的多个候选编码组；对于每个给定子组，通过将与给定子组相关联的多个候选编码组的编码成本和编码质量中的至少一个编码参数彼此进行比较，来将与给定子组相关联的多个候选编码组中的一个候选编码组选择为与给定子组相关联的多个编码画面；以及基于所述选择来生成视频显示，所述视频显示包括分别与所述多个子组相关联的多个编码画面。
在根据一些示例实施例的对视频数据进行编码的方法和视频编码器中，可以选择通过对每个子组进行多次编码而生成的多个候选编码组中的一个(例如，最优的一个、最佳的一个、最适当的一个...)。换句话说，GOP的结构可以不是固定的，而可以是变化的。可以自适应地选择当前画面的最优编码画面和最优画面类型，由此可以提高编码效率和性能。此外，根据一些示例实施例的对视频数据进行编码的方法可以有效地适用于画面的特性急剧地或激烈地改变的示例(例如，在场景改变的情况下)。
附图说明
根据结合附图的以下详细描述，将更清楚地理解说明性的非限制性示例实施例。
图1是示出了根据一些示例实施例的对视频数据进行编码的方法的流程图。
图2是示出了根据一些示例实施例的视频编码器的框图。
图3是示出了根据一些示例实施例的具有规则结构的GOP的示例的图。
图4是示出了根据一些示例实施例的对视频数据进行编码的方法的流程图。
图5是示出了图4中的生成第一子组的候选编码组的示例的流程图。
图6是示出了图4中的选择第一子组的编码画面的示例的流程图。
图7是用于描述图4的对视频数据进行编码的方法的图。
图8是用于描述根据一些示例实施例的对视频数据进行编码的方法的图。
图9是示出了图4中的选择第一子组的编码画面的另一示例的流程图。
图10A、图10B和图10C是用于描述图4的对视频数据进行编码的方法的图。
图11是用于描述图4的对视频数据进行编码的方法的图。
图12是示出了图4中的生成第一子组的候选编码组的另一示例的流程图。
图13和图14是用于描述图4的对视频数据进行编码的方法的图。
图15是示出了根据一些示例实施例的视频编码器中所包括的编码模块的示例的框图。
图16是示出了根据一些示例实施例的视频解码器的框图。
图17是示出了根据一些示例实施例的视频编码和解码系统的框图。
图18是示出了根据一些示例实施例的电子系统的框图。
具体实施方式
将参考附图更全面地描述各种示例实施例，附图中示出了实施例。然而，本公开可以以许多不同的形式来体现，并且不应被解释为受限于本文所阐述的实施例。在本申请中，类似的附图标记表示类似的元件。
图1是示出了根据一些示例实施例的对视频数据进行编码的方法的流程图。图1中所示的方法可以全部或部分地由如本文中所述的一个或多个视频编码器、电子系统和/或电子设备来实现，包括参考图18所示出和描述的电子系统和/或电子设备。
在一些示例实施例中，包括图1中所示的示例实施例，视频数据包括多个画面，并且该多个画面是基于画面组(GOP)和子组而被编码的。如将参考图3所描述的那样，通过将多个画面中的单独的画面集合分别指定为一个或多个帧内画面和一个或多个帧间画面来确定GOP，其中每个帧内画面是在不参考多个输入画面中的任何其他(“单独”)画面的情况下进行编码的(例如，独立于其他输入画面进行编码)，并且每个帧间画面是参考多个输入画面中的一个或多个其他(“单独”)画面进行编码的(例如，依赖于一个或多个其他输入画面进行编码)。
参考图1，在根据一些示例实施例的对视频数据进行编码的方法中，以多个子组为单位来提供和/或接收至少部分地包括视频数据的实例的多个输入画面(例如，多个输入画面包括多个子组，并且每个子组包括一个或多个输入画面)(步骤S100)。每个子组的大小(例如，每个子组中的输入画面的数量)小于GOP的大小(例如，GOP中的输入画面的数量)。GOP的大小可以表示单个GOP中所包括的画面的数目(“数量”)，并且每个子组的大小可以表示单个子组中所包括的画面的数目。例如，单个子组可以包括多于两个的画面。将参考图3和图7来描述GOP和子组的配置。
可以根据诸如MPEG-2、H.261、H.262、H.263、MPEG-4、H.264、HEVC等标准以画面为单位对视频数据进行编码。例如，每个画面可以与逐行扫描形式的帧或隔行扫描形式的场相对应。
基于以独立且不同的方案(例如，单独的、独立的编码方案)对每个子组中所包括的一个或多个输入画面进行多次编码来生成每个子组的多个候选编码组(步骤S200)。重申，对于每个给定的子组，可以基于根据单独的、独立的编码方案对给定子组中所包括的一个或多个输入画面进行多次编码来生成与给定子组相关联的多个候选编码组。例如，可以以独立且不同的方案(“编码方案”)对单个子组进行多于两次地编码，然后，可以生成单个子组的多于两个的候选编码组(与每个子组相关联的候选编码组)。可以以子组为单位依次地执行多个(例如，多于两个)编码操作。在单个子组(“与单个子组相关联”)的多个(例如，多于两个)候选编码组中，一个候选编码组中所包括的候选编码画面的画面类型和画面顺序(例如，布置顺序)可以与另一候选编码组中所包括的候选编码画面的画面类型和画面顺序不同。
对于每个给定的子组，可以基于将与给定子组相关联的多个候选编码组的编码成本和编码质量中的至少一个编码参数彼此进行比较，来将与给定子组相关联的多个候选编码组中的一个候选编码组选择为与给定子组中所包括的输入画面相关联的一个或多个编码画面的集合。因此，可以以子组为单位依次地选择和输出与多个输入画面相对应的多个编码画面(例如，可以针对单独的各个子组来选择单独的多个编码画面)。重申，对于每个给定的子组，可以基于将与给定子组相关联的多个候选编码组的编码成本和编码质量中的至少一个编码参数彼此进行比较，来将与给定子组相关联的多个候选编码组中的一个候选编码组选择为与给定子组相关联的多个编码画面。
可以执行上述生成和选择(S200和S300)以生成编码视频数据，该编码视频数据包括所选择的分别与多个子组相关联的多个编码画面。在一些示例实施例中，至少基于所述选择来生成视频显示，使得视频显示(本文中也简称为“视频”)包括分别与多个子组相关联的多个编码画面(S400)。视频显示可以是编码画面的序列，包括分别与多个子组相关联的多个编码画面。生成视频显示可以包括：在显示接口(“输入/输出(I/O)设备”)中显示编码画面的序列和/或(例如，经由视频流)向远程设备发送编码画面的序列，使得编码画面的序列显示在远程设备的显示接口中。
在根据一些示例实施例的对视频数据进行编码的方法中，可以选择通过对每个子组进行多次编码而生成的多个候选编码组中的一个(例如，最优的一个、最佳的一个、最适当的一个...)。换句话说，在根据一些示例实施例的对视频数据进行编码的方法中，GOP的结构可以不是固定的，而可以是可变的。可以自适应地选择当前画面的最优编码画面和最优画面类型，由此可以提高编码效率和性能。结果，被配置为至少执行对视频数据的编码的视频编码器、电子系统和/或电子设备的操作性能可以提高。此外，根据一些示例实施例的对视频数据进行编码的方法可以有效地适用于画面的特性急剧地或激烈地改变的示例(例如，在场景改变的情况下)。结果，被配置为至少执行对视频数据的编码的视频编码器、电子系统和/或电子设备可以被配置为在这样的情况下提高视频编码性能和效率。由此，可以提高基于视频数据的编码的视频显示的生成。
图2是示出了根据一些示例实施例的视频编码器的框图。图2中所示的视频编码器可以全部地或部分地由如本文中所述的一个或多个电子系统和/或电子设备来实现，包括参考图18所示出和描述的电子系统和/或电子设备。例如，图2中所示的视频编码器可以全部或部分地由图18的电子系统1000的处理器1030来实现，处理器1030执行存储在电子系统1000的存储设备1050(例如，存储器)上的指令程序。
参考图2，视频编码器10包括输入缓存器100、编码模块200、控制模块400和缓存池500。视频编码器10还可以包括上下文缓存器300和输出缓存器600。
输入缓存器100接收多个输入画面INP，并且以子组为单位输出多个输入画面INP。每个子组的大小小于GOP的大小。例如，单个GOP可以包括多个输入画面INP中的N个输入画面，其中N是自然数。多个子组SG中的每一个可以包括M个输入画面，其中M是等于或大于2且小于N的自然数。
编码模块200通过以独立且不同的方案对每个子组中所包括的M个输入画面进行多次编码，来为多个子组SG中的每一个生成多个候选编码组CG。例如，就每个子组而言，每个候选编码组可以包括M个候选编码画面。将参考图15描述编码模块200的详细配置。
在一些示例实施例中，每个候选编码组中所包括的M个候选编码画面中的每一个可以是帧间画面。换句话说，可以仅应用或采用根据一些示例实施例的方法和视频编码器来对帧间画面进行编码。可以不对帧内画面进行多次编码，而是可以仅对其编码一次。这里，不参考其他画面而被编码(例如，被编码和/或解码)的帧内画面可以被称作I画面和/或IDR(瞬时解码刷新)画面，并且参考其他画面而被编码的帧间画面可以被称作P画面(预测画面)和/或B画面(双向预测画面)。可以参考相对于P画面而言的之前画面来对P画面进行编码，并且可以参考相对于B画面而言的之前画面和在后画面两者来对B画面进行编码。
在一些示例实施例中，编码模块200可以基于上下文值CTX来执行编码操作。例如，上下文值CTX可以是表示视频编码器10的当前状态的上下文和/或要被编码的当前画面或当前子组的上下文。
上下文缓存器300可以存储上下文值CTX。在对当前画面或当前子组执行单个编码操作之后，可以改变或更新上下文值CTX。因此，如果要对相同(“共同”)画面或子组(例如，当前画面或当前子组)执行多次编码操作，则应当在执行第一编码操作之前将上下文值CTX存储在上下文缓存器300中。编码模块200可以基于上下文值CTX来对当前画面或当前子组执行第一编码操作，并且可以基于从上下文缓存器300加载的上下文值CTX来对当前画面或当前子组执行第二编码操作和在第二编码操作之后的编码操作。
控制模块400通过将每个子组的多个候选编码组CG的编码成本CS和编码质量QS中的至少一个编码参数彼此进行比较，来将多个子组SG中的每一个的多个候选编码组CG之一选择为每个子组中所包括的M个输入画面的M个编码画面。
控制模块400可以包括成本/质量计算器(C/Q CAL)410、成本/质量比较器(C/QCOMP)420和成本/质量策略确定器(C/Q POL)430。
成本/质量计算器410可以生成多个候选编码组CG的编码成本CS和编码质量QS。例如，成本/质量计算器410可以为每个候选编码组计算编码成本和编码质量。
在一些示例实施例中，编码成本可以表示每个候选编码组中所包括的M个候选编码画面的比特数(“数量”)。编码质量可以表示与每个候选编码组中所包括的M个候选编码画面相关联的峰值信噪比(PSNR)和结构相似性指数(SSIM)中的至少一个。在一些示例实施例中，编码成本和编码质量可以包括用于确定最优编码画面的各种准则中的至少一个。
成本/质量策略确定器430可以设置用于将多个候选编码组CG的编码成本CS和编码质量QS彼此进行比较的成本/质量策略，并且可以生成与成本/质量策略相对应的策略信号PS。
在一些示例实施例中，成本/质量策略可以是固定的。例如，成本/质量策略可以在制造视频编码器10时被确定，并且可以被存储在视频编码器10中。在一些示例实施例中，成本/质量策略可以是可变的。例如，成本/质量策略可以基于用户的控制(例如，基于用户设置信号)或基于当前画面(例如，基于分析当前画面的结果)而改变。
成本/质量比较器420可以基于成本/质量策略(例如，基于策略信号PS)通过以下操作来生成选择信号SEL：将多个候选编码组CG的编码成本CS彼此进行比较，将多个候选编码组CG的编码质量QS彼此进行比较，或者将多个候选编码组CG的编码成本CS和编码质量QS两者彼此进行比较。选择信号SEL可以用于将多个子组SG中的每一个的多个候选编码组CG之一选择为每个子组中所包括的M个输入画面的M个编码画面。
在一些示例实施例中，成本/质量比较器420可以将包括具有最小比特数的候选编码画面的候选编码组选择为编码子组。在一些示例实施例中，成本/质量比较器420可以将具有最高PSNR或最大SSIM的候选编码组选择为编码子组。在其他示例实施例中，成本/质量比较器420可以综合地评价每个候选编码组的比特数、PSNR、SSIM等，用以给每个候选编码组打分，并且可以将具有最高得分的候选编码组选择为编码子组。
缓存池500可以包括存储多个候选编码组CG的多个缓存器(BUF1、...、BUFI)510a、...、510i。缓存池500可以基于选择信号SEL选择每个子组的多个候选编码组CG中的一个，并且可以输出所选择的编码组SELG。
输出缓存器600可以从缓存池500接收输出，并且可以输出与多个输入画面INP相对应的多个编码画面ENP。例如，如将参考图7所描述的，输出缓存器600可以输出每个子组的所选择的编码组中所包括的所有编码画面。对于另一示例，如将参考图10A、图10B和图10C所描述的，输出缓存器600可以基于每个子组的所选择的编码组中的第一编码画面的画面类型，来输出所选择的编码组中所包括的编码画面中的所有或一些。
在一些示例实施例中，如将参考图4所描述的，可以以子组为单位来执行编码模块200的编码操作、缓存池500的存储操作、控制模块400的总体操作(例如，计算、比较和选择)和输出缓存器600的输出操作。
图3是示出了根据一些示例实施例的具有规则结构的GOP的示例的图。
参考图3，可以通过所指定的I画面的间隔来确定GOP的大小，并且可以通过所指定的P画面和/或B画面的布置来确定GOP的结构。可以通过P画面和/或B画面(即，参考其他画面被编码的帧间画面)的适当布置来减少编码数据的比特数。可以通过限制GOP的大小，即，通过规则地或不规则地指定不参考其他画面而被编码的I画面，使得GOP包括帧间画面的不规则布置，来限制和/或防止通过连续帧间画面的错误传播。
图3示出了通过规则地指定I画面而具有正常大小N的GOP设置的示例。换句话说，GOP的大小可以是固定的。被指定为I画面的第一画面至第N画面可以形成第一GOP GOP1，并且被指定为下一I画面的第(N+1)画面至第2N画面可以形成第二GOP GOP2。以相同的方式，从第(2N+1)画面起的N个画面形成第三GOP GOP3。
在图3中的第一示例情况1中，可以在单个GOP中仅重复P画面。在图3中的第二示例情况2中，可以在单个GOP中交替地重复B画面和P画面。如将参考图8所描述的，当如示例情况1和情况2那样规则地设置单个GOP时(比如，当单个GOP具有规则结构时)，编码效率可能降低。
虽然图3中未示出，但是可以不同地确定具有规则结构的单个GOP。例如，可以在单个GOP中交替地重复两个B画面和一个P画面(例如，“B-B-P”结构)，或者可以在单个GOP中交替地重复一个B画面和两个P画面(例如，“B-P-P”结构或“P-B-P”结构)。对于另一示例，可以在单个GOP中以各种模式中的一种来重复B画面和P画面。
此外，图3中的画面编号PN可以表示显示顺序，并且根据GOP的结构，显示顺序可以与编码顺序基本上相同(例如，在制造公差和/或材料公差内相同)或者不同。例如，在第一示例情况1中，显示顺序可以与编码顺序基本上相同(例如，在制造公差和/或材料公差内相同)。在第二示例情况2中，显示顺序可以与编码顺序不同。在第二示例情况2中，第三画面(例如，P画面)必须在第二画面(例如，B画面)之前被编码，然后可以参考编码后的第三画面来对第二画面进行编码。
在下文中，将基于对单个GOP执行编码操作的示例来描述示例实施例。
图4是示出了根据一些示例实施例的对视频数据进行编码的方法的流程图。图5是示出了图4中的生成第一子组的候选编码组的示例的流程图。图6是示出了图4中的选择第一子组的编码画面的示例的流程图。图7是用于描述图4的对视频数据进行编码的方法的图。图4至图7中所示的操作中的一个或多个可以全部或部分地由如本文中所述的一个或多个视频编码器、电子系统和/或电子设备来实现，包括参考图18所示出和描述的电子系统和/或电子设备。
参考图2、图4和图7，在根据一些示例实施例的对视频数据进行编码的方法中，可以接收多个输入画面INP(步骤S110)，并且可以以子组SG为单位输出多个输入画面INP(步骤S120)。例如，多个输入画面INP可以包括单个GOP中所包括的N个输入画面T1、T2、T3、T4、T5、...、T(N-1)和TN，其中N是自然数。
步骤S110和S120可以包括在图1的步骤S100中，并且可以由输入缓存器100执行。从不同的角度来看，步骤S120可以被描述为以子组SG为单位加载多个输入画面INP的操作。
虽然图4中未示出，但是还可以在步骤S110和步骤S120之间包括输出输入画面T1的步骤和通过对输入画面T1进行编码来生成编码画面I1的步骤，其中该输入画面T1布置在GOP的最前面并且被指定为帧内画面。
在步骤S120之后，可以通过对指定为帧间画面的输入画面T2至TN进行编码来以子组为单位依次地生成编码画面。
例如，可以独立地生成第一子组SG1的候选编码组CG1和CG2(步骤S210)。候选编码组CG1和CG2可以具有不同的画面顺序或不同的画面类型布置。此外，可以基于候选编码组CG1和CG2来选择第一子组SG1的最优编码画面P2和P31(步骤S310)。在图7的示例中，每个子组可以包括两个输入画面，然后可能的画面顺序的数目(例如，可能的候选编码组的类型的数目)可以是2。
参考图2、图4、图5和图7，在步骤S210中，可以在对第一子组SG1中所包括的输入画面T2和T3执行第一编码操作(例如，图7中的箭头①)之前，将表示当前状态的上下文值CTX存储在上下文缓存器300中(步骤S211a)。
可以通过基于上下文值CTX对第一子组SG1中所包括的输入画面T2和T3执行第一编码操作来生成第一候选编码组CG1(步骤S213a)。第一候选编码组CG1可以包括第一候选编码画面P2和第二候选编码画面P31，并且可以具有第一画面顺序。可以通过对输入画面T2进行编码来生成第一候选编码画面P2，并且可以通过对输入画面T3进行编码来生成第二候选编码画面P31。第一候选编码画面P2和第二候选编码画面P31可以具有相同的画面类型(“共同画面类型”)。例如，第一候选编码画面P2和第二候选编码画面P31可以是帧间画面，并且第一候选编码画面P2和第二候选编码画面P31中的每一个可以是P画面。换句话说，第一画面顺序可以与“P-P”结构相对应。
可以计算第一候选编码组CG1的第一编码成本和第一编码质量(步骤S215a)。例如，第一编码成本可以表示第一候选编码画面P2和第二候选编码画面P31中所包括的比特数。第一编码质量可以表示与第一候选编码画面P2和第二候选编码画面P31相关联的PSNR和SSIM中的至少一个参数。
在步骤S213a和S215a之后，可以在对第一子组SG1中所包括的输入画面T2和T3执行第二编码操作(例如，图7中的箭头②)之前，从上下文缓存器300加载上下文值CTX(步骤S211b)。
可以通过基于从上下文缓存器300加载的上下文值CTX对第一子组SG1中所包括的输入画面T2和T3执行第二编码操作来生成第二候选编码组CG2(步骤S213b)。第一编码操作和第二编码操作可以独立地执行，由此可以在没有第一编码操作的信息(例如，与第一编码操作相关联的统计信息)的情况下执行第二编码操作。第二候选编码组CG2可以包括第三候选编码画面B2和第四候选编码画面P32，并且可以具有与第一画面顺序不同的第二画面顺序。可以通过对输入画面T2进行编码来生成第三候选编码画面B2，并且可以通过对输入画面T3进行编码来生成第四候选编码画面P32。第三候选编码画面B2和第四候选编码画面P32可以具有不同的画面类型(例如，可以与不同的画面类型相关联)。例如，第三候选编码画面B2和第四候选编码画面P32可以是帧间画面，第三候选编码画面B2可以是B画面，并且第四候选编码画面P32可以是P画面。换句话说，第二画面顺序可以与“B-P”结构相对应。
可以计算第二候选编码组CG2的第二编码成本和第二编码质量(步骤S215b)。
步骤S211a和S211b可以由编码模块200和上下文缓存器300执行，步骤S213a和S213b可以由编码模块200执行，并且步骤S215a和S215b可以由成本/质量计算器410执行。
参考图2、图4、图6和图7，在步骤S310中，可以通过将第一候选编码组CG1的第一编码成本和第一编码质量中的至少一个与第二候选编码组CG2的第二编码成本和第二编码质量中的至少一个相比较，来确定第一候选编码组CG1和第二候选编码组CG2中的哪一个是较好的(步骤S311)。例如，可以基于参考图2所描述的各种准则中的至少一个来确定较好的或最佳的候选编码组。例如，可以确定具有较低成本(例如，较少的比特数)和较高质量(例如，较高的PSNR或较高的SSIM)的编码画面是较好的。
当确定第一候选编码组CG1优于或好于第二候选编码组CG2时(步骤S311：是)，可以将第一候选编码组CG1中所包括的第一候选编码画面P2和第二候选编码画面P31选择为第一子组SG1中所包括的输入画面T2和T3的编码画面(步骤S313)。当确定第二候选编码组CG2优于或好于第一候选编码组CG1时(步骤S311：否)，可以将第二候选编码组CG2中所包括的第三候选编码画面B2和第四候选编码画面P32选择为第一子组SG1中所包括的输入画面T2和T3的编码画面(步骤S315)。图7示出了其中将第一候选编码画面P2和P31选择为输入画面T2和T3的编码画面的示例。
虽然图6中未示出，但是可以从缓存池500中删除在步骤S313或步骤S315中未选择的候选编码组(例如，图7中的第二候选编码组CG2)。
可以将所选择的候选编码组CG1中所包括的所有候选编码画面P2和P31输出(“选择”)为第一子组SG1的编码画面(步骤S317)。换句话说，编码画面P2和P31可以被输出(“选择”)为对第一子组SG1的最优编码操作的结果。
步骤S311、S313和S315可以由成本/质量比较器420执行，并且步骤S317可以由缓存池500和输出缓存器600执行。
再次参考图2、图4和图7，与步骤S210和S310一样，可以独立地生成第一子组SG1之后的第二子组SG2的候选编码组CG3和CG4(步骤S220)，并且可以基于候选编码组CG3和CG4来选择第二子组SG2的最优编码画面B4和P52(步骤S320)。以相同的方式，可以独立地生成第K子组SGK的候选编码组CG(2K-1)和CG2K(步骤S230)，并且可以基于候选编码组CG(2K-1)和CG2K来选择第K子组SGK的最优编码画面B(N-1)和PN2(步骤S330)，其中K是小于N的自然数。
步骤S220和S230可以分别与步骤S210基本上相同(例如，在制造公差和/或材料公差内相同)，并且步骤S320和S330可以分别与步骤S310基本上相同(例如，在制造公差和/或材料公差内相同)。
例如，在步骤S220中，可以将上下文值CTX存储在上下文缓存器300中。可以通过基于上下文值CTX对第二子组SG2中所包括的输入画面T4和T5执行第三编码操作(例如，图7中的箭头③)来生成第三候选编码组CG3。第三候选编码组CG3可以包括第五候选编码画面P4和第六候选编码画面P51，并且可以具有第一画面顺序。可以计算第三候选编码组CG3的第三编码成本和第三编码质量。可以从上下文缓存器300加载上下文值CTX。可以在没有第三编码操作的信息的情况下，通过基于所加载的上下文值CTX对输入画面T4和T5执行第四编码操作(例如，图7中的箭头④)来生成第四候选编码组CG4。第四候选编码组CG4可以包括第七候选编码画面B4和第八候选编码画面P52，并且可以具有第二画面顺序。可以计算第四候选编码组CG4的第四编码成本和第四编码质量。
在步骤S320中，可以通过将第三候选编码组CG3的第三编码成本和第三编码质量中的至少一个与第四候选编码组CG4的第四编码成本和第四编码质量中的至少一个相比较，来确定第三候选编码组CG3和第四候选编码组CG4中的哪一个是较好的，然后可以选择较好或最佳的候选编码组。可以将第四候选编码组CG4中所包括的第七候选编码画面B4和第八候选编码画面P52选择为第二子组SG2中所包括的输入画面T4和T5的编码画面，并且可以将所选择的候选编码组CG4中所包括的所有候选编码画面B4和P52输出为第二子组SG2的编码画面。
在步骤S230中，可以将上下文值CTX存储在上下文缓存器300中。可以通过基于上下文值CTX对第K子组SGK中所包括的输入画面T(N-1)和TN执行编码操作(例如，图7中的箭头⑤)来生成候选编码组CG(2K-1)。候选编码组CG(2K-1)可以包括候选编码画面P(N-1)和PN1，并且可以具有第一画面顺序。可以计算候选编码组CG(2K-1)的编码成本和编码质量。可以从上下文缓存器300加载上下文值CTX。可以在没有编码操作⑤的信息的情况下，通过基于所加载的上下文值CTX对输入画面T(N-1)和TN执行编码操作(例如，图7中的箭头⑥)来生成候选编码组CG2K。候选编码组CG2K可以包括候选编码画面B(N-1)和PN2，并且可以具有第二画面顺序。可以计算候选编码组CG2K的编码成本和编码质量。
在步骤S330中，可以通过将候选编码组CG(2K-1)的编码成本和编码质量中的至少一个与候选编码组CG2K的编码成本和编码质量中的至少一个相比较，来确定候选编码组CG(2K-1)和CG2K中的哪一个是较好的，然后可以选择较好或最佳的候选编码组。可以将候选编码组CG2K中所包括的候选编码画面B(N-1)和PN2选择为第K子组SGK中所包括的输入画面T(N-1)和TN的编码画面，并且可以将所选择的候选编码组CG2K中所包括的所有候选编码画面B(N-1)和PN2输出为第K子组SGK的编码画面。
在一些示例实施例中，如图7中所示，如果单个GOP包括N个输入画面和K个子组并且如果单个子组包括两个输入画面(例如，M＝2)，则N可以基本上等于(例如，在制造公差和/或材料公差内相同)2*K+1(例如，N＝2*K+1)。
在图7的示例中，与第一画面顺序相对应的编码操作①、③和⑤可以被称作第一编码路径，并且与第二画面顺序相对应的编码操作②、④和⑥可以被称作第二编码路径。在根据一些示例实施例的方法和视频编码器中，关于第一编码路径的编码操作和关于第二编码路径的编码操作可以不以GOP为单位交替地执行，而是可以以子组为单位交替地执行。换句话说，在根据一些示例实施例的方法和视频编码器中，编码顺序可以不是①、③、⑤、②、④和⑥的顺序，而可以是①、②、③、④、⑤和⑥的顺序。因此，可以以子组为单位依次地提供或输出最优编码画面I1、P2、P31、B4、P52、...、B(N-1)和PN2，可以提高编码效率和性能，并且可以将编码处理和响应有效地适用于实时情况。
与图3中的示例情况1和情况2不同，根据一些示例实施例被编码的GOP可以具有不规则结构。换句话说，可以在根据一些示例实施例被编码的单个GOP中不规则地布置编码画面P2至PN2(例如，帧间画面)。然而，虽然GOP具有不规则结构，但是GOP的大小可以是固定的。
虽然图7示出了根据一些示例实施例被编码的单个GOP，但是，可以如图7的示例那样根据一些示例实施例来对多个GOP中的每一个进行编码，由此这多个GOP可以具有不同的结构。此外，候选编码画面和编码画面I1至PN2的布置可以表示显示顺序，并且根据候选编码组的结构，显示顺序可以与编码顺序基本上相同(例如，在制造公差和/或材料公差内相同)或者不同，如参考图3所述的那样。
图8是用于描述根据一些示例实施例的对视频数据进行编码的方法的图。图8中所示的操作中的一个或多个可以全部或部分地由如本文中所述的一个或多个视频编码器、电子系统和/或电子设备来实现，包括参考图18所示出和描述的电子系统和/或电子设备。在图8中，情况1和情况2分别与图3中的情况1和情况2相对应，并且情况3可以表示根据一些示例实施例生成的编码画面。在图8中，横轴和纵轴分别表示时间t的流逝和比特数#。
参考图8，可以依次地提供输入画面T(X-2)、T(X-1)、TX和T(X+1)，并且在第X输入画面TX中可能发生场景改变，其中X是自然数。
在将所有输入画面编码为P画面P(X-2)、P(X-1)、PX和P(X+I)的第一示例情况1中，第X输入画面TX的第X编码画面PX中所包括的比特数可急剧地或激烈地增加。在将输入画面交替地编码为P画面P(X-1)和P(X+I)和B画面B(X-2)和BX的第二示例情况2中，第X输入画面TX的第X编码画面BX中所包括的比特数可以小于第一示例情况1中的第X编码画面PX中所包括的比特数，然而，另一编码画面(例如，第(X-2)编码画面B(X-2))中所包括的比特数可以大于第一示例情况1中的对应编码画面(例如，第(X-2)编码画面P(X-2))中所包括的比特数。
在根据一些示例实施例将输入画面编码为具有不规则结构的第三示例情况3中，可以实时地自适应地选择当前画面的最优画面类型，由此可以有效地生成最优编码画面P(X-2)、P(X-1)、BX和P(X+1)。
图9是示出了图4中的选择第一子组的编码画面的另一示例的流程图。图10A、图10B和图10C是用于描述图4的对视频数据进行编码的方法的图。图9至图10C中所示的操作中的一个或多个可以全部或部分地由如本文中所述的一个或多个视频编码器、电子系统和/或电子设备来实现，包括参考图18所示出和描述的电子系统和/或电子设备。
参考图2、图4、图9和图10A，步骤S110、S120和S210可以与参考图4和图5描述的步骤S110、S120和S210基本上相同(例如，在制造公差和/或材料公差内相同)。
在步骤S310中，图9中的步骤S311、S313和S315可以分别与图6中的步骤S311、S313和S315基本上相同(例如，在制造公差和/或材料公差内相同)。
可以基于布置在所选择的候选编码组CG1的最前面的编码画面P2的画面类型，将所选择的候选编码组CG1中所包括的候选编码画面P2和P31中的所有或一些输出为第一子组SG1的编码画面(步骤S318)。例如，如图10A所示，当布置在所选择的候选编码组CG1的最前面的编码画面P2是P画面时，可以仅将编码画面P2输出为第一子组SG1的编码画面。对于另一示例，如将参考图10B所描述的，当布置在所选择的候选编码组CG4’的最前面的编码画面B3是B画面时，可以将所有编码画面B3和P42输出为第二子组SG2’的编码画面。
与图6中的步骤S317一样，步骤S318可以由缓存池500和输出缓存器600执行。
参考图2、图4和图10B，与步骤S210和S310一样，可以独立地生成第一子组SG1之后的第二子组SG2’的候选编码组CG3’和CG4’(步骤S220)，并且可以基于候选编码组CG3’和CG4’来选择第二子组SG2’的最优编码画面B3和P42(步骤S320)。根据对之前子组(例如，第一子组SG1)编码的结果，两个邻近的子组(例如，第一子组SG1和第二子组SG2’)可以共同包括至少一个输入画面(例如，输入画面T3)。
例如，当作为对第一子组SG1编码的结果仅输出输入画面T2的编码画面P2时，可以将第二子组SG2’设置为包括输入画面P2之后的两个输入画面T3和T4。换句话说，图10B中的第二子组SG2’的大小可以与图7中的第二子组SG2的大小基本上相同(例如，在制造公差和/或材料公差内相同)，并且图10B中的第二子组SG2’的起始点可以与图7中的第二子组SG2的起始点不同。
可以通过依次地且独立地对第二子组SG2’中所包括的输入画面T3和T4执行编码操作(例如，图10B中的箭头③’和④’)，来生成候选编码组CG3’和CG4′。候选编码组CG3’可以包括候选编码画面P33和P41，并且可以具有第一画面顺序。候选编码组CG4’可以包括候选编码画面B3和P42，并且可以具有第二画面顺序。例如，图10B中的候选编码画面P33可以与图10A中的候选编码画面P31基本上相同(例如，在制造公差和/或材料公差内相同)，然后可以省略候选编码画面P33的生成。
可以通过计算和比较候选编码组CG3’和CG4’的编码成本和编码质量来选择较好或最佳的候选编码组(例如，候选编码组CG4’)。由于布置在所选择的候选编码组CG4’的最前面的编码画面B3是B画面，因此可以将所有编码画面B3和P42输出为第二子组SG2’的编码画面。
参考图10C，与步骤S210和S310一样，可以独立地生成第二子组SG2’之后的第三子组SG3’的候选编码组CG5’和CG6’，并且可以基于候选编码组CG5’和CG6’来选择第三子组SG3’的最优编码画面P5和P61。
当作为对第二子组SG2’编码的结果输出输入画面T3和T4的所有编码画面B3和P42时，可以将第三子组SG3’设置为包括输入画面T4之后的两个输入画面T5和T6。可以不存在第二子组SG2’和第三子组SG3’中共同包括的输入画面。
可以通过依次地且独立地对第三子组SG3’中所包括的输入画面T5和T6执行编码操作(例如，图10C中的箭头⑤’和⑥’)，来生成候选编码组CG5’和CG6’。候选编码组CG5’可以包括候选编码画面P5和P61，并且可以具有第一画面顺序。候选编码组CG6’可以包括候选编码画面B5和P62，并且可以具有第二画面顺序。
可以通过计算和比较候选编码组CG5’和CG6’的编码成本和编码质量来选择较好或最佳的候选编码组(例如，候选编码组CG5’)。由于布置在所选择的候选编码组CG5’的最前面的编码画面P5是P画面，因此可以仅将编码画面P5输出为第三子组SG3’的编码画面。
与图7的示例不同，在图10A、图10B和图10C的示例中也可以自适应地改变每个子组的起始点，由此可以提高编码效率和性能。与图7的示例相比较，在图10A、图10B和图10C的示例中，单个GOP中所包括的子组的数目可以增加。
图11是用于描述图4的对视频数据进行编码的方法的图。图11中所示的操作中的一个或多个可以全部或部分地由如本文中所述的一个或多个视频编码器、电子系统和/或电子设备来实现，包括参考图18所示出和描述的电子系统和/或电子设备。
图11的示例可以与图7的示例类似，除了在图11的示例中单个子组包括三个输入画面。
参考图2、图4、图5和图11，步骤S110和S120可以与参考图4描述的步骤S110和S120基本上相同(例如，在制造公差和/或材料公差内相同)。
在步骤S210中，可以通过依次地且独立地对第一子组SGA中所包括的输入画面T2、T3和T4执行编码操作(例如，图11中的箭头
Figure BDA0001509708080000201
和
Figure BDA0001509708080000202
)，来生成候选编码组CGA和CGB(步骤S211a、S213a、S211b和S213b)。候选编码组CGA可以包括候选编码画面P2A、P3A和P4A，并且可以具有“P-P-P”的画面顺序。候选编码组CGB可以包括候选编码画面B2A、B3A和P4B，并且可以具有“B-B-P”的画面顺序。可以计算候选编码组CGA和CGB的编码成本和编码质量(步骤S215a和S215b)。
在步骤S310中，可以通过比较候选编码组CGA和CGB的编码成本和编码质量来选择较好或最佳的候选编码组(例如，候选编码组CGB)。
在一些示例实施例中，可以将所选择的候选编码组CGB中所包括的所有候选编码画面B2A、B3A和P4B输出为第一子组SGA的编码画面。在一些示例实施例中，可以基于布置在所选择的候选编码组CGB的最前面的编码画面B2A的画面类型，将所选择的候选编码组CGB中所包括的候选编码画面B2A、B3A和P4B中的所有或一些输出为第一子组SGA的编码画面。
在一些示例实施例中，可以基于图7的示例来执行针对第一子组SGA之后的每个子组的编码操作。在一些示例实施例中，可以基于图10A、图10B和图10C的示例来执行针对第一子组SGA之后的每个子组的编码操作。
图12是示出了图4中的生成第一子组的候选编码组的另一示例的流程图。图13和图14是用于描述图4的对视频数据进行编码的方法的图。图12至图14中所示的操作中的一个或多个可以全部或部分地由如本文中所述的一个或多个视频编码器、电子系统和/或电子设备来实现，包括参考图18所示出和描述的电子系统和/或电子设备。
参考图2、图4、图12和图13，步骤S110和S120可以与参考图4所描述的步骤S110和S120基本上相同(例如，在制造公差和/或材料公差内相同)，并且步骤S211a、S213a、S215a、S211b、S213b和S215b可以与参考图5和图11所描述的步骤S211a、S213a、S215a、S211b、S213b和S215b基本上相同(例如，在制造公差和/或材料公差内相同)。
在步骤S215b之后，可以再次从上下文缓存器300加载上下文值CTX(步骤S211c)。可以通过基于所加载的上下文值CTX附加地对第一子组SGA中所包括的输入画面T2、T3和T4执行编码操作(例如，图13中的箭头
Figure BDA0001509708080000221
)来生成候选编码组CGC(步骤S213c)。可以在没有编码操作
Figure BDA0001509708080000222
和
Figure BDA0001509708080000223
的信息的情况下执行编码操作
Figure BDA0001509708080000224
候选编码组CGC可以包括候选编码画面B2B、P3B和P4C，并且可以具有与候选编码组CGA和CGB的画面顺序不同的画面顺序“B-P-P”。可以计算候选编码组CGC的编码成本和编码质量(步骤S215c)。
在步骤S310中，可以通过比较候选编码组CGA、CGB和CGC的编码成本和编码质量来选择较好或最佳的候选编码组(例如，候选编码组CGC)。
与图11的示例相比较，在图13的示例中还可以包括包含编码操作
Figure BDA0001509708080000225
的第三编码路径。在根据一些示例实施例的方法和视频编码器中，可以以子组为单位交替地执行关于第一编码路径、第二编码路径和第三编码路径的编码操作，由此可以以子组为单位依次地提供或输出最优编码画面。
参考图2、图4和图14，步骤S110和S120可以与参考图4所描述的步骤S110和S120基本上相同(例如，在制造公差和/或材料公差内相同)，并且步骤S211a、S213a、S215a、S211b、S213b、S215b、S211c、S213c和S215c可以与参考图12和图13所描述的步骤S211a、S213a、S215a、S211b、S213b、S215b、S211c、S213c和S215c基本上相同(例如，在制造公差和/或材料公差内相同)。
在步骤S215c之后，可以再次从上下文缓存器300加载上下文值CTX。可以通过基于所加载的上下文值CTX附加地对第一子组SGA中所包括的输入画面T2、T3和T4执行编码操作(例如，图14中的箭头
Figure BDA0001509708080000226
)来生成候选编码组CGD。可以在没有编码操作
Figure BDA0001509708080000227
Figure BDA0001509708080000228
和e的信息的情况下执行编码操作
Figure BDA0001509708080000229
候选编码组CGD可以包括候选编码画面P2B、B3B和P4D，并且可以具有与候选编码组CGA、CGB和CGC的画面顺序不同的画面顺序“P-B-P”。可以计算候选编码组CGD的编码成本和编码质量。
在步骤S310中，可以通过比较候选编码组CGA、CGB、CGC和CGD的编码成本和编码质量来选择较好或最佳的候选编码组(例如，候选编码组CGD)。
与图13的示例相比较，在图14的示例中还可以包括包含编码操作
Figure BDA0001509708080000231
的第四编码路径。在根据一些示例实施例的方法和视频编码器中，可以以子组为单位交替地执行关于第一编码路径、第二编码路径、第三编码路径和第四编码路径的编码操作，由此可以以子组为单位依次地提供或输出最优编码画面。
在图13和图14的示例中，可以基于图7的示例或者基于图10A、图10B和图10C的示例来执行针对第一子组SGA之后的每个子组的编码操作。
在图11、图13和图14的示例中，每个子组可以包括三个输入画面，然后可能的画面顺序的数目(例如，可能的候选编码组的类型的数目)可以大于3。根据一些示例实施例，单个子组中所包括的输入画面的数目和/或单个子组的可能的画面顺序的数目可以变化。
如本领域技术人员将理解的，本公开可以被实施为系统、方法、计算机程序产品和/或在具有实施在其上的计算机可读程序代码的一个或多个计算机可读介质中实施的计算机程序产品。可以将计算机可读程序代码提供至通用计算机、专用计算机或其他可编程数据处理装置的处理器。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是可以包含或存储由指令执行系统、装置或设备使用或与指令执行系统、装置或设备相关的程序的任何有形介质。例如，计算机可读介质可以是非暂时性计算机可读介质。
图15是示出了根据一些示例实施例的视频编码器中所包括的编码模块的示例的框图。图15中所示的编码模块可以全部地或部分地由如本文中所述的一个或多个电子系统和/或电子设备来实现，包括参考图18所示出和描述的电子系统和/或电子设备。例如，图15中所示的编码模块可以全部或部分地由图18的电子系统1000的处理器1030来实现，其中处理器1030执行存储在电子系统1000的存储设备1050(例如，存储器)上的指令程序。
参考图15，编码模块200可以包括模式判定块(MD)210、压缩块220、熵编码器(EC)230、重构块240和存储块(STG)250。
模式判定块210可以基于当前画面TY和参考画面REF来生成预测画面PRE，并且可以根据预测操作、预测操作的结果、语法元素、上下文值等来生成包括预测模式的编码信息INF。模式判定块210可以包括运动估计单元(ME)212、运动补偿单元(MC)214和帧内预测单元(INTP)216。运动估计单元212可以生成或获得运动向量。运动补偿单元214可以基于该运动向量来执行补偿操作。帧内预测单元216可以执行帧内预测。运动估计单元212和运动补偿单元214可以被称作执行帧间预测的帧间预测单元。
压缩块220可以对当前画面TY进行编码以生成编码数据ECD。压缩块220可以包括减法器222、变换单元(T)224和量化单元(Q)226。减法器222可以从当前画面TY中减去预测画面PRE以生成残差画面RES。变换单元224和量化单元226可以对残差画面RES进行变换和量化以生成编码数据ECD。
重构块240可以用于通过对编码数据ECD(例如，有损编码数据)进行反向解码来生成重构画面TY’。重构块240可以包括逆量化单元(Q-1)242、逆变换单元(T-1)244和加法器246。逆量化单元242和逆变换单元244可以对编码数据ECD进行逆量化和逆变换以生成残差画面RES’。加法器246可以将残差画面RES’与预测画面PRE相加以生成重构画面TY’。
熵编码器230可以对编码数据ECD和编码信息INF执行无损编码，以生成编码画面EY。重构画面TY’可以被存储到存储器250中，并且可以用作用于对其他画面进行编码的另一参考画面。
图16是示出了根据一些示例实施例的视频解码器的框图。图16中所示的视频解码器可以全部地或部分地由如本文中所述的一个或多个电子系统和/或电子设备来实现，包括参考图18所示出和描述的电子系统和/或电子设备。例如，图16中所示的视频解码器可以全部或部分地由图18的电子系统1000的处理器1030来实现，其中处理器1030执行存储在电子系统1000的存储设备1050(例如，存储器)上的指令程序。
参考图16，视频解码器700可以包括熵解码器(ED)710、预测块720、重构块730和存储器740。视频解码器700可以通过对由视频编码器中所包括的编码模块(例如，图15的编码模块200)编码的画面进行反向解码来生成重构画面或解码画面。
熵解码器710可以对编码画面EY进行解码(例如，可以对编码画面EY执行无损解码)，以生成编码数据ECD和编码信息INF。
预测块720可以基于参考画面REF和编码信息INF来生成预测画面PRE’。预测块720可以包括运动补偿单元722和帧内预测单元724，其中运动补偿单元722和帧内预测单元724分别与图15中的运动补偿单元214和帧内预测单元216基本上相同(例如，在制造公差和/或材料公差内相同)。
重构块730可以包括逆量化单元732、逆变换单元734和加法器736。重构块730、逆量化单元732、逆变换单元734、加法器736和存储器740可以分别与图15中的重构块240、逆量化单元242、逆变换单元244、加法器246和存储器250基本上相同(例如，在制造公差和/或材料公差内相同)。重构画面TY’可以用作用于对其他画面进行编码的另一参考画面，或者可以被提供至显示设备(例如，图17中的显示设备826)。
在一些示例实施例中，可以将单个画面划分成多个画面块，并且图15的编码模块200和图16的视频解码器700可以以单个画面中所包括的画面块为单位来执行编码和解码操作。例如，每个画面块可以被称作H.264标准中的宏块。备选地，每个画面块可以被称作HEVC标准中的编码单元(CU)、预测单元(PU)或变换单元(TU)。
图17是示出了根据一些示例实施例的视频编码和解码系统的框图。图17中所示的视频编码和解码系统可以全部地或部分地由如本文中所述的一个或多个电子系统和/或电子设备来实现，包括参考图18所示出和描述的电子系统和/或电子设备。例如，图17中所示的视频编码和解码系统可以全部或部分地由图18的电子系统1000的处理器1030来实现，其中处理器1030执行存储在电子系统1000的存储设备1050(例如，存储器)上的指令程序。
参考图17，视频编码和解码系统800可以包括第一设备810和第二设备820。第一设备810可以经由信道830与第二设备820进行通信。例如，信道830可以包括有线信道和/或无线信道。
可以分别将第一设备810和第二设备820称作源设备和目的设备。为了便于说明，在图17中省略了与视频编码和解码系统800的操作不相关的第一设备810和第二设备820的一些元件。
第一设备810可以包括视频源(SRC)812、视频编码器814和发送机(TR)816。视频源812可以提供视频数据。视频编码器814可以对视频数据进行编码。发送机816可以经由信道813向第二设备820发送编码后的视频数据。视频编码器814可以是根据一些示例实施例的视频编码器。第二设备820可以包括接收机(RC)822、视频解码器824和显示设备(DISP)826。接收机822可以接收从第一设备810发送的编码后的视频数据。视频解码器824可以对编码后的视频数据进行解码。显示设备826可以基于解码后的视频数据来显示视频或图像。
在一些示例实施例中，根据一些示例实施例的视频编码器可以与视频解码器合并在相同集成电路和/或对应软件中，然后可以将合并后的设备称作视频编码器/解码器(编解码器)。
图18是示出了根据一些示例实施例的电子系统的框图。在一些示例实施例中，图18中所示的电子系统1000可以是电子设备。
参考图18，电子系统1000包括视频源1010和视频编解码器1020。电子系统1000还可以包括处理器1030、连接模块1040、存储设备1050、输入/输出(I/O)设备1060和电源1070。
视频源1010提供多个输入画面INP。例如，视频源1010可以包括视频拾取设备、存储器等。
视频编解码器1020包括根据一些示例实施例的视频编码器和视频解码器。视频编码器可以对多个输入画面INP进行编码。
处理器1030可以执行各种计算功能，比如特定计算和任务。连接模块1040可以与外部设备通信，并且可以包括发送机1042和/或接收机1044。存储设备1050可以作为用于由电子系统1000处理的数据的数据存储器或者作为工作存储器来操作。I/O设备1060可以包括至少一个输入设备(例如，键区、按钮、麦克风、触摸屏等)和/或至少一个输出设备(例如，扬声器、显示设备1062等)。电源1070可以向电子系统1000供电。处理器1030可以执行存储设备1050中所存储的一个或多个指令程序，以实现本文所示和所述的操作和/或设备中的一些或所有。
本公开可以应用于对视频数据进行编码的各种设备和/或系统。特别地，本发明构思的一些示例实施例可以应用于与诸如MPEG、H.261、H.262、H.263和H.264之类的标准兼容的视频编码器。在以下技术领域中可以采用本发明构思的一些示例性实施例：比如，CATV(光网络、铜线等上的有线电视)、DBS(直播卫星视频服务)、DSL(数字用户线视频服务)、DTTB(数字地面电视广播)、ISM(交互式存储介质(光盘等))、MMM(多媒体邮件)、MSPN(分组网络的多媒体服务)、RTC(实时会话服务(视频会议、视频电话等))、RVS(远程视频监控)、SSM(串行存储介质(数字VTR等))。
前述是对示例实施例的说明，且不应被解释为对其的限制。虽然已经描述了一些示例实施例，但是本领域技术人员将容易理解，在不实质上脱离本公开的新颖教义和优点的前提下，可以在示例实施例中进行多种修改。因此，所有这种修改旨在被包括在如权利要求中限定的本公开的范围内。因此，将理解到，前述是对各种示例实施例的说明，而不应被解释成限制为所公开的具体示例实施例，并且对所公开的示例实施例的修改以及其他示例实施例旨在被包括在所附权利要求的范围内。

Claims (20)

1.一种视频编码器，包括：
存储器，存储指令程序；以及
处理器，被配置为执行所述指令程序以进行下列操作：
接收多个输入画面，
将所述多个输入画面输出为多个具有一个或多个输入画面的子组，其中每个子组的大小小于画面组GOP的大小，
对于每个给定子组，通过根据单独的、独立的编码方案对该给定子组中所包括的一个或多个输入画面进行多次编码来生成与该给定子组相关联的多个候选编码组，
对于每个给定子组，将与该给定子组相关联的所述多个候选编码组存储在缓存池中，
对于每个给定子组，通过将与该给定子组相关联的所述多个候选编码组的编码成本和编码质量中的至少一个编码参数彼此进行比较，来将与该给定子组相关联的所述多个候选编码组中的一个候选编码组选择为与该给定子组相关联的多个编码画面，以及
基于所述选择来生成视频显示，所述视频显示包括分别与所述多个子组相关联的多个编码画面。
2.根据权利要求1所述的视频编码器，其中，对于每个给定子组，生成与该给定子组相关联的多个候选编码组包括：
通过对第一子组中所包括的第一输入画面和第二输入画面执行第一编码操作来生成第一候选编码组，所述第一候选编码组包括第一候选编码画面和第二候选编码画面，所述第一候选编码组具有第一画面顺序，以及
通过在不使用与所述第一编码操作相关联的信息的情况下对所述第一输入画面和所述第二输入画面执行第二编码操作来生成第二候选编码组，所述第二候选编码组包括第三候选编码画面和第四候选编码画面，所述第二候选编码组具有与所述第一画面顺序不同的第二画面顺序。
3.根据权利要求2所述的视频编码器，所述处理器还被配置为执行所述指令程序以进行下列操作：
在执行所述第一编码操作之前将上下文值存储在上下文缓存器中，
基于所述上下文值执行所述第一编码操作，以及
基于所述上下文值执行所述第二编码操作。
4.根据权利要求2所述的视频编码器，其中，所述处理器还被配置为执行所述指令程序以进行下列操作：
计算与所述第一候选编码组相关联的第一编码成本和第一编码质量，
计算与所述第二候选编码组相关联的第二编码成本和第二编码质量，
基于成本/质量策略，分别将所述第一编码成本和所述第一编码质量中的至少一个第一编码参数与所述第二编码成本和所述第二编码质量中的对应的第二编码参数进行比较，以及
基于所述比较的结果，将所述第一候选编码组和所述第二候选编码组中的一个候选编码组选择为与所述第一输入画面和所述第二输入画面相关联的第一编码画面和第二编码画面。
5.根据权利要求4所述的视频编码器，所述处理器还被配置为执行所述指令程序以进行下列操作：
基于所述比较，输出从所述缓存池发送的所述第一输入画面和所述第二输入画面。
6.根据权利要求4所述的视频编码器，所述处理器还被配置为执行所述指令程序以进行下列操作：
基于所述比较并且还基于所述第一编码画面的画面类型，输出从所述缓存池发送的所述第一编码画面和所述第二编码画面两者，或者仅输出从所述缓存池发送的所述第一编码画面。
7.根据权利要求4所述的视频编码器，其中，所述成本/质量策略是可变的。
8.一种电子系统，包括：
存储器，存储指令程序；以及
处理器，被配置为执行所述指令程序以进行下列操作：
提供多个输入画面，以及
对所述多个输入画面进行编码，所述编码包括：
接收所述多个输入画面，
将所述多个输入画面输出为多个具有一个或多个输入画面的子组，其中每个子组的大小小于画面组GOP的大小，
对于每个给定子组，通过根据单独的、独立的编码方案对该给定子组中所包括的一个或多个输入画面进行多次编码来生成与该给定子组相关联的多个候选编码组，
将所述多个候选编码组存储在多个缓存器中，
对于每个给定子组，通过将与该给定子组相关联的所述多个候选编码组的编码成本和编码质量中的至少一个编码参数彼此进行比较，来将与该给定子组相关联的所述多个候选编码组中的一个候选编码组选择为与该给定子组相关联的多个编码画面，以及
基于所述选择来生成视频显示，所述视频显示包括分别与所述多个子组相关联的多个编码画面。
9.根据权利要求8所述的电子系统，所述处理器还被配置为执行所述指令程序以基于以下操作来为每个给定子组生成与该给定子组相关联的多个候选编码组：
通过对第一子组中所包括的第一输入画面和第二输入画面执行第一编码操作来生成第一候选编码组，所述第一候选编码组包括第一候选编码画面和第二候选编码画面，所述第一候选编码组具有第一画面顺序，以及
通过在不使用与所述第一编码操作相关联的信息的情况下对所述第一输入画面和所述第二输入画面执行第二编码操作来生成第二候选编码组，所述第二候选编码组包括第三候选编码画面和第四候选编码画面，所述第二候选编码组具有与所述第一画面顺序不同的第二画面顺序。
10.根据权利要求9所述的电子系统，所述处理器还被配置为执行所述指令程序以进行下列操作：
在执行所述第一编码操作之前将上下文值存储在上下文缓存器中，
基于所述上下文值执行所述第一编码操作，以及
基于所述上下文值执行所述第二编码操作。
11.根据权利要求9所述的电子系统，所述处理器还被配置为执行所述指令程序以进行下列操作：
计算与所述第一候选编码组相关联的第一编码成本和第一编码质量，
计算与所述第二候选编码组相关联的第二编码成本和第二编码质量，
基于成本/质量策略，分别将所述第一编码成本和所述第一编码质量中的至少一个第一编码参数与所述第二编码成本和所述第二编码质量中的对应的第二编码参数进行比较，以及
基于所述比较的结果，将具有所述第一候选编码画面和所述第二候选编码画面或者具有所述第三候选编码画面和第四候选编码画面的一个候选编码组选择为与所述第一输入画面和所述第二输入画面相关联的第一编码画面和第二编码画面。
12.根据权利要求11所述的电子系统，所述处理器还被配置为执行所述指令程序以进行下列操作：
基于所述比较，选择从缓存池发送的所述第一输入画面和所述第二输入画面。
13.根据权利要求11所述的电子系统，所述处理器还被配置为执行所述指令程序以进行下列操作：
基于所述比较并且还基于所述第一编码画面的画面类型，输出从缓存池发送的所述第一编码画面和所述第二编码画面两者，或者仅输出从缓存池发送的所述第一编码画面。
14.一种电子设备，包括：
存储器，存储指令程序；以及
处理器，被配置为执行所述指令程序以进行下列操作：
接收多个输入画面，所述多个输入画面包括多个具有一个或多个输入画面的子组，每个子组的大小小于画面组GOP的大小，
对于每个给定的子组，基于根据单独的、独立的编码方案对该给定子组中所包括的一个或多个输入画面进行多次编码来生成与该给定子组相关联的多个候选编码组，
对于每个给定的子组，通过将与该给定子组相关联的所述多个候选编码组的编码成本和编码质量中的至少一个编码参数彼此进行比较，来将与该给定子组相关联的所述多个候选编码组中的一个候选编码组选择为与该给定子组相关联的多个编码画面，以及
基于所述选择来生成视频显示，所述视频显示包括分别与所述多个子组相关联的多个编码画面。
15.根据权利要求14所述的电子设备，其中，所述处理器还被配置为执行所述指令程序以基于以下操作来为每个给定子组生成与该给定子组相关联的多个候选编码组：
通过对第一子组中所包括的第一输入画面和第二输入画面执行第一编码操作来生成第一候选编码组，所述第一候选编码组包括第一候选编码画面和第二候选编码画面，所述第一候选编码组具有第一画面顺序，以及
通过在不使用与所述第一编码操作相关联的信息的情况下对所述第一输入画面和所述第二输入画面执行第二编码操作来生成第二候选编码组，所述第二候选编码组包括第三候选编码画面和第四候选编码画面，所述第二候选编码组具有与所述第一画面顺序不同的第二画面顺序。
16.根据权利要求15所述的电子设备，所述处理器还被配置为执行所述指令程序以进行下列操作：
在执行所述第一编码操作之前将上下文值存储在上下文缓存器中，
基于所述上下文值执行所述第一编码操作，以及
基于所述上下文值执行所述第二编码操作。
17.根据权利要求15所述的电子设备，所述处理器还被配置为执行所述指令程序以进行下列操作：
计算与所述第一候选编码组相关联的第一编码成本和第一编码质量，
计算与所述第二候选编码组相关联的第二编码成本和第二编码质量，
基于成本/质量策略，分别将所述第一编码成本和所述第一编码质量中的至少一个第一编码参数与所述第二编码成本和所述第二编码质量中的对应的第二编码参数进行比较，以及
基于所述比较的结果，将所述第一候选编码组或所述第二候选编码组中的一个候选编码组选择为与所述第一输入画面和所述第二输入画面相关联的第一编码画面和第二编码画面。
18.根据权利要求17所述的电子设备，所述处理器还被配置为执行所述指令程序以进行下列操作：
基于所述比较，输出从缓存池发送的所述第一输入画面和所述第二输入画面。
19.根据权利要求17所述的电子设备，所述处理器还被配置为执行所述指令程序以进行下列操作：
基于所述比较并且还基于所述第一编码画面的画面类型，输出从缓存池发送的所述第一编码画面和所述第二编码画面两者，或者仅输出从缓存池发送的所述第一编码画面。
20.根据权利要求17所述的电子设备，其中，所述成本/质量策略是可变的。
CN201711360590.9A 2016-12-28 2017-12-15 视频数据编码和被配置为执行视频数据编码的视频编码器 Active CN108259902B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160180916A KR20180076591A (ko) 2016-12-28 2016-12-28 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템
KR10-2016-0180916 2016-12-28

Publications (2)

Publication Number Publication Date
CN108259902A CN108259902A (zh) 2018-07-06
CN108259902B true CN108259902B (zh) 2022-07-05

Family

ID=62630373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711360590.9A Active CN108259902B (zh) 2016-12-28 2017-12-15 视频数据编码和被配置为执行视频数据编码的视频编码器

Country Status (3)

Country Link
US (1) US10313669B2 (zh)
KR (1) KR20180076591A (zh)
CN (1) CN108259902B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110139109B (zh) * 2018-02-08 2023-01-10 北京三星通信技术研究有限公司 图像的编码方法及相应终端
CN112291560B (zh) * 2020-10-30 2024-05-07 北京百度网讯科技有限公司 视频编码方法、装置、设备和介质
CN112291559B (zh) * 2020-10-30 2023-10-31 北京百度网讯科技有限公司 视频编码方法、装置、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060045797A (ko) * 2004-11-01 2006-05-17 한국전자통신연구원 계층적 ｂ 픽쳐를 이용한 동영상 부호화시에 ｇｏｐ를적응적으로 세분하기 위한 방법 및 장치
CN101379828A (zh) * 2006-02-06 2009-03-04 汤姆森许可贸易公司 自适应画面组（gop）结构选择的方法和装置
CN105306934A (zh) * 2015-11-10 2016-02-03 深圳市云宙多媒体技术有限公司 一种低复杂度片源的编码方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3815665B2 (ja) 2000-12-27 2006-08-30 Ｋｄｄｉ株式会社 可変ビットレート動画像符号化装置および記録媒体
US6804301B2 (en) 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
JP2003250152A (ja) 2002-02-25 2003-09-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US7565596B2 (en) 2005-09-09 2009-07-21 Searete Llc Data recovery systems
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
JP4892450B2 (ja) 2007-10-17 2012-03-07 パナソニック株式会社 画像符号化装置および画像符号化方法
JP4676513B2 (ja) 2008-06-05 2011-04-27 日本電信電話株式会社 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体
JP2010206593A (ja) * 2009-03-04 2010-09-16 Sony Corp 画像処理装置、画像処理方法、及びプログラム
US9307235B2 (en) 2012-12-03 2016-04-05 Vixs Systems, Inc. Video encoding system with adaptive hierarchical B-frames and method for use therewith
FR3026592B1 (fr) * 2014-09-30 2016-12-09 Inst Mines Telecom Procede de transcodage de donnees video a fusion d'unites de codage, programme informatique, module de transcodage et equipement de telecommunications associes
US10063866B2 (en) * 2015-01-07 2018-08-28 Texas Instruments Incorporated Multi-pass video encoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060045797A (ko) * 2004-11-01 2006-05-17 한국전자통신연구원 계층적 ｂ 픽쳐를 이용한 동영상 부호화시에 ｇｏｐ를적응적으로 세분하기 위한 방법 및 장치
CN101379828A (zh) * 2006-02-06 2009-03-04 汤姆森许可贸易公司 自适应画面组（gop）结构选择的方法和装置
CN105306934A (zh) * 2015-11-10 2016-02-03 深圳市云宙多媒体技术有限公司 一种低复杂度片源的编码方法及系统

Also Published As

Publication number Publication date
KR20180076591A (ko) 2018-07-06
CN108259902A (zh) 2018-07-06
US10313669B2 (en) 2019-06-04
US20180184084A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
US11949902B2 (en) Method and apparatus for video coding
US20220116648A1 (en) Encoder, a decoder and corresponding methods
US11924457B2 (en) Method and apparatus for affine based inter prediction of chroma subblocks
US11909959B2 (en) Encoder, a decoder and corresponding methods for merge mode
US11968387B2 (en) Encoder, a decoder and corresponding methods for inter prediction using bidirectional optical flow
KR102616714B1 (ko) 광학 흐름 정제를 위한 조기 종료
US20220007052A1 (en) Method and apparatus for intra-prediction
JP7319389B2 (ja) 適応ループ・フィルタを用いたエンコーダ、デコーダおよび対応する方法
JP2023508060A (ja) ビデオコーディングのためのクロスコンポーネント適応ループフィルタリング
US11431988B2 (en) Method and apparatus for intra smoothing for intra sub-partitions
CN108259902B (zh) 视频数据编码和被配置为执行视频数据编码的视频编码器
US20240107043A1 (en) Ranking templates of a current block and prediction blocks
CN112673627A (zh) 在图像编码系统中使用仿射合并候选列表的基于仿射运动预测的图像解码方法和装置
US20240195983A1 (en) Mmvd signaling improvement
CN112868233A (zh) 编码器、解码器及相应的帧间预测方法
US11870977B2 (en) Method and apparatus for division-free intra-prediction
US11431987B2 (en) Method and apparatus for memory bandwidth reduction for small inter blocks
JP7508621B2 (ja) イントラ予測のためのクロスコンポーネント線形モデリングの方法、装置、デコーダ、エンコーダおよびプログラム
US20230396793A1 (en) Adjacent spatial motion vector predictor candidates improvement
WO2024072438A1 (en) Motion vector candidate signaling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant