CN103004202A - 使用低分辨率数据的低分辨率功率降低的视频解码器 - Google Patents

使用低分辨率数据的低分辨率功率降低的视频解码器 Download PDF

Info

Publication number
CN103004202A
CN103004202A CN2011800348527A CN201180034852A CN103004202A CN 103004202 A CN103004202 A CN 103004202A CN 2011800348527 A CN2011800348527 A CN 2011800348527A CN 201180034852 A CN201180034852 A CN 201180034852A CN 103004202 A CN103004202 A CN 103004202A
Authority
CN
China
Prior art keywords
resolution
resolution data
pixel
low
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800348527A
Other languages
English (en)
Inventor
马展
克里斯多佛·A·西盖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/838,381 external-priority patent/US8767828B2/en
Priority claimed from US12/838,335 external-priority patent/US20120014445A1/en
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN103004202A publication Critical patent/CN103004202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

公开了使用功率降低技术的视频解码器。该视频解码器包括：(a)熵解码器，对定义了所述视频的比特流进行解码；(b)逆变换，对所述解码的比特流进行变换；(c)预测器，基于所述解码的比特流，选择性地执行帧内预测和运动补偿预测；(d)缓冲器，包括用于所述运动补偿预测的压缩图像数据，所述压缩图像数据包括低分辨率数据和高分辨率数据，其中，所述预测器使用从所述比特流解码的高分辨率预测信息而不使用所述高分辨率数据，基于所述低分辨率数据来预测低分辨率数据集合和高分辨率数据集合二者。

Description

使用低分辨率数据的低分辨率功率降低的视频解码器
技术领域
本发明涉及一种功率降低的视频解码器。
背景技术
现有的视频编码标准，例如，H.264/AVC，通常以增加计算复杂度为代价提供相对高的编码效率。相对高的计算复杂度导致显著的功耗，这对于诸如蜂窝电话等低功率设备尤其成问题。
功率降低通常使用两种主要技术来实现。用于功率降低的第一技术是机会主义的，其中视频编码系统在对容易解码的序列进行操作时降低其处理能力。这种处理能力的降低通过频率缩放、电压缩放、片上数据预取(缓存)、和/或系统空闲策略来实现。在许多情况下，生成的解码器操作符合标准。用于功率降低的第二技术是在解码处理过程期间放弃帧或图像数据。这典型地允许更显著的功率节省，但是通常以图像质量的可见劣化为代价。此外，在许多情况下，生成的解码器操作不符合标准。
发明内容
本发明的一个实施例公开了一种用于解码视频的视频解码器，包括：(a)熵解码器，对定义了所述视频的比特流进行解码；(b)逆变换，对所述解码的比特流进行变换；(c)预测器，基于所述解码的比特流，选择性地执行帧内预测和运动补偿预测；(d)缓冲器，包括用于所述运动补偿预测的压缩图像数据，所述压缩图像数据包括低分辨率数据和高分辨率数据，其中，所述预测器使用从所述比特流解码的高分辨率预测信息而不使用所述高分辨率数据，基于所述低分辨率来预测低分辨率数据集合和高分辨率数据集合二者。
本发明的另一实施例公开了一种解码视频的视频解码器，包括：(a)熵解码器，对定义了所述视频的比特流进行解码；(b)逆变换，对所述解码的比特流进行变换；(c)预测器，基于所述解码的比特流，选择性地执行帧内预测和运动补偿预测；(d)缓冲器，包括用于所述运动补偿预测的压缩图像数据；(e)其中，所述压缩图像数据包括低分辨率数据集合和高分辨率数据集合，其中，所述低分辨率数据集合独立于所述高分辨率数据集合，并且用于在低分辨率模式中解码，并且其中，所述低分辨率数据集合和所述高分辨率数据集合均在高分辨率模式中解码时使用。
在结合附图考虑本发明的以下详细描述时，能够更容易地理解本发明的上述和其他目的、特征和优点。
附图说明
图1示出了解码器。
图2示出了低分辨率预测。
图3A和3B示出了解码器和针对解码器的数据流。
图4示出了帧缓冲器的采样结构。
图5示出了帧缓冲器在解码器中的集成。
图6A和6B示出了两个块的代表像素值。
具体实施方式
期望实现典型地与放弃帧数据相关联的显著功率节省，而没有可见的生成图像质量劣化以及与标准不符合。适当实现的系统可以在对编码效率影响最小的情况下使用。为了有助于这种具有最小图像劣化和编码效率损失的功率节省，系统应当交替地对低分辨率数据和高分辨率数据进行操作。低分辨率数据和高分辨率数据的组合可以获得全分辨率数据。低分辨率数据的使用特别适合显示器的分辨率比传输内容的分辨率低的情况。
功率是设计较高分辨率解码器时的因素。对功率使用的一个主要贡献者是存储器带宽。存储器带宽传统上随着较高分辨率和帧速率而增加，并且通常是系统设计中的显著瓶颈和成本因素。对功率使用的第二主要贡献者是高像素计数。高像素计数直接由图像帧的分辨率来确定，并且增加了像素处理和计算的量。每个像素操作所需的功率量由解码处理过程的复杂度确定。历史上，在每次“改进”视频编码标准都增加了解码复杂度。
参照图1，系统可以包括熵解码模块10、变换模块(例如，使用解量化逆离散余弦变换(dequant IDCT)的逆变换)20、帧内预测模块30、运动补偿预测模块40、加法器80、解块(de-blocking)模块50、自适应回路滤波器模块60、和与帧缓冲器相关联的存储器压缩/解压缩模块70。可以根据需要修改对针对视频系统的不同模块的布置和选择。在一个方面，系统优选地降低帧缓冲器的存储器带宽和高像素计数二者的功率需要。通过在视频编码器设计中合并帧缓冲器压缩技术来降低存储器带宽。帧缓冲器压缩技术的目的在于降低存取参考画面缓冲器中数据所需的存储器带宽(和功率)。在参考画面缓冲器本身是原始图像数据的压缩版本的情况下，可以实现对参考帧的压缩，而没有针对许多应用的显著编码损耗。
为了解决高像素计数，视频编解码器应当支持没有漂移的低分辨率处理模式。这意味着解码器可以在低分辨率操作点和全分辨率操作点之间切换，并且符合标准。这可以通过使用全分辨率预测信息而非仅使用低分辨率图像数据，执行低分辨率和高分辨率数据二者的预测来完成。此外，这可以使用进行解块判定的解块处理过程来提高，在该解块判定中仅使用低分辨率数据。解块应用于低分辨率数据，并且同样根据需要应用于高分辨率数据。低分辨率像素的解块不依赖于高分辨率像素。低分辨率解块和高分辨率解块可以串行和/或并行执行。然而，高分辨率像素的解块可以依赖于低分辨率像素。这样，低分辨率处理过程独立于高分辨率处理过程，因此实现功率节省模式，而同时高分辨率处理过程可以依赖于低分辨率处理过程，因此在需要时实现更高的图像质量。
参照图2，当在低分辨率模式中操作时(S10)，解码器可以使用低分辨率预测和修改的解块的属性，来显著减少要处理的像素数目。这可以通过仅预测低分辨率数据来完成(S12)。然后在预测低分辨率数据之后，仅针对分辨率像素(即，像素位置)并不针对高分辨率像素(即，像素位置)来计算残差数据(S14)。典型地在比特流中传输残差数据。针对低分辨率像素值计算的残差数据在低分辨率像素位置处具有与全分辨率残差数据相同的像素值。主要差异在于仅需要在低分辨率像素的位置处计算残差数据。在计算残差之后，将低分辨率残差加到低分率像素预测上(S16)，以提供低分辨率像素值。然后对生成的信号进行解块。同样，优选地仅在低分辨率采样位置处执行解块(S18)来降低功耗。最后，结果可以存储在参考画面帧缓冲器中以供未来预测。可选地，可以利用自适应回路滤波器来处理该结果。自适应回路滤波器可以与用于全分辨率数据的自适应回路滤波器相关，或者可以独立地发信号通知该自适应回路滤波器，或者可以省略。
在图3A和3B中示出了在低分辨率模式下操作的系统的示例性描述。该系统同样可以包括在全分辨率模式中操作的模式。如图3A和3B所示，熵解码100可以以全分辨率来执行，而逆变换(Dequant IDCT)200和预测(帧内预测300；运动补偿预测(MCP)400)优选地以低分辨率执行。解块500优选地以级联方式执行，使得对低分辨率像素的解块不依赖于附加的高分辨率数据。最后，包括存储器压缩的帧缓冲器存储了用于未来预测的低分辨率数据。
图3A中示出的熵解码100对针对全分辨率像素的残差数据进行熵解码(101)。残差101中的阴影像素表示低分辨率位置，而非阴影像素表示高分辨率位置。解量化逆离散余弦变换(Dequant IDCT)200仅对残差101中的低分辨率像素数据进行逆变换，以产生解量化和逆离散余弦变换之后的残差201。
在帧内画面的情况下，帧内预测300仅针对低分辨率位置(由阴影像素所示)产生预测301。加法器800将解量化和逆离散余弦变换之后的残差201中的低分辨率像素数据与预测301中的低分辨率像素数据相加，以仅针对低分辨率位置产生重构801(阴影像素所示)。
在帧间画面的情况下，图3B中示出的MCP 400从存储器700中读出参考画面的低分辨率像素数据(由参考画面数据702中的阴影像素所示)，并且通过插值产生已被去除的高分辨率像素数据。例如，如插值401中所指示的，MCP 400通过插值从相邻像素的低分辨率像素数据中产生高分辨率像素数据C。可以采用以下作为插值：取位于C的上侧和下侧中的像素的低分辨率像素数据的平均值，取位于C的左侧和右侧中的像素的低分辨率像素数据的平均值，取位于C的上侧、下侧、左侧和右侧中像素的低分辨率像素数据的平均值。
按照级联方式执行解块500。解块500在第一时间对低分辨率数据进行滤波(501)，而在第二时间对高分辨率数据进行滤波。更具体地，按照以下方式执行解块500。
步骤1)(501)
解块500通过插值使用低分辨率数据和高分辨率数据而仅应用于低分辨率数据。
步骤2)(502)
解块500通过插值使用低分辨率数据和高分辨率数据而仅应用于高分辨率数据。
解块500之后的画面存储在存储器700中。以下说明画面(701、702、703)，其中，在解块500之后画面(701、702、703)就存储在了存储器700中，并且被读出，用于MCP 400。解块500之后的画面502是全分辨率画面，可以被称作画面701。可以按照棋盘图案对解块500之后的画面701进行降采样(decimated)(702)，使得仅低分辨率位置保留并存储在存储器700中。当在预测中使用时，对降采样的高分辨率像素数据(由非阴影像素702所示)进行插值，并且经插值的画面用于产生预测画面。
帧缓冲器压缩技术优选地是低分辨率功能的组成部分。帧缓冲器压缩技术优选地将图像像素数据划分成多个集合，并且第一像素数据集合不依赖于其他集合。在一个实施例中，系统采用如图4所示的棋盘图案。在图4中，阴影像素位置属于第一集合，非阴影像素属于第二集合。根据需要可以使用其他采样结构。例如，将每隔一列像素分配到第一集合。备选地，将每隔一行像素分配到第一集合。类似地，可以将每隔一列和一行像素分配到第一集合。可以使用分成多个像素集合的任何适合的分区(partition)。
对于存储器压缩/解压缩，帧缓冲器压缩技术优选地具有根据第一像素集合中的像素线性预测的第二像素集合中的像素。预测可以是预先定义的。备选地，预测在空间上变化或者使用任何其他适合的技术来确定。
在一个实施例中，对第一像素集合中的像素进行编码。该编码可以使用任何适合的技术，例如，Healy，D.；Mitchell，O.，″Digital VideoBandwidth Compression Using Block Truncation Coding，″IEEETransactions on Communications[legacy，pre-1988]，vol.29，no.12pp.1809-1817，Dec 1981描述的块截断编码(BTC)，例如Lema，M.；Mitchell，O.，″Absolute Moment Block Truncation Coding and Its App.ication to Color Images，″IEEE Transactions on Communications[legacy，pre-1988]，vol.32，no.10pp.1148-1157，Oct 1984描述的绝对时刻块截断编码(AMBTC)，或标量量化。类似地，第二像素集合中的像素可以使用任何适合的技术来编码和预测，例如，使用对帧缓冲器压缩编码和帧缓冲器压缩解码器已知的线性处理过程来预测。然后，可以计算预测和像素值之间的差异。最后，可以对该差异进行压缩。在一个实施例中，系统可以使用块截断编码(BTC)来压缩第一像素集合。在另一实施例中，系统可以使用绝对时刻块截断编码(AMBTC)来压缩第一像素集合。在另一实施例中，系统可以使用量化来压缩第一像素集合。在又一实施例中，系统可以使用双线性插值来预测第二像素集合中的像素值。在又一实施例中，系统可以使用双三次插值来预测第二像素集合中像素值。在又一实施例中，系统可以使用双线性插值来预测第二像素集合中的像素值，以及使用绝对时刻块截断编码(AMBTC)来压缩第二集合中的预测像素值与第二集合中像素值之间的残差差值。
帧缓冲器压缩技术的属性在于，利用标志来控制以发信号通知低分辨率处理能力。在一个配置中，当该标志不发信号通知低分辨率处理能力时，帧缓冲器解码器产生输出帧，该输出帧包含可能被压缩的第一像素值集合(即，低分辨率像素数据)，以及根据第一像素值集合预测并利用可选残差数据细化的第二像素值集合(即，高分辨率像素数据)。在另一配置中，当该标志发信号通知低分辨率处理能力时，帧缓冲器解码器产生输出帧，该输出帧包含可能被压缩的第一像素值集合，以及根据第一像素值集合预测但是并未利用可选残差数据细化的第二像素值集合。相应地，标志指示是否使用可选残差数据。残差数据可以表示预测像素值与实际像素值之间的差值。
对于帧缓冲器压缩编码器，当标志不发送信号通知低分辨率处理能力时，编码器可能以压缩形式存储第一像素值集合。然后编码器根据第一像素值集合预测第二像素值集合。在一些实施例中，编码器确定预测值与实际像素值之间的残差差值，并且可能以压缩形式存储残差差值。在一些实施例中，编码器从多个预测机制中选择针对第二像素集合的优选预测机制。编码器然后将选定的预测机制存储在帧缓冲器中。在一个实施例中，多个预测机制包括多个线性滤波器，并且编码器通过计算每个线性滤波器的预测像素值并选择对与像素值最接近的预测像素值加以计算的线性滤波器来选择预测机制。在一个实施例中，多个预测机制包括多个线性滤波器，并且编码器通过针对像素位置块计算每个线性滤波器的预测像素值并且选择对与像素值块最接近的预测像素值块加以计算的线性滤波器来选择预测机制。像素块是图像内的像素集合。可以通过选择预测像素值块来确定与像素值块最接近的预测像素值块，其中预测像素值块获得预测像素值块与像素值块之间的最小绝对差和。备选地，可以使用平方差和来选择块，在其他实施例中，可以利用块截断编码(BTC)来压缩残差。在一个实施例中，可以利用绝对时刻块截断编码(AMBTC)来压缩残差差值。在一个实施例中，用于第二像素集合的压缩的参数可以根据用于第一像素集合的压缩的参数来确定。在一个实施例中，第一像素集合和第二像素集合使用AMBTC，用于第一像素集合的AMBTC方法的第一参数与用于第二像素集合的AMBTC方法的第一参数相关。在一个实施例中，用于第二像素集合的第一参数等于用于第一像素集合的所述第一参数，并且不存储。在另一实施例中，用于第二像素集合的所述第一参数与用于第一像素集合的所述第一参数有关。在一个实施例中，可以将关系定义为缩放因子，并且代替用于第二像素集合的所述第一参数而存储缩放因子。在其他实施例中，可以将关系定义为缩放因子的查找表中的索引，代替用于第二像素集合的所述第一参数而存储所述索引。在其他实施例中，可以预先定义该关系。在其他实施例中，编码器将选定的预测机制与残差差值确定步骤相组合。通过比较，当标志发信号通知低分辨率处理能力时，编码器可能以压缩形式存储第一像素值集合。然而，编码器不存储残差信息。在确定选定预测机制的上述实施例中，编码器不根据重构数据计算选定预测机制。取而代之，可以从编码器向解码器发信号通知任何选定的预测机制。
标志的发信号通知实现了低分辨率解码能力。解码器甚至在标志发信号通知低分辨率解码能力时也不需要解码低分辨率序列。取而代之，解码器可以解码全分辨率序列或低分辨率序列。这些序列针对低分辨率网格上的像素位置具有相同的解码像素值。这些序列针对高分辨率网格上的像素位置可以具有或可以不具有相同解码像素值。发信号通知标志可以基于逐帧、基于逐序列或者基于任何其他来进行。
当在比特流中出现标志时，解码器优选地执行以下步骤：
(a)禁用帧缓冲器压缩技术中的残差计算。这包括在加载参考帧期间禁用残差数据的计算，以及在存储参考帧期间禁用残差数据的计算，如图5所示。
(b)如上所述，针对低分辨率解块使用低分辨率像素值。如上所述，针对较高分辨率位置中的采样位置使用备选的解块操作。
(c)在应用自适应回路滤波器之前存储残差参考帧。
利用这些改变，解码器可以继续在全分辨率模式中操作。具体地，对于未来的帧，可以从压缩参考缓冲器获取全分辨率帧，执行运动补偿，残差相加、解块、和回路滤波器。结果是全分辨率帧。该帧可以仍包含占据全分辨率像素网格的整个范围的频率内容。
备选地，解码器可以选择仅对低分辨率数据进行操作。由于缓冲器压缩结构中较低分辨率网格与较高分辨率网格无关，因此上述是可能的。对于运动估计，修改插值处理过程以利用高分辨率像素与低分辨率数据线性相关的事实。因此，利用修改的插值滤波器以低分辨率执行运动估计处理过程。类似地，对于残差计算，系统可以在解码器的后续步骤中利用低分辨率数据不依赖于高分辨率数据的事实。因此，系统使用仅根据全分辨率变换系数计算低分辨率像素的缩减的逆变换处理过程。最后，系统可以采用与高分辨率像素(高分辨率可以依赖于低分辨率)无关地对低分辨率数据进行解块的解块滤波器。这同样由于高分辨率与低分辨率数据之间的线性关系。
在8×8块尺寸的上下文中期望在考虑JCTVC-A119的情况下JCT-VC测试模型中的现有解块滤波器。对于亮度解块滤波，通过确定是否对块边界进行解块来开始处理过程。这通过以下来完成：
d＝|p22-2*p12+p02|+|q22-2*q12+q02|+|p25-2*p15+p05|+|q25-2*q15+q05|，                ...(方程1)
其中，d是变量，pij和qij是像素值。在图6中示出了像素值的位置。在图6中，示出了两个4×4编码单元。然而，可以通过考虑像素相对于块边界的位置来根据任何块尺寸确定像素值。
接着，将针对d计算的值与阈值相比较。如果值d小于阈值，则使用解块滤波器。如果值d大于或等于阈值，则不应用滤波，并且经解块的像素具有与输入像素值相同的值。注意，阈值可以是量化参数的函数，并且可以描述为beta(QP)。针对水平和垂直边界独立地进行解块判定。
如果针对边界的d值产生解块判定，则处理过程继续确定应用的滤波器类型。解块操作使用强或弱滤波器类型。对滤波强度的选择基于先前计算的d、beta(QP)以及还基于附加局部差值。这针对经解块的边界的每一排(行或列)来计算。例如，对于图6中示出的像素位置的第一行，计算为：
强滤波器标志＝((d＜beta(QP))&&((|p3i-p0i|+|q0i-q3i|)＜(β＞＞3)&&|p0i-q0i|＜((5*tC+1)＞＞1)).        ...(方程2)
其中，tC是典型地根据量化参数QP的阈值。
对于亮度采样的情况，如果先前描述处理过程产生对边界进行解块并随后利用弱滤波器对对排(行或列)进行解块的判定，则滤波处理过程可以描述如下。这里，这一点通过针对图6中的块A与块B之间的边界的滤波处理过程来描述。处理过程是：
Δ＝Clip(-tC，tC，(13*(q0i-p0i)+4*(q1i-p1i)-5*(q2i-p2i)+16)＞＞5))i＝0，7
p0i＝Clip0-255(p0i+Δ)   i＝0，7
q0i＝Clip0-255(q0i-Δ)   i＝0，7
p1i＝Clip0-255(p1i+Δ/2) i＝0，7
q1i＝Clip0-255(q1i-Δ/2) i＝0，7
                 ...(方程3)
其中，Δ是偏差，Clip0-255()是将输入值映射到范围[0，255]的运算符。在备选实施例中，操作符可以将输入值映射到备选范围，例如，[16，235]，[0，1023]或其他范围。
对于亮度采样的情况，如果先前描述的处理过程产生对边界进行解块并随后利用强滤波器对一排(行或列)进行解块，则滤波处理过程可以描述如下。这里，这一点通过针对图6中块A与块B之间的边界的滤波处理过程来描述。该处理过程是：
p0i＝Clip0-255((p2i+2*p1i+2*p0i+2*q0i+q1i+4)＞＞3)；i＝0，7
q0i＝Clip0-255((p1i+2*p0i+2*q0i+2*q1i+q2i+4)＞＞3)；i＝0，7
p1i＝Clip0-255((p2i+p1i+p0i+q0i+2)＞＞2)；i＝0，7
q1i＝Clip0-255((p0i+q0i+q1i+q2i+2)＞＞2)；i＝0，7
p2i＝Clip0-255((2*p3i+3*p2i+p1i+p0i+q0i+4)＞＞3)；i＝0，7
q2i＝Clip0-255((p0i+q0i+q1i+3*q2i+2*q3i+4)＞＞3)；i＝0，7
                  ...(方程4)
其中，Clip0-255()是将输入值映射到范围[0，255]的运算符。在备选实施例中，该运算符可以将输入值映射到备选范围，例如，[16，235]，[0，1023]或其他范围。
对于色度采样的情况，如果先前描述的处理过程产生对边界进行解块的判定，则利用弱滤波操作对所有排(行或列)或色度进行处理。这里，这一点通过针对图6中块A与块B之间的边界的滤波处理过程来描述，其中假定块包含色度像素值。处理过程是：
Δ＝Clip(-tC，tC，((((q0i-p0i)＜＜2)+p1i-q1i+4)＞＞3))i＝0，7
p0i＝Clip0-255(p0i+Δ)i＝0，7
q0i＝Clip0-255(q0i-Δ)i＝0，7
           ...(方程5)
其中，Δ(在本说明书中也被称作delta)是偏差，Clip0-255()是将输入值映射到范围[0，255]的运算符。在备选实施例中，操作符可以将输入值映射到备选范围，例如，[16，235]，[0，1023]或其他范围。
可以将图像帧内的像素位置分到两个或多个集合中。当在比特流中发信号通知或以任何方式传输标志时，系统启用对第一像素位置集合的处理，而不是对第二像素位置集合处的像素值的处理。在图4中示出了该划分的示例。在图4中，将块划分成两个像素集合。第一集合对应于阴影位置；第二集合对应于非阴影位置。
当启用该备选模式时，系统可以如下修改先前解块操作：
首先，在计算中如果对边界进行解块，则系统使用先前描述的方程，或者其他适合的方程。然而，对于与不在第一像素集合中的像素位置相对应的像素值，该系统可以使用从第一像素位置集合中导出的像素值。图6A和6B中的p01，p03，p05，p07，q00，q02，q04，q06是通过熵解码、逆变换和预测来计算的第一像素集合。p00，p02，p04，p06，q01，q03，q05，q07是通过图3B或图5中示出的方程来计算的第二像素集合，
p00＝(p10+q00)＞＞1
p02＝(p01+p03)＞＞1
p04＝(p03+p05)＞＞1
...
q07＝(p07+q17)＞＞1.      ...(方程6)
使用这些像素值来计算方程1、方程2、方程3、方程4和方程5。
在一个实施例中，系统导出像素值作为位于第一像素集合中的相邻像素值的线性和。在第二实施例中，系统使用位于第一像素集合中的像素值的双线性插值。在优选实施例中，系统计算位于第一像素集合中当前像素位置以上的像素值以及位于第一像素集合中当前像素位置之下的像素值的线性平均值。请注意，上述描述假定系统工作在垂直块边界(并且应用水平解块)。对于系统工作在水平块边界(并且应用垂直解块)的情况，系统计算当前位置的左侧和右侧像素的平均值。在备选实施例中，系统可以将平均值计算限制到相同块内的像素值。例如，如果位于当前像素之上的像素值不在相同块中，但是位于当前像素之下的像素值在相同块中，则将当前像素设置为等于当前像素值之下的像素值。
其次，在计算中，如果边界应当使用强或弱滤波器，则系统可以使用与上述相同的方法。即，从第一像素集合中导出与第一像素集合不相对应的像素值。在计算以上判定时，系统可以使用对第一像素集合进行处理的判定。处理后续像素集合的解码器使用相同判定来处理后续像素集合。
如果先前描述的处理过程产生对边界进行解块且随后利用弱滤波器对一排(行或列)进行解块的判定，则系统可以使用上述弱滤波处理过程。然而，当计算Δ的值时，系统不使用与第一集合之后的像素集合相对应的像素值。取而代之，系统可以如上导出像素值。作为示例，然后对第一集合中实际像素值应用Δ的值，并且对第二集合中的实际像素值应用该delta值。
如果先前描述的处理过程产生对边界进行解块并随后利用强滤波器对一排(行或列)进行解块的判定，则系统可以进行以下操作：
在一个实施例中，系统可以使用针对上述亮度强滤波器的方程。然而，对于没有位于第一像素位置集合中的像素值，系统可以如上所述从第一像素位置集合中导出像素值。系统然后存储针对第一像素位置集合的滤波器处理过程的结果。随后，对于产生后续像素位置作为输出的解码器，系统利用针对第一像素位置先前计算的强滤波结果以及针对后续像素位置的重构(未经滤波)结果，使用针对上述亮度强滤波器的方程。系统然后仅在后续像素位置应用滤波器。输出是与第一滤波器操作相对应的经滤波的第一像素位置，以及与附加滤波器处理过程相对应的经滤波的后续像素位置。
总之，如上所述，系统取第一像素值，并且对丢失的像素值进行插值，计算针对第一像素值的强滤波器结果，将丢失的像素值更新为实际重构值，并且计算针对丢失的像素位置的强滤波器结果。
在第二实施例中，系统使用针对上述强亮度滤波器的方程。对于没有位于第一像素位置集合中的像素值，系统如上所述从第一像素位置集合中导出像素值。系统然后使用导出的值计算针对第一像素位置集合和后续像素位置集合二者的强滤波器结果。最后，系统计算后续位置处的重构像素值与后续位置处的强滤波器输出的加权平均值。在一个实施例中，将权重从编码器传输到解码器。在备选实施例中，权重是固定的。
如果先前描述的处理过程产生对边界进行解块的判定，则系统如上所述使用针对色度的弱滤波处理过程。然而，当计算Δ的值时，系统不使用与第一集合之后的像素集合相对应的像素值。取而代之，系统优选地像如上所述那样导出像素值。作为示例，然后对第一集合中的实际像素值应用Δ的值，并且对第二集合中实际像素值应用该delta值。
本文使用上述说明书中采用的术语和表述作为描述并不意在限制，并且在使用这样的术语和表述时并不意在排除所示和所描述特征的等同物或其一部分，应当认识到本发明的范围仅由所附权利要求来限定和限制。

Claims (12)

1.一种用于解码视频的视频解码器，包括：
(a)熵解码器，对定义了所述视频的比特流进行解码；
(b)逆变换，对所述解码的比特流进行变换；
(c)预测器，基于所述解码的比特流，选择性地执行帧内预测和运动补偿预测；
(d)缓冲器，包括用于所述运动补偿预测的压缩图像数据，所述压缩图像数据包括低分辨率数据和高分辨率数据，其中，所述预测器使用从所述比特流解码的高分辨率预测信息而不使用所述高分辨率数据，基于所述低分辨率数据来预测低分辨率数据集合和高分辨率数据集合二者。
2.根据权利要求1所述的解码器，还包括：解块模块，对所述低分辨率数据集合进行操作，而不参考所述高分辨率数据集合。
3.根据权利要求2所述的解码器，其中，所述解块模块对参考所述低分辨率数据集合的所述高分辨率数据集合进行操作。
4.根据权利要求1所述的解码器，其中，当在低分辨率模式中操作时，所述逆变换仅在来自所述比特流的低分辨率像素位置处操作。
5.根据权利要求1所述的解码器，其中，当在低分辨率模式中操作时，所述预测器仅在低分辨率像素位置处操作。
6.根据权利要求5所述的解码器，其中，当在所述低分辨率模式中操作时，所述变换仅在低分辨率像素位置处操作。
7.根据权利要求1所述的解码器，还包括：组合器，基于所述预测数据和所述变换后的比特流，形成重构图像数据。
8.根据权利要求1所述的解码器，其中，所述低分辨率数据独立于所述高分辨率数据集合，并且用于在低分辨率模式中解码，并且其中，所述低分辨率数据集合和所述高分辨率数据集合均在高分辨率模式中解码时使用。
9.根据权利要求7所述的解码器，还包括：解块模块，基于所述低分辨率像素位置处的数据而不是高分辨率像素位置处的数据进行解块判定，以选择性地对所述重构图像数据进行解块。
10.一种解码视频的视频解码器，包括：
(a)熵解码器，对定义了所述视频的比特流进行解码；
(b)逆变换，对所述解码的比特流进行变换；
(c)预测器，基于所述解码的比特流，选择性地执行帧内预测和运动补偿预测；
(d)缓冲器，包括用于所述运动补偿预测的压缩图像数据；
(e)其中，所述压缩图像数据包括低分辨率数据集合和高分辨率数据集合，其中，所述低分辨率数据集合独立于所述高分辨率数据集合，并且用于在低分辨率模式中解码，并且其中，所述低分辨率数据集合和所述高分辨率数据集合均在高分辨率模式中解码时使用。
11.根据权利要求10所述的解码器，其中，所述高分辨率数据集合是基于所述低分辨率数据集合而线性预测的。
12.根据权利要求10所述的解码器，其中，所述低分辨率数据集合是使用块截断编码来编码的。
CN2011800348527A 2010-07-16 2011-07-14 使用低分辨率数据的低分辨率功率降低的视频解码器 Pending CN103004202A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US12/838,381 US8767828B2 (en) 2010-07-16 2010-07-16 System for low resolution power reduction with compressed image
US12/838,335 US20120014445A1 (en) 2010-07-16 2010-07-16 System for low resolution power reduction using low resolution data
US12/838,381 2010-07-16
US12/838,335 2010-07-16
PCT/JP2011/066636 WO2012008614A1 (en) 2010-07-16 2011-07-14 Video decoder for low resolution power reduction using low resolution data

Publications (1)

Publication Number Publication Date
CN103004202A true CN103004202A (zh) 2013-03-27

Family

ID=45469597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800348527A Pending CN103004202A (zh) 2010-07-16 2011-07-14 使用低分辨率数据的低分辨率功率降低的视频解码器

Country Status (5)

Country Link
EP (1) EP2594074A4 (zh)
JP (1) JP5732125B2 (zh)
CN (1) CN103004202A (zh)
EA (1) EA024279B1 (zh)
WO (1) WO2012008614A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014519212A (ja) * 2011-05-26 2014-08-07 シャープ株式会社 ビデオデコーダ
JP6512741B2 (ja) * 2014-03-28 2019-05-15 株式会社メガチップス 画像処理装置および画像処理方法
WO2024136203A1 (ko) * 2022-12-22 2024-06-27 삼성전자 주식회사 복수의 신경망 모델을 분할하여 추론을 수행하는 방법, 및 전자 디바이스

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0883299A2 (en) * 1997-06-06 1998-12-09 Fujitsu Limited Apparatus and method for coding and decoding video images
US20030118243A1 (en) * 2001-09-18 2003-06-26 Ugur Sezer Largest magnitude indices selection for (run, level) encoding of a block coded picture
US20040017853A1 (en) * 2002-05-29 2004-01-29 Diego Garrido Maintaining a plurality of codebooks related to a video signal
CN1812580A (zh) * 2005-01-04 2006-08-02 三星电子株式会社 去块控制方法及使用该方法的多层视频编码器/解码器
CN101202906A (zh) * 2006-12-11 2008-06-18 国际商业机器公司 在数字视频广播系统中对视频流进行处理的方法和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3575508B2 (ja) * 1996-03-04 2004-10-13 Ｋｄｄｉ株式会社 符号化動画像再生装置
JP3384727B2 (ja) * 1997-11-05 2003-03-10 三洋電機株式会社 画像復号装置
EP1728393A2 (en) * 2004-03-08 2006-12-06 Koninklijke Philips Electronics N.V. Video decoder with scalable compression and buffer for storing and retrieving reference frame data
KR101117840B1 (ko) * 2004-04-02 2012-03-15 톰슨 라이센싱 복잡도 가변 비디오 디코더를 위한 방법 및 장치
JP2008536451A (ja) * 2005-04-14 2008-09-04 トムソン ライセンシング 空間スケーラブルビデオ符号化及び復号化向けスライス適応型動きベクトル符号化のための方法及び装置
JP4774315B2 (ja) * 2006-02-20 2011-09-14 株式会社日立製作所 画像復号化装置及び画像復号化方法
JP2009296300A (ja) * 2008-06-05 2009-12-17 Panasonic Corp 画像符号化装置および方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0883299A2 (en) * 1997-06-06 1998-12-09 Fujitsu Limited Apparatus and method for coding and decoding video images
US20030118243A1 (en) * 2001-09-18 2003-06-26 Ugur Sezer Largest magnitude indices selection for (run, level) encoding of a block coded picture
US20040017853A1 (en) * 2002-05-29 2004-01-29 Diego Garrido Maintaining a plurality of codebooks related to a video signal
CN1812580A (zh) * 2005-01-04 2006-08-02 三星电子株式会社 去块控制方法及使用该方法的多层视频编码器/解码器
CN101202906A (zh) * 2006-12-11 2008-06-18 国际商业机器公司 在数字视频广播系统中对视频流进行处理的方法和设备

Also Published As

Publication number Publication date
JP2013531401A (ja) 2013-08-01
EA201390113A1 (ru) 2013-12-30
EP2594074A4 (en) 2014-08-06
JP5732125B2 (ja) 2015-06-10
EA024279B1 (ru) 2016-09-30
WO2012008614A1 (en) 2012-01-19
EP2594074A1 (en) 2013-05-22

Similar Documents

Publication Publication Date Title
RU2694013C1 (ru) Усовершенствованное кодирование с внутрикадровым предсказанием с использованием планарных представлений
US8548062B2 (en) System for low resolution power reduction with deblocking flag
US8767828B2 (en) System for low resolution power reduction with compressed image
KR20100130839A (ko) 비디오 데이터 처리 장치 및 방법
CN102801982B (zh) 一种应用于视频压缩且基于块积分的快速运动估计方法
CN103004202A (zh) 使用低分辨率数据的低分辨率功率降低的视频解码器
US9313523B2 (en) System for low resolution power reduction using deblocking
US20120014445A1 (en) System for low resolution power reduction using low resolution data
US20120300844A1 (en) Cascaded motion compensation
AU2019210554B2 (en) Enhanced intra-prediction coding using planar representations
CN102625109A (zh) 一种基于多核处理器实现的mpeg-2至h.264的转码方法
US20120300838A1 (en) Low resolution intra prediction
WO2012008616A1 (en) Video decoder for low resolution power reduction using low resolution data
US20120014447A1 (en) System for low resolution power reduction with high resolution deblocking
AU2015203228B2 (en) Enhanced intra-prediction coding using planar representations
JP2014519212A (ja) ビデオデコーダ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130327