CN104823447B - 视频编码中的颜色自适应 - Google Patents

视频编码中的颜色自适应 Download PDF

Info

Publication number
CN104823447B
CN104823447B CN201380054152.3A CN201380054152A CN104823447B CN 104823447 B CN104823447 B CN 104823447B CN 201380054152 A CN201380054152 A CN 201380054152A CN 104823447 B CN104823447 B CN 104823447B
Authority
CN
China
Prior art keywords
quantification
component
quantization
look
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380054152.3A
Other languages
English (en)
Other versions
CN104823447A (zh
Inventor
L.比沃拉斯基
J.里德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN104823447A publication Critical patent/CN104823447A/zh
Application granted granted Critical
Publication of CN104823447B publication Critical patent/CN104823447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

从构码器接收视频比特流，所述视频比特流包括各自具有表示颜色空间中的通道的分量的共同形式的构码图像部分。多个所述构码图像部分中的每一个包括所述分量的量化值（至少包括正从量化级别的第一方案之中量化的所述分量中的第一个的值）的不同集合。进一步地，所接收到的比特流包括将所述第一方案的量化级别映射到至少部分地去量化的相应级别的查找表。去量化器使用接收到的所述比特流中的所述查找表来通过将所述第一分量的量化值转换为与所述第一方案的至少部分地去量化级别中的级别相对应的至少部分地去量化值来至少部分地去量化多个所述图像部分中的所述第一分量的不同量化值。

Description

视频编码中的颜色自适应
背景技术
数码相机往往捕获远高于在实践中典型地需要的高颜色深度的图像。例如，一些相机在每R通道、G通道以及B通道10或甚至12个比特的深度下捕获样本，从而在RGB空间中给出30至36个比特的总深度。
人眼另一方面通常不能够区分这许多颜色。根据对人类视觉的研究，据估计典型人类能够仅感知大约2百万个不同颜色。那对应于大约20个比特（每通道6至7个比特）的总颜色深度。
如果所捕获的数据将被构码以用于通过网络传送，则高颜色深度信息引发非常高的比特率以及构码方面的高处理负担。类似地，如果数据将被构码以用于存储，则高颜色深度引发大量存储器资源。
由于此原因，出于视频构码的目的从相机捕获的原始图像数据常常被量化。这减少对视频进行构码所需要的比特的数目，例如减少待例如作为诸如视频VoIP（IP语音电话）呼叫这样的实况视频呼叫的一部分通过网络传送的比特流中所需要的比特率；或者减少将视频存储在存储器中所需要的比特的数目。
发明内容
各种实施例涉及适配例如作为通过网络的实况视频呼叫的一部分在视频构码和/或解码背景下使用的颜色级别。
根据本发明的一个或多个实施例，提供了包括接收器和去量化器的接收设备。接收器被配置成从构码器（encoder）接收视频比特流。比特流包括各自具有表示颜色空间中的通道的多个分量的共同形式的构码图像部分。多个构码图像部分中的每一个包括分量的量化值的不同集合。这些至少包括正从量化级别的第一方案之中量化的所述分量中的第一个的值。进一步地，从构码器接收到的比特流包括将第一方案的量化级别映射到至少部分地去量化的相应级别的查找表。
去量化器被在操作上耦接到接收器，并且配置成使用接收到的来自构码器的比特流中的查找表来至少部分地去量化多个图像部分中的第一分量的不同量化值。这通过将第一分量的量化值转换为与第一方案的至少部分地去量化级别中的级别相对应的至少部分地去量化值而完成。接收设备被配置成基于通过所述去量化器的转换将视频图像输出到屏幕。
通过将量化级别的查找表包括在比特流中，本发明的实施例允许彼此成比例非均匀的量化级别，并且允许这些非均匀级别被以未必局限于少量预定模型的方式适配。
在一个或多个另外的实施例中，提供了传送设备，所述传送设备包括被配置成从视频相机接收视频信号的输入端以及构码器、量化器和传送器。构码器被配置成从所述视频信号生成比特流。所生成的比特流包括各自具有表示颜色空间中的通道的多个分量的共同形式的构码图像部分。多个构码图像部分中的每一个包括分量的量化值的不同集合。这些至少包括正从量化级别的第一方案之中量化的所述分量中的第一个的值。
量化器被配置成生成量化值，并且传送器被配置成将构码比特流传送到接收设备的解码器（decoder）。进一步地，量化器被配置成接收关于接收设备的屏幕的指示。基于所述指示，它确定将第一方案的量化级别映射到至少部分地去量化的相应级别的查找表。传送设备被配置成将查找表插入到比特流中以用于在接收设备处在至少部分地去量化多个图像部分的第一分量的不同量化值时使用。
在另外的实施例中，可以提供一个或多个对应的计算机程序产品，其被具体化在有形计算机可读存储装置上，被配置以便当在处理器上执行时依照上述设备特征中的任一个执行操作。在又另外的实施例中，可以提供承载依照上述特征所构码的比特流的网络元件和/或存储装置。
附图说明
为了更好地理解所描述的实施例并且为了示出它们如何可以被付诸实施，通过示例对附图进行参考，附图中：
图1是视频流的示意表示，
图2是通信系统的示意框图，
图3是构码视频流的示意表示，
图4是构码器的示意框图，
图5是解码器的示意框图，
图6是视频图像的变换块的示意表示，
图7是用于量化块的量化方案的示意表示，
图8是具有量化信息的变换块的示意表示，
图9是具有量化信息的变换块的另一示意表示，
图10是用于量化块的量化方案的另一示意表示，
图11是具有量化信息的变换块的另一示意表示，
图12是量化级别分布的示意表示，
图13是量化级别分布的另一示意表示，
图14是量化级别分布的另一示意表示，
图15是量化级别分布的另一示意表示，以及
图16是多方通信场景的示意表示。
具体实施方式
颜色深度指代用来表示颜色的比特的数目。颜色空间指代用于表示颜色的通道（例如，由RGB颜色空间中的红色通道（R）、绿色通道（G）以及蓝色通道（B）构成；或YUV颜色空间中的亮度通道（Y）和两个色度通道（U、V））的系统。给定颜色能够由颜色空间中的一组值表示，通道中的每一个对应一个值。每个值例如可能是来自相机的样本输入，或者从来自相机的输入得到的量化的、变换的或构码的样本。
还可能存在不同的格式以用于表达特定类型的颜色空间中的颜色。例如在YUV 4:4:4格式上，对于四个亮度样本Y的每个组存在四个色度样本U的对应组和四个色度样本V的另一对应组。另一方面在YUV 4:2:0格式上，对于四个亮度样本Y的每个组存在由一个U样本和一个V样本组成的两个色度样本的对应组，即色度值被块中的四个像素共享。
可以在用来表示特定颜色空间中的颜色的比特的总数、或用来表示颜色空间的特定通道的构成颜色值或样本的比特的数目方面考虑颜色深度。
如所提到的，数码相机往往捕获远高于在实践中典型地需要的高颜色深度的图像。例如，一些相机在每R通道、G通道以及B通道10或甚至12个比特的深度下捕获样本，从而在RGB空间中给出30至36个比特的总深度。人眼另一方面通常不能够区分这许多颜色。根据对人类视觉的研究，据估计典型人类仅能够感知大约2百万个不同颜色。那对应于大约20个比特（每通道6至7个比特）的总颜色深度。如果所捕获的数据将被构码以用于通过网络传送，则高颜色深度信息引发非常高的比特率以及构码方面的高处理负担。类似地，如果数据将被构码以用于存储，则高颜色深度引发大量存储器资源。
由于这个原因，出于视频构码的目的从相机捕获的原始图像数据常常被量化。这减少对视频进行构码所需要的比特的数目，例如减少待例如作为诸如视频VoIP（IP语音电话）呼叫这样的实况视频呼叫的一部分通过网络传送的比特流中所需要的比特率；或者减少将视频存储在存储器中所需要的比特的数目。
量化是取连续值并且将它转换成在离散步长的标度上表示的值的过程，或者在实践中因为所有数字输入数据在某个级别的粒度上是离散的，所以是将在更高粒度标度（使用更多比特表示）上表示的值转换为较低粒度标度（更粗糙，使用较少比特表示）的过程。量化的过程减少频域中的必要比特的数目，因为它遍及变换系数被应用（见下文）。在颜色值的情况下，这将包括将在较高深度标度上表示的值转换为较低深度标度的过程。例如，量化将描述从数码相机取近似地连续的10至12个比特输入样本并且将它转换为8比特值。
量化值在大小上较小并且所以需要较少比特来构码，以及在构码过程中需要较少的处理资源。牺牲是减少的颜色深度——即便当在解码器侧去量化时，也将在值或样本能够取的级别之间留下大步长。因此存在待在由构码所引发的资源与能够在解码时再次重建图像的准确性之间做出的权衡。
理想地，系统设计者将旨在实现使比特率最小化同时仍然不太导致对人眼可感知的失真的程度的量化。可替换地，如果资源是更有限的或预期为更有限的，则目标可以是以保留仍然可容忍的失真的方式使比特率最小化。
在常规量化过程中，每个值按特定因数按比例缩小，并且然后在解码器侧应用的去量化中再按该因数按比例扩大。
图1给出了从相机捕获并且划分成准备好由视频构码器构码以便生成构码比特流的部分的输入视频信号的示意图示。信号包括在时间上划分成多个帧（F）的运动视频图像，每个帧表示在不同的相应时刻（...t-1、t、t+1...）的图像。在每个帧内，帧被在空间上划分成各自表示多个像素的多个部分。这些部分例如可以被称为块。在某些方案中，帧被划分并且细分成不同级别的部分或块。例如可以将每个帧划分成宏块（MB）并且可以将每个宏块划分成块（b），例如每个块表示帧内的8x8个像素的区域并且每个宏块表示2x2个块（16x16个像素）的区域。在某些方案中，还能够将每个帧划分成各自包括多个宏块的切片（S）。
可以最初在空间域中表示输入信号中的块，其中每个通道的每一个被表示为块内的空间位置的函数，例如Y通道、U通道以及V通道中的每一个是笛卡尔坐标x和y（Y(x,y)、U(x,y)以及V(x,y)）的函数。这是更直观的表示，由此每个块或部分由在不同的空间坐标（例如，x和y坐标）处的一组像素值来表示，使得颜色空间的每个通道按在块内的特定位置处的特定值、在块内的另一位置处的另一值等等加以表示。
然而块可以被变换成变换域表示，作为构码过程的一部分，典型地为空间频域表示（为了简单有时仅仅被称为频域）。在频域中块按表示跨越块的每个颜色空间通道的变化（例如，跨越块的亮度Y以及两个色度U和V中的每一个的变化）的频率分量的系统加以表示。也就是说，对于每个通道，块在水平方向和垂直方向两者（或潜在地某个其它坐标）上包括跨越块的变化的一个特定频率的分量、跨越块的变化的另一频率的另一分量等等。系数表示组成块的不同频率分量的大小。
从数学角度讲，在频域中通道中的每一个（亮度通道和两个色度通道或类似物中的每一个）被表示为在给定方向上具有1/长度的维度的空间频率的函数。例如这能够由分别在水平方向和垂直方向上的波数kx和ky表示，使得通道可以被分别表达为Y(kx, ky)、U(kx, ky)和V(kx, ky)。块因此被变换为系数的集合，系数可以被认为表示不同空间频率项的振幅，不同空间频率项能够被认为组成了块。针对这样的变换的可能性包括离散余弦变换（DCT）、卡-洛变换（KLT）或其它变换。例如对于在块内的离散x坐标和y坐标处的MxN个像素的块，DCT将会将亮度Y(x,y)变换为一组频域系数Y(kx, ky)：
并且反之，能够根据遍及kx和ky合计的频域项的和来确定x和y表示Y(x,y)。因此能够将每个块表示为具有相应系数Y(kx, ky)的一个或多个不同的空间频率项的和（并且类似地针对U和V）。变换域可以被称为频域（在这种情况下是指空间频率）。
参考图6和图8，典型地每个块（b）的每个通道由DC系数和一组AC系数表示。对于每个通道（例如，Y、U以及V中的每一个）DC系数表示遍及块恒定的分量，典型地为平均值或其它这样的总量度；并且AC系数中的每一个表示频域中的对应频率分量的大小，其可以被数学上地表示为一系列周期性项中的对应项的振幅，例如如在以上等式中所示出的。例如图6和图8能够表示亮度系数Y（并且对于色度通道U和色度通道V中的每一个将存在另一组系数）。
在图6和图8中的每一个的顶上的图是包括频域中的特定通道的8x8个系数（例如Y系数）的示例块（b）的示意表示。如在图6的底部示意性地示出的，AC系数中的每一个然后表示来自相应频率在水平方向或垂直方向上的不同相应的周期性分量（例如，正弦）的分布（为了避免怀疑，注意在图6的底部的图中的每个条目是由该分量所贡献的遍及整个块的变化的微型示意表示——图6中的行和列不意指空间域中的x位置和y位置）。
例如所以在所示出的示例中，系数AC0,1是在水平方向上第一频率分量的振幅，系数AC0,2是在水平方向上第二频率分量的振幅等等，并且系数AC0,m是在水平方向上第m个频率分量的振幅；并且系数AC1,0是在垂直方向上第一频率分量的振幅，系数AC2,0是在垂直方向上第二频率分量的振幅等，以及系数ACn,0是在垂直方向上第n个频率分量的振幅；其中m是波数kx的索引并且n是波数ky的索引。在某个索引n和m处，系数ACn,m是分别在垂直方向和水平方向上具有第n个和第m个频率的分量的振幅。
这些系数中的每一个然后像先前所描述的那样按量化因数向下量化，在量化之前变换块的结果是在频域中许多系数将往往是小的并且量化为零或为小值，其能够被更高效地（采用较少比特）构码。
一些现有方案允许量化因数的矩阵被提供给解码器，其中矩阵中的每个条目对应于块中的特定频率分量。在每个块内，用于每个分量的系数因此按用于该分量的相应量化因数加以定标。
在图8的底部的图示出了针对8x8块的量化因数的示例矩阵。在量化中用于每个分量(kx, ky)的系数DC或ACm,n除以该分量的相应因数，并且然后在解码器侧每个因数am,n被用来乘回系数DC或ACm,n以便去量化。注意，当可以为不同频率分量供应不同因数时，对于给定频率分量(kx, ky)相同的因数am,n被用来针对多个块中的每一个来定标该分量的系数（不存在每块发送的一个矩阵）。
量化矩阵的使用允许感知上更相关的分量与比感知上不太相关（用较低颜色深度量化，即更严重的量化）的分量相比用更高颜色深度（更少量化）加以量化。
存在用于控制由构码所引发的资源（例如，比特率和处理器周期）与由于量化而经历的感知失真之间的平衡的另一范围。
即使在量化矩阵被发送到解码器的现有情况下，这也仍然仅使得能实现固定定标算法，即给定分量的所有不同可能的值仅按相同的乘数因数定标。这意味着针对该分量的量化步长仍然全部保持彼此成相同比例，即针对特定分量的量化步长仍然是均匀的（例如见图7）。
然而，均匀量化步长未必是期望的。
在现有系统中，量化箱（bin）大小分布是基于诸如视频中的运动的量或观众离屏幕的距离这样的参数而适配的。参数能够在给定视频信号的构码期间被确定并动态地更新，并且适当时可以被动态地反馈。这意味着量化器能够在不同的感知模型之间“飞速”切换。
然而，这仍然仅使得构码器和解码器能够在必须在解码器处被提前预先编程的相对少量的预定模型之间切换。
本发明的实施例提供了用于基于连同比特流一起被包括的那些级别的信息以非均匀方式适配颜色空间级别、从而允许更大灵活性以在相关情况下在某些分量中保存更多细节同时在其它不太相关分量中丧失细节的系统。
通过将量化级别的查找表包括在比特流中，本发明的实施例能够允许彼此成比例非均匀的量化级别，并且允许这些非均匀级别被以未必局限于少量预定模型的方式适配。
当面对什么颜色深度值得构码的问题时人类视觉未必是限制因数。替代地，在一些情形下在解码器侧的屏幕可能是更限制的因数，或至少是比较限制的因数。
一些监视器具有每通道8个比特的颜色深度，其给出与大约1700万个不同颜色相对应的24个比特的总颜色深度。这许多颜色超出大多数人类的感知，所以在这种情况下人类视觉在能够被感知到的颜色深度方面是限制因数。然而，诸如移动电话上的那些屏幕这样的一些其它类型的屏幕可能具有小得多的颜色深度，可能低至每通道5个比特，从而给出对应于刚好低于33,000个不同颜色的15个比特的总颜色深度。这远少于人类能够感知的颜色，所以在这种情况下屏幕在颜色深度而不是人类视觉的先天能力上是限制因数。其它监视器可能使用每通道6或7个比特，这给出和大多数人类能够感知的几乎相同数目的颜色。即使一些大屏幕HD（高清晰度）LCD监视器可能限于灰度以及对于观众仍然近似地可区分为离散级别的其它分量的级别。
进一步地，人类视觉不是线性的。例如，对于给定通道（例如Y、U或V）的给定频率分量，如果用256个不同级别量化和构码的分量被发送给观众，则（其它一切相等）观众可能仅能够区分像64个不同级别这样的东西，但是所感知到的级别将不全部是线性地隔开的。为了适应这个现象，LCD或LED矩阵显示屏幕的制造商将通常将屏幕的固有行为调谐为某一感知分布。也就是说，对于在任何给定通道上输入到屏幕的解码信号，将对屏幕进行调谐使得解码输入信号的步长（例如，相邻数字值之间的步长）的给定大小将取决于解码输入信号的值位于该信号的可能值的范围内哪里而在屏幕在该通道上的物理输出上产生不同大小的步长。例如，假设显示屏幕对于红色通道取8比特输入信号，从而给出256个可能的级别，则屏幕可以被设计使得所发射的红光的强度将在该信号的范围中间相对于8比特数字信号中的给定步长以更精细的步长变化，并且在强度上在范围的边缘处相对于输入信号中的相同大小步长的较粗糙步长以更粗糙的步长变化；以及类似地针对绿色通道和蓝色通道，或者潜在地针对另一颜色空间的通道。然而，不同的制造商将它们的显示器调谐为不同的感知分布。例如一些制造商更喜欢似乎对于平均观众而言更丰富多彩的调谐，但是一些其它制造商更喜欢更精细地着色的调谐。
因此存在是否基于例如每通道5、6或8个比特对视频进行构码的问题。能够选择任何深度，但是在构码比特流中保持更高颜色深度可能取决于在解码器侧的屏幕而最终浪费，然而在颜色深度上让步太多可能导致比在至少一些屏幕中所固有的失真更坏的可感知的量化失真。
本发明的实施例提供了用于适配在视频构码和解码期间使用的颜色级别的分布、从而使得能实现可用比特的更高效使用以使得无论什么颜色深度被选择也能够减少这个让步的感知影响的系统和方法。在构码器侧，级别根据解码器侧屏幕显示可区别颜色的能力被适配。
在实施例中，出于构码的目的视频被向下量化为每通道6个比特。6个比特这里指代可区别颜色的数目（或在亮度的情况下灰度的级别）而不指代动态范围。还注意，每个通道的颜色深度在本文中指代用来针对给定通道表示系数或分量的比特的数目，不是用来表示整个块的比特的数目。
许多当前的LCD、LED以及智能电话监视器使用每颜色通道6个比特来显示构码在所接收到的比特流中的每通道8比特。这个过程例如通过将8比特YUV转换为RGB565而完成。这是颜色数据在相机传感器与显示器之间的转换的第三级别——首先在10-12比特相机RGB被转换为标准8比特RGB（在大多数情况下）的拜尔模式级别下完成，然后RGB被转换为4:2:0 YUV（例如），然后被构码、传送并且解码，然后8比特YUV使用装置颜色特性被转换为RGB565。
在本发明的实施例中，这些颜色空间转换中的全部能够在处理初期通过去除对于显示器将不是必要的信息并且因此减少对于额外处理复杂性和比特率的需要一次完成。这例如在对等或其它VoIP通信中将是有用的。在多对一会议的情况下，具有最低显示比特深度的客户端可以形成基层和其余增强层。显示技术而非产品型号可以是这些差异的基础，因此用来支持甚至大型会议的必要层将相对小。
为了向下转换为六个比特而不是八个，在特定监视器处的级别可见性被主观地测量以便开发转换表。然后在数据采集步骤之后应用转换表。在传感器捕获之后，图像数据被转换为六个比特，同时跳过共同10-12比特拜尔RGB到8比特YUV转换，以便产生6比特YUV输出信号。
各种实施例不限于每通道6个比特的深度，并且存在重新定义具有减少比特深度的YUV颜色空间的数个可能性。取决于个别情况，一些示例定义是：YUV 555（总共15个比特）、YUV 655（总共16个比特）、YUV 665或YUV 656（总共17个比特）、YUV 666（总共18个比特）、YUV 766（总共19个比特）以及YUV 776或YUV 767（总共20个比特）；其中YUV 555将意味着Y个样本被各自截断为5个比特并且U和V具有每样本5个比特，以及YUV 655将意味着Y个样本被各自截断为6个比特并且U和V具有每样本5个比特等。
适配现有编解码器（codec）的量化表和量化参数（QP）因数，首先，当使用当前编解码器来处理流时将期望按比例缩小所对应的量化表和相应的QP因数；并且其次，数据可以留在右移的YUV 8比特空间中。例如00xxxxxx将表示通道Y、通道U或通道V的样本。这些值的范围将是在8比特情况下的四分之一。
无论什么转换被选择，在本发明的各种实施例中转换表在变换域中被应用于每个块的DC系数，并且该表被在构码的比特流中传送到解码器。
在本发明的另外的实施例中，量化还适合于针对AC系数的监视。这通过测量变换的不同频率分量在它们被显示在特定监视器上时的可见性、并且确定用于测量系数可见性的方法学来实现。
许多当前的LCD、LED以及智能手机监视器使用“抖动”来增强显示能力，但是这对变换AC系数可见性有负面影响。
现在将关于图2至图16更详细地讨论各种实施例。
在图2的框图中示意性地图示了依照一个或多个实施例的示例通信系统。通信系统包括第一传送终端12和第二接收终端22。例如，每个终端12、22可以包括移动电话或智能电话、平板、膝上型计算机、台式计算机，或诸如电视机、机顶盒、立体声系统等这样的其它家用器具中的一个。第一终端12和第二终端22被各自在操作上耦接到通信网络32，并且第一传送终端12从而被布置成传送将由第二接收终端22接收的信号。当然传送终端12可以还能够从接收终端22接收信号并且反之亦然，但是出于讨论的目的在本文中从第一终端12的角度对传送进行描述并且从第二终端22的角度对接收进行描述。通信网络32可以例如包括诸如广域互联网和/或局域网和/或移动蜂窝网络这样的基于分组的网络。
第一终端12包括诸如闪速存储器或其它电子存储器、磁存储装置和/或光学存储装置这样的有形计算机可读存储介质14。第一终端12还包括形式为具有一个或多个核的处理器或CPU的处理设备16；至少具有传送器18的诸如有线或无线调整解调器这样的收发器；以及可以或者可能未被收容在与终端12的其余部分相同的壳体内的视频相机15。存储介质14、视频相机15以及传送器18被各自在操作上耦接到处理设备16，并且传送器18经由有线或无线链路在操作上耦接到网络32。类似地，第二终端22包括诸如电子、磁和/或光学存储装置这样的有形计算机可读存储介质24；以及形式为具有一个或多个核的CPU的处理设备26。第二终端包括至少具有接收器28的诸如有线或无线调制解调器这样的收发器；以及可以或者可能未被收容在与终端22的其余部分相同的壳体内的屏幕25。第二终端的存储介质24、屏幕25以及接收器28被各自在操作上耦接到相应的处理设备26，并且接收器28经由有线或无线链路在操作上耦接到网络32。
第一终端12上的存储介质14至少存储被布置成在处理设备16上执行的视频构码器。当被执行时构码器从视频相机15接收“原始”（未构码的）输入视频流，对该视频流进行构码以便将它压缩成较低比特率流，并且输出经构码的视频流以用于经由传送器18和通信网络32传送到第二终端22的接收器28。第二终端22上的存储介质至少存储被布置成在它自己的处理设备26上执行的视频解码器。当被执行时解码器从接收器28接收经构码的视频流并且对它进行解码以用于输出到屏幕25。可以被用来指代构码器和/或解码器的通用术语是编解码器。
图3给出了如将从在传送终端12上运行的构码器发送到在接收终端22上运行的解码器的构码比特流33的示意表示。比特流33包括根据如将在下面更详细地讨论的本发明的实施例至少部分地量化的每个块的多个量化样本34。在一个应用中，比特流可以作为诸如VoIP呼叫这样的实况（实时）视频电话呼叫的一部分在传送终端12与接收终端22之间被传送（VoIP呼叫还能够包括视频）。
图4是示意性地图示了诸如可能被实现在传送终端12上的构码器的高级框图。构码器包括：离散余弦变换（DCT）模块51、量化器53、逆变换模块61、逆量化器63、帧内预测模块41、帧间预测模块43、开关47以及减法级（-）49。构码器还可以包括预处理级50。这些模块或级中的每一个可以作为存储在传送终端的存储介质14上并且布置用于在其处理设备16上执行的代码的一部分被实现，但是不排除这些中的一些或全部用专用硬件电路全部或部分地加以实现的可能性。
减法级49被布置成接收包括越过多个帧（F）的多个块（b）的输入视频信号的实例。可以直接从耦接到减法级49的输入端的相机15或从耦接在相机15与减法级49的输入端之间的预处理级50接收输入视频流。帧内预测或帧间预测基于根据另一已经构码的块或区域的预测来生成待构码的当前（目标）块的预测版本。预测版本被供应给减法级49的输入端，其中输入信号（即实际信号）减去它以产生表示块的预测版本与实际输入信号中的对应块之间的差的残差信号。
在帧内预测模式下，帧内预测41模块基于根据由帧间预测模块43预测的运动矢量偏移的同一帧中的另一已经构码的块的预测来生成待构码的当前（目标）块的预测版本（帧间预测还可以被称为运动预测）。当执行帧内构码时，构思是将仅对帧内的图像数据的一部分如何不同于该相同帧内的另一部分的量度进行构码和传送。然后能够在解码器处（考虑到要开始的某个绝对数据）预测该部分，并且所以仅有必要传送预测与实际数据之间的差而不是实际数据它本身。差信号在大小上典型地较小，所以取较少比特来构码。
在帧间预测模式下，帧间预测模块43基于根据与当前块不同的帧中的另一已经构码的区域的预测来生成待构码的当前（目标）块的预测版本。在这种情况下，帧间预测模块43通过开关47被切换到反馈路径中代替帧内预测级41，并且所以从而在一个帧和另一帧的块之间创建了反馈回路，以便相对于前面帧的那些对帧间帧进行构码。这典型地取比帧内帧甚至更少的比特来构码。
残差信号的样本（包括将输入信号减去预测之后的残差块）通过其中它们的残差值被转换成频域的变换（DCT）模块51被从减法级49输出，然后输出到其中经变换的值被转换为离散量化索引的量化器53。如由变换模块51和量化模块53所生成的残差的经量化、变换的索引34以及在预测模块41、43中使用的预测的指示和由帧间预测模块43所生成的任何运动矢量36被全部输出以用于包括在经构码器的视频流33中（见图3）；典型地经由诸如其中预测值被变换的熵构码器（未示出）这样的另一个无损构码级，可以使用本领域中已知的无损构码技术来进一步对量化索引进行压缩。
经量化变换的信号的实例还通过逆量化器63和逆变换模块61来反馈以生成块的预测版本（如将在解码器处看到的）以用于由所选择的预测模块41或43在预测待构码的后续块时使用。类似地，正被构码的当前目标块基于先前构码块的逆量化和逆变换版本而被预测。开关47被布置成将逆量化器63的输出传递给帧内预测模块41或帧间预测模块43的输入端，视用于当前正被构码的帧或块的构码的情况而定。
图5是示意性地图示了诸如可能被实现在接收终端22上的解码器的高级框图。解码器包括逆量化级83、逆DCT变换级81、开关70以及帧内预测级71和运动补偿级73。解码器还可以包括后处理级90。这些模块或级中的每一个可以作为存储在接收终端的存储介质24上并且布置用于在其处理设备26上执行的代码的一部分被实现，但是不排除这些中的一些或全部用专用硬件电路全部或部分地加以实现的可能性。
逆量化器81被布置成经由接收器28从构码器接收构码信号33。逆量化器81将构码信号中的量化索引转换成残差信号的去量化样本（包括块），并且将去量化样本传递给其中它们被从频域变换回为空间域的逆DCT模块81。开关70然后将经去量化的空间域残差样本传递给帧内预测模块71或帧间预测模块73，视用于正被解码的当前帧或块的预测模式的情况而定，其中帧内预测或帧间预测分别被用来（视情况使用在构码比特流33中接收到的预测的指示和/或任何运动矢量36）对块进行解码。经解码的块可以被直接输出到在接收终端22处的屏幕25，或者经由后处理级90输出到屏幕25。
本发明的实施例为量化提供改进的方法。在实施例中这可以在通过解码器的量化模块53的进一步量化之前作为预处理级50中的初始量化级被实现；或者在其它实施例中它可以作为被集成到构码器它本身的量化53中的过程或子模块60被实现。类似地，本发明的另外的实施例为去量化提供改进的方法，其在一些实施例中可以被实现在通过解码器的逆量化模块83的去量化的初始级之后的后处理级90中，或者在其它实施例中可以作为被集成到解码器它本身的逆量化83中的过程或子模块80被实现。
如所提到的，量化是将在更细致地定义的标度上表示的信号转换为在更粗糙地定义的标度上表示的信号（在这种情况下从较高颜色深度到较低颜色深度）的过程。注意在一些系统中，可能存在颜色深度的转换的数个级，其可以被认为是量化和去量化的数个级。在这种情况下，在解码器侧由一个级所输出的量化索引能够形成待由下一级进一步量化的输入颜色值，并且在解码器侧来自一个级的去量化的颜色值能够形成后续去量化器级的量化索引。被量化未必意指被最大地量化，并且被去量化未必意指被完全地去量化。量化是程度的问题，并且可以或者可能不存在数个不同的级。能够再次量化任何量化值，并且去量化值它本身能够表示用于进一步去量化的值。因此在说起信号、值或类似物被量化的情况下，这未必意指降至具有最低可能级别的粒度的标度，但是还可能指代粒度的减少。类似地，在说起量化信号、值或类似物被去量化的情况下，这未必意指多达完美连续标度或指代具有最高可能级别的粒度的标度，但是还可能意指回到更高粒度的标度上（但是具有保持在信号由于量化过程而能够在该标度上取的值之间的粗步长）。
DCT模块51（或其它适合的变换）的输出是对于每个帧包括多个变换块的变换残差信号。
编解码器定义用于表示每个颜色通道上的块的一组频域分量的形式或结构。相同视频流中的多个块将共享相同的形式或结构。在块的任何给定实例中，该形式的每个分量由用于该分量的相应系数（表示来自谈论中的特定块中的该分量的贡献的大小（例如振幅））实例化。也就是说，对于所查看的图像中的每个块，在它的数字表示方面存在用于正被使用的颜色空间的每个通道的频域分量的集合，例如Y通道分量的集合、U通道分量的集合以及V通道分量的集合；并且在待构码的块的任何实际实例中，该块然后将包括表示该特定块的Y分量的大小的Y系数的集合、表示特定块的U分量的大小的U系数的集合以及表示该块的V分量的大小的V系数的集合。一般地系数的集合对于不同块将是不同的。
图6示意性地图示了针对给定块的颜色空间的特定通道的频域分量的示例集合。
典型地频域分量包括表示针对块的Y、U或V的平均值或总值的DC分量，以及表示在不同空间频率处的这些值的变化的多个AC分量。
每个块的每个颜色通道中的DC系数和AC系数中的每一个然后将由在构码器侧的量化器53量化，以便在解码器侧被去量化回到原始标度上（但是保持在实际可能的值之间的粗步长由于量化过程和去量化过程而在该标度上取值）。
在所示出的示例中存在8x8个系数，例如表示像素的8x8块的变换版本的8x8个亮度（Y）系数。
注意，尽管亮度它本身是强度的量度，并且单独仅表示从黑色到白色的灰度的级别，但是在本上下文中亮度值在它有助于着色图像的颜色空间表示的意义上可以被认为是颜色值（例如，在没有亮度的情况下不可能表示暗蓝色和亮蓝色）。亮度是YUV颜色空间的通道。
如在图7中通过示例所图示的，在常规量化器中，这通过在构码器侧将每个系数除以量化因数（a）并且舍入为最近整数、以及然后在解码器侧乘回量化因数（a）来实现。例如，在图7的左手侧示出了具有从-127到+127的255个可能级别的8比特标度（其中8个比特包括用来指示正或负的1比特标志）。如果这个被向下量化为4比特标度，则这意指向下除以16的因数（这里出于说明性目的示出了4比特标度，这是可能的，但是在某些情况下的更现实示例可能是被向下量化为5或6比特标度）。因此在这个示例中，具有落在0与7之间的大小的未量化标度上的任何值在除以量化因数a=16时将减少为小于0.5，并且因此在量化标度上被量化为零。类似地，具有8与23之间的大小的未量化标度上的任何值在向下除以因数a=16时将在0.5与1.5之间并且因此在量化标度上量化为1，具有8与23之间的大小的未量化标度上的任何值在向下除以因数a=16时将在1.5与2.5之间并且因此在量化标度上量化为2等等。在解码器侧，任何0值在去量化标度上将仍然是零，任何量化值1在去量化标度上将被去量化为1x16 = 16，任何量化值2将被去量化为2x32等等。
参考图8，在一些现有系统中给解码器侧提供包括用于量化和去量化块格式的每个频域分量(ky, kx)的单独因数an,m的量化矩阵是可能的，其中m和n分别是频率分量在x方向和y方向上的索引。每个块的系数DC、ACn,m被逐元素除以量化矩阵的相应元素，并且然后每个被舍入为最近整数。注意，当可以为不同的频率分量供应不同的因数时，对于给定频率分量(ky, kx)相同的因数am,n被用来针对多个块中的每一个来定标该分量的对应系数DC或ACm,n（不存在每块发送的一个矩阵）。所以在构码器侧的量化中，多个块中的每一个的DC系数除以固定因数a0,0，并且多个块中的每一个中在x方向上的第一分量(k0, k1)的AC系数AC0,1除以a0,1等。矩阵还被提供给解码器侧，使得多个块中的每一个中的DC系数往回乘以a0,0，多个块中的每一个中在x方向上的第一分量的系数AC0,1乘以a0,1等。
然而，这仍然仅使得能实现针对任何给定分量即具有均匀步长的固定线性定标。
在本发明的实施例中，代替用于每个分量的固定因数，为块格式的分量中的至少一个提供了将量化标度的每个可能的级别映射到不同相应的去量化级别的查找表。该查找表能够在所传送的比特流中（在实施例中作为连同构码样本34和任何预测指示符或运动矢量36一起构码到构码比特流中（例如，与构码比特流的其余部分联结并且由熵构码器级（未示出）一起构码）的元素38）被发送到解码器侧。例如再次参考图3的示意表示。可以经由传送器18和接收器28（例如，通过诸如像互联网这样的广域互连网络的基于分组的网络，或通过像3GPP网络这样的基于分组的移动蜂窝网络）将包括查找表的比特流从在传送设备12上运行的构码器传送到在接收设备22上运行的解码器。在解码器侧，查找表然后能够被用来去量化多个块中的每一个中的相关分量的系数。在实施例中，这个量化技术被用来量化和去量化DC分量的系数。
示例被示意性地图示在图9中。这里能够可选地仍然针对AC分量中的每一个发送更常规的定标因数an,m，但是对于DC分量，查找表（LUT）被发送到解码器。查找表通过对照每个可能的量化索引在表中指定相应的任意可定义的去量化级别来将去量化级别L映射到量化索引（即量化级别）。例如在正被量化为4比特标度的8比特标度上的值的示例中，如果例如量化索引能够取从-7到+7的任何值（4个比特包括用于正或负的1比特标志），则查找表将在分别映射到七个量化索引的未量化标度和去量化标度上包括十五个任意可定义的级别L0...L15。再次，5或6个比特的量化标度在某些情形下可能是更合理的，但是这里出于说明性目的示出了4个比特，并且作为可能的实施方式未被排除。
图10给出了针对依照本发明的实施例的特定通道的特定分量（例如Y通道的DC分量）的一个示例的量化级别的示意图示。如所示，在构码器侧，量化器可以被配置成确定待量化的值（例如特定块的DC系数）在未量化标度上最接近于查找表的去量化级别L中的哪一个。在图10的左手侧示出了这个的示例。量化器然后通过查找表将未量化值转换为被映射到该级别的相应对应的量化索引（量化值）。这针对多个块中的每一个的一个或多个相关分量的系数（例如DC系数）而完成。可以在并入在解码器的量化53内的子模块60中实现这个过程。量化索引34然后被发送以被包括在构码比特流中，并且还经由反向级61和反向级63被迂回地馈送给帧间预测编码模块41或帧内预测编码模块43以生成任何需要的预测的指示和任何需要的运动矢量36，同样以用于包括在比特流中。这些元素34、36连同在实施例中经由诸如熵构码器这样的另一个无损构码级一起构码到同一构码比特流中的查找表LUT 38的实例一起被包括在比特流中。
替代方案用于待在预处理级50中构码之前应用的量化。
在解码器侧，去量化器83、80或90使用从构码器侧接收到的查找表来将所接收到的给定分量的索引（例如，多个块中的DC系数）转换为如通过查找表映射到那些索引的可能值的去量化标度上的去量化级别L。能够在并入在解码器中的去量化器83内的子模块80中或在后处理级90中实现这个过程。
能够将查找表中的量化级别L设定在由系统设计者所期望的任何级别上。因此查找表意味着量化不限于级别之间的均匀间距，而是能够替代地被用来定义任何分布，并且所以这在定义量化分布时允许更大灵活性，以便为通道的给定分量分配将具有更大意义的标度的更细致地彼此隔开的区域，以及将具有更少意义的标度的区域中的更粗糙地彼此隔开的级别。
将量化级别映射到去量化级别的等同方式用于查找表指定箱之间的边界。在这种情况下，在构码器侧量化器确定待量化的值将落在去量化标度上的哪两个箱边界之间，并且通过查找表将该值转换为映射到相应箱的量化索引。在解码器侧由查找表映射的去量化级别然后通过在箱边界之间进行插值（例如取它们之间的中值）而被找到。
注意，同一查找表被用来量化和去量化用于多个块中的每一个中的同一分量的系数（不存在每块发送的一个新的查找表）。在实施例中，查找表被用来量化和去量化多个块中的每一个中的DC分量的系数。
还注意，通常期望具有量化为零的显著大小的箱，因为在频域中许多感知上微不足道的分量将被量化为零并且块将仅具有非常少的非零分量。这需要较少比特来构码并且因此对于某一感知质量在比特率方面更高效。在实现查找表的一些可能的方式，零级别可能是隐式的，而不是在查找表中被显式地指定（即，量化器和去量化器两者将假定量化索引零映射到去量化级别零）。
根据本发明的某些实施例，在构码器侧查找表基于将通过其查看解码视频的屏幕（例如屏幕25）的指示而被确定。可以例如经由基于分组的网络32将指示从接收终端22发送到传送终端12。例如见图3中所指示的反馈信号35。可替换地指示能够被以另一方式提供给构码器侧，例如由用户手动地键入。
以这种方式，查找表可以适合于解码器的屏幕。这可以被用来使解码器适于制造商已将它们的特定屏幕调谐到的量化级别分布。通过针对构码比特流中的给定比特预算做这个，可能在特定屏幕已被调谐为更敏感的光谱的区域中花费较多比特（较大颜色深度），同时需要在特定制造商的屏幕已被调谐为不太敏感（并且因此构码信号中的颜色深度将被浪费太高）的光谱的区域中花费较少比特（较低颜色深度）。
在实施例中，从接收终端22反馈的屏幕的指示可以是诸如模型的序列号这样的特定类型或型号的屏幕的标识符。注意，屏幕的序列号或标识符未必与屏幕被收容在其中的构件或单元的序列号或标识符相同。常常像电视机和移动电话这样的用户设备的不同制造商可以例如从LED或LCD屏幕的同一制造商寻找单元的实际显示屏幕组件的来源。相关因数通常是所制造的屏幕而不是收容其的单元（但是不排除不同单元而不是屏幕的不同制造商将不同地调谐它们的屏幕）。
在构码器侧的量化器53、60或50可以通过从预定表的合集之中选择查找表来确定它。例如，可以为每个可能的屏幕标识符或每组屏幕标识符（例如为每个可能的序列号或每组序列号）提供不同的查找表，并且量化器可以被配置成选择适于从接收设备22所指示的标识符的查找表。
在实施例中，量化器53、60或50被配置成可在至少两个不同的模式下操作。在操作的第一模式下，基于解码器侧屏幕25的指示使用上面所讨论的查找表技术来执行量化。在操作的第二模式下，替代地，基于人类对不同的频域分量的感知灵敏度的量度执行量化。
人类视觉典型地在不同程度上对不同的频域分量敏感。能够凭经验地确定并且通过将小改变显示给一组人类志愿者以及针对颜色空间的每个通道的不同分量来测量“仅仅显著差异”（JND度量）来量化这个信息。这给出关于人类能够针对不同频率分量检测到的强度方面的不同大小步长的信息。这样的信息可以被称为感知模型，并且能够被预先存储在构码器和解码器处以用于在量化和去量化中使用。因此在第二模式下，量化被执行来使得人类更敏感的频域分量被量化以较高颜色深度（在使用更多比特的量化标度上，具有更多可能的量化级别），同时人类不太敏感的频域分量被量化以较低颜色深度（在使用较少比特的量化标度上，具有较少可能的量化级别）。用于给定频域分量的量化级别或步长的隔开同样不必是均匀地隔开的，并且这个信息还能够作为感知模型的一部分被凭经验地测试和量化。能够根据预先存储的凭经验地得到的感知模型来确定在这样的量化中使用的因数或级别。
在实施例中，可以将模式的指示从传送设备12发送到接收设备22，使得去量化器知道要使用哪一个对应的去量化模式。在第二模式下，要么存在被假定为在构码器侧和解码器侧两者处使用的仅一个感知模型，要么否则能够从构码器发送另一个指示来参考预先存储在解码器侧以用于在去量化中使用的一小组可能的感知模型中的一个。
可以依赖屏幕的性质或人类感知系统的天生能力是否很可能是关于什么颜色深度值得构码的限制因数来选择模式。
这能够通过在构码器侧针对块中的一个或多个运行两个量化模型（即第一模式的基于屏幕的量化和第二模式的基于感知模型的量化）、然后对一个或多个块中的每一个应用感知失真的适合度量并且比较由两个方法所实现的结果而完成。量化感知失真的度量典型地测量量化和去量化块和原始块之间的差异（或相反地相似性）。无论哪个导致比特率与失真之间的最佳权衡，起将被选择用于块的实际量化。可以对所有块或宏块做测试以为每个块或宏块选择相应的模式，或者针对一个或一些块或宏块所获得的结果能够被用来为大量的块选择量化模式。比特率与失真之间的确切加权对于设计选择来说将是问题（取决于特定系统设计者准备容忍什么比特率和失真）。例如，一个人可以定义惩罚比特率和失真两者的权衡量度，可选地采用相对加权W，例如相似性——Wx（引发的比特）或相似性/（引发的比特），并且看哪一个在两个模式下进展最好。这个关系的形式和任何加权因数是取决于所讨论的系统的设计选择的问题，并且可以例如通过试验不同的模拟来确定。还可以引入某些其它预告，使得可能不允许所需比特超过某个比特预算，和/或可能不允许失真超过某个最坏情况。
用于定量地测量感知失真的示例度量是DVQ（数字视频质量）度量。
用于量化感知失真的其它适合的度量也为本领域的技术人员所知。例如，另一示例是测量量化和去量化块与原始块的协方差的结构相似性指数度量（SSIM）。更简单的度量包括量化和去量化块与原始块之间的均方根误差（RMSE）、量化和去量化块与原始块之间的平均绝对差、以及量化和去量化块与原始块之间的峰值信号与噪声比（PSNR）。
另一示例度量是基于沃森DVQ类型方法和SSIM的组合的。
作为替代方案，可以手动地选择模式。例如，传送终端12的用户能够设定指定一个模式或另一个模式的用户设定（例如，因为他们发现一个处理更快或者引发较少的上行链路带宽），或者接收终端22的用户能够设定被传送回到传送终端12的用户设定（例如，因为在接收终端22的查看用户将一个模式或另一个模式感知成给出更少失真）。
根据上面描述的实施例中的任一个，基于传送的查找表的量化方案允许量化级别的几乎任何分布针对块的一个或多个给定分量被定义。
然而在一些系统中，针对每个分量发送查找表可能不实际或期望的，因为这将引发相对较高的比特率开销。另一方面，仅仅使用量化矩阵的固定定标因数可能是过分限制性的。
根据本发明的另外的实施例，对于块格式的分量中的至少一个在量化级别分布中提供了一个或多个特征点。可以为AC分量中的一个、一些或全部提供这个。能够发送以这种方式量化的每个AC分量的不同分布，或者在其它实施例中，AC分量中的一些或全部能够共享共同的量化分布。
示例被示意性地图示在图11中。这里，对于多个AC分量中的每一个ACn,m提供了一个或多个特征点p n,m 0至p n,m 1-1的相应集合P n,m，其中l是相应集合中的点的数目，其至少是一但是少于量化级别的数目（即量化标度上的量化级别或量化索引的数目，其还与未量化标度上的量化箱的数目以及值能够在去量化标度上取的可能的去量化级别的数目相同）。给定集合P n,m的特征点在解码器侧被用来例如通过拟合所接收到的点的分布或者在点之间进行插值来重建量化级别分布以用于遍及多个块去量化相应对应的分量ACn,m的接收值。
图12给出了针对依照本发明的实施例的特定通道的特定分量（例如Y通道的AC分量）的一个示例的重建量化级别分布的示意图示。
在构码器侧，量化器53、60或50确定用于量化特定频域分量的系数的量化级别分布。也就是说，对于量化标度（例如相邻量化索引）上的量化值中的每个固定大小的步长，分布在未量化标度和去量化标度上定义相应大小的步长，其中未量化标度和去量化标度上的步长未必均匀并且它们中的至少一些可以彼此不同。这意味着未量化标度和去量化标度的某些区域对于量化值中的给定步长将具有更精细的步长，然而其它区域将具有较粗糙的步长。
例如，分布可以近似三次方程、二次方程或多项式，例如具有至少幂5的项。可以更细致地定义在大小的中间范围内的步长，即所以量化级别在零附近并且在大小的极端处是粗糙的。如果量化索引（量化值）能够定义正值和负值，则具有提升至幂5的项的二次方程可以被用来对这个进行建模。例如这可能看起来像图12（但是图12仅是示意的）。如果量化索引能够仅定义大小，则分布能够被建模为三次方程。然而，视系统设计（例如对数形式）的情况而定，其它模型是可能的。
基于分布，量化器53、60或50确定在图12中作为点示出的一个或多个特征点p的集合P。例如特征点可以是分布的拐点（但是还能够使用替代或附加点）。对于待根据这个方案量化的每个分量或每组分量，量化器53、60或50然后在所传送的比特流中将这些作为元素39发送到解码器侧（再次参考图3）以用于在一个或多个该分量的去量化中使用。点的集合可以经由诸如熵构码器（未示出）这样的另一个无损构码级连同量化样本34以及所使用的预测的任何指示和/或运动矢量36一起被构码到构码比特流中。
在解码器侧，去量化器83、80或90使用所接收到的点来重建量化级别分布，并且因此根据重建分布来去量化一个或多个相应分量的系数。能够通过拟合二次方程式（例如如图12中示意性地示出的）完成这个重建。在二次拟合或多项式拟合的情况下，在实施例中这可以例如作为平滑拟合或分段拟合而完成。分段拟合首先对于曲线的不同段使用不同的二次方程式，例如每对点之间的不同拟合。
图13示出了点之间的直线插值被用来重建分布而不是拟合二次或其它平滑形式的分布的替代方案。
注意在实施例中，对于给定频率分量(ky, kx)，表示相同分布的特征点的相同集合P n,m被用来针对多个块中的每一个来量化和去量化该分量的系数ACm,n（不存在表示针对每个块发送的新的分布的点的一个集合）。特征点的相同集合还能够被用于块的多个不同的分量，或者每个分量能够被分配它自己的分布。可以通过其它手段（例如查找表或固定定标因数）来量化一些分量。
还注意，除此之外，零可能是在重建分布时使用的隐式点。标度上的最高点还可能是隐式点，和/或负最低点可能是隐式的。这可以帮助减少需要被从构码器侧发送的点的数目。进一步地，尽管一般地，分布的负侧不必与正侧对称，但是它将常常趋于是至少类似的并且所以往往减少需要被发送的点的数目，然后在实施例中去量化器可以被配置成从正侧镜像负侧，或者反之亦然。再次，这节约了需要被从构码器侧向解码器侧发送的点的数目，并且因此节约了比特率。
这样的选项的示例被图示在图14和图15中，图14和图15仅使用从构码器侧向解码器侧发送的一个显式点。在这个示例中，量化索引（量化值）零对应于去量化级别零的事实被在构码器侧的量化器和在解码器侧的去量化器两者假定为隐式的，并且因此这给出一个额外的隐式点。进一步地，最高量化索引对应于某个预定最高的去量化级别的事实、以及最低负量化索引对应于某个预定最低的去量化负级别的事实被在构码器侧的量化器和在解码器侧的去量化器两者假定为隐式的，从而又给出两个隐式点。并且，再考虑一个点，来自正象限的显式点能够被镜像到负象限中。然后能够根据显式和隐式点的集合对分布进行拟合（图14）或插值（图15）。然而，根据本发明的这样的实施例将存在至少一个显式点。出于图示，在图14中还示出了不同形状的拟合曲线，例如镜像对数分布，和图12的二次分布形成对比。
与借助于如上面所讨论的查找表来指定分布的方案类似，可以基于将在接收侧通过其查看视频的屏幕25的指示来适配借助于点的较小集合来表征量化分布的方案。类似教导可能适用：指示可以从接收设备22被接收或者由用户输入；所选择的分布（和用来表示它的所对应的特征点）可以被预先存储在构码器侧和解码器侧以用于分别由量化器和去量化器使用，并且量化器可以基于指示从一小组预定分布之中选择；并且这个可以被用来使分布适于特定制造商的一个屏幕模型或一组屏幕模型的调谐。
能够单独地或相结合地使用基于（i）指定分布的查找表和（ii）用于重建分布的特征点的集合的上面描述的方案。在实施例中，全查找表被用来量化和去量化DC分量，然而一个或多个量化级别分布的特征点的较小集合被用来量化和去量化多个AC系数，其中LUT 38和特征点39全部在所传送的比特流中被从构码器发送到解码器，在实施例中通过熵构码器或类似物连同其它元素34、36一起构码到比特流中。
进一步地，还能够在上面所描述的操作的第一模式下使用待从特征点重建的分布，其中量化器在第一模式与其中替代地基于人类感知的模型执行量化的第二模式之间选择。第一模式能够单独地或相结合地使用基于（i）为频域分量中的至少一个指定分布的查找表、和/或（ii）用于为频域分量中的一个或多个重建分布的特征点的集合的方案中的任何一个或两个。例如，在实施例中第一模式对于DC分量使用全查找表而特征点的较小集合被用于AC分量。在实施例中，能够以上面所描述的相同方式选择模式，但是包括在确定感知失真的度量（测量量化和去量化块与原始块之间的差，或相反地相似性）时基于重建分布而去量化的效果。可替换地能够手动地（例如通过用户设定）选择模式，再次如上面所讨论的那样。
能够在用于组播的分层编码技术等场景中利用各种实施例。
图16给出了传送终端12（传送节点）分别将视频流的不同实例33a、33b、33c传送到多个接收终端22a、22b以及22c（接收节点）中的每一个的高级示意表示。发送到每个接收节点22a...22c的流的实例包括相同的用户内容，例如来自同一网络摄像头的视频呼叫或相同的电影、节目、音乐视频、视频日记或类似物，但是不同实例中的至少一个被构码为流的较低比特率版本，同时不同实例中的至少另一个被构码为流的较高比特率实例。例如，假设从传送节点12到第一接收节点22a的第一流33a是流的低比特率实例，从传送节点12到第二接收节点22b的第二流33b是流的较高比特率实例，并且从传送节点12到第三接收节点22c的第三流33c是流的另一较高比特率实例。
这能够通过在传送节点12上的构码器处生成形成低比特率流并且被发送到所有接收者（例如，到节点22a、节点22b以及节点22c）的构码视频比特流的基层；以及能够被独立地发送到不同的接收者（例如，到节点22b和/或节点22c）的构码的一个或多个附加层来实现。接收两个层的接收器22b或接收器22c因此能够再造具有较少失真的视频图像，但是以接收器的下行链路上的更高比特率和处理资源为代价。另一方面仅接收基层的接收器22a将仅能够再造具有更多失真的视频图像的版本，但是将在该接收器的下行链路和处理资源上引发较少负担。分层编码后面的基本构思将为本领域的技术人员所熟悉。
在本发明的一个应用中，能够由具有均匀量化步长、具有低颜色深度（例如，向下量化为每通道5个比特）的更常规的线性量化方案来创建基层。构码器然后可以确定表示原始信号与经构码和解码的基层之间的差异的残差信号的第二级别。然后能够在诸如每通道6或7个比特这样的相对高的颜色深度情况下使用如上面所描述的根据本发明的实施例的非均匀量化方案中的一个或多个对残差信号的这个第二层进行构码。能够将经构码的基层发送到一个接收者（例如节点22a），然而基层和第二层构码残差被发送到另一接收者，例如节点22b。
可替换地，能够由根据本发明的实施例的量化方案中的一个或多个、但是在诸如每通道5或6个比特这样的相对低的颜色深度情况下创建基层。然后可以用更常规的固定或均匀量化方案但是在较高颜色深度（例如，每通道8个比特）情况下对残差的第二层进行构码。在另一替代方案中，基层可以是基于低颜色深度（例如每通道5个比特）的均匀量化；然而残差的第二层基于根据本发明的实施例的方案以中等颜色深度（例如每通道6或7个比特）被构码，并且能够用诸如每通道8个比特这样的均匀但是较高颜色深度量化对第三层残差进行构码。在另一替代方案中，根据本发明的实施例的量化方案能够被用来对分层编码的两个或不同层进行构码，但是对于不同的层使用不同的颜色深度，并且对于不同的层使用不同的分布。注意在实施例中，使用根据本发明的实施例的方案构码的层每通道不必具有相同的颜色深度，例如它能够使用6个比特来表示Y通道上的分量，但是仅使用5个比特来表示U通道和V通道上的每个分量；或者在RGB空间中类似地。
在实施例中，发送到特定接收者的层可以变得依赖接收者的屏幕25的指示，例如沿着上面所讨论的线路从接收终端22接收到的同一指示35。例如，分层编码的仅基层或仅低层可以被发送到将不受益于较高构码深度的具有低颜色深度屏幕25的一个或多个接收者22a，同时可以附加地将一个或多个较高层发送到将受益于较高深度的具有较高颜色深度屏幕25的一个或多个接收者22b和/或22c。哪些层要发送的选择还可能依赖其它因数，诸如接收者22的下行链路带宽和/或处理资源。
然而，各种实施例决不限于分层编码中的应用，并且还应用于到单个接收者的非分层单个流或到多个接收者的非分层流，沿着关于图4和图5早先讨论的线路对仅仅原始块与帧间或帧内预测块之间的残差进行构码。
应当了解，已经仅通过示例描述了上述实施例。例如能够在任何颜色空间（无论RGB、YUV或另外的）中实现各种实施例。它能够被用来从任何较高颜色深度转换到任何较低颜色深度，并且可以存在任何数目的不同量化级。进一步地，如所说明的，各种实施例能够作为构码器或解码器的固有部分被实现，例如作为对H.264标准或H.265标准的更新或作为预处理级和后处理级（例如，作为对H.264标准或H.265标准的附加）并入。进一步地，虽然已经在来表示块的DC分量的量化的查找表以及来表示块的AC分量的量化的分布的特征点的集合方面描述了上文，但是这些技术中的任何一个能够被用于量化和去量化一个或多个块的任何一个或多个分量。实际上，各种实施例不具体地局限于基于DC系数和多个AC分量的表示，也不不局限于DCT变换甚至不局限于量化空间频域变换的分量，但是在其它应用中能够在变换之前被用在空间域中或者用于没有变换的构码，或者能够被应用在诸如卡-洛变换（KLT）变换或时间频域变换这样的不同变换域中。进一步地，各种实施例不限于VoIP通信或通过任何特定种类的网络的通信，而是能够被用在能够传送数字数据的任何网络中，或在用于将构码数据存储在存储介质上的系统中。
一般地，本文中所描述的功能中的任一个都能够使用软件、固件、硬件（例如，固定逻辑电路）或这些实施方式的组合来实现。如本文中所使用的术语“模块”、“功能性”、“组件”以及“逻辑”一般地表示软件、固件、硬件或其组合。在软件实施方式的情况下，模块、功能性或逻辑表示当在处理器（例如，一个或多个CPU）上执行时执行指定任务的程序代码。程序代码能够被存储在一个或多个计算机可读存储器装置中。在下面所描述的技术的特征是平台无关的，意味着技术可以被实现在具有各种处理器的各种商业计算平台上。
例如，用户终端还可以包括使用户终端的硬件执行操作（例如，处理器功能块）等等的实体（例如软件）。例如，用户终端可以包括可以被配置成维持指令的计算机可读介质，所述指令使用户终端并且更特别地使用户终端的操作系统和相关联的硬件执行操作。因此，指令作用来将操作系统和相关联的硬件配置成执行操作并且以这种方式导致操作操作系统和相关联的硬件的变换以执行功能。指令可以由计算机可读介质通过各种不同的配置提供给用户终端。
计算机可读介质的一个这样的配置是信号承载介质，并且因此被配置成诸如经由网络将指令（例如作为载波）传送到计算装置。计算机可读介质还可以被配置为计算机可读存储介质并且因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器（RAM）、只读存储器（ROM）、光盘、闪速存储器、硬盘存储器以及可以使用磁、光学和其它技术来存储指令和其它数据的其它存储装置。
尽管已经用特定于结构特征和/或方法学行为的语言对本主题进行了描述，但是应当理解，所附权利要求中所限定的主题未必限于上面所描述的特定特征或行为。相反，上面所描述的特定特征和行为作为实现权利要求的示例形式被公开。

Claims (10)

1.一种接收设备，其包括：
接收器，其被配置成从构码器接收视频比特流，所述比特流包括各自具有表示颜色空间中的通道的多个分量的共同形式的多个构码图像部分，其中多个所述构码图像部分中的每一个包括所述分量的量化值的不同集合，所述量化值至少包括从量化级别的第一方案之中量化的所述分量中的第一分量的值，并且其中从所述构码器接收到的所述比特流进一步包括查找表，所述查找表将所述第一方案的量化级别映射到被至少部分地进行了去量化的相应级别；以及
去量化器，其在操作上耦接到所述接收器，并且被配置成使用接收到的来自所述构码器的所述比特流中的所述查找表来通过将所述第一分量的量化值转换为与所述第一方案的被至少部分地进行了去量化的级别中的级别相对应的被至少部分地进行了去量化的值来对多个所述图像部分中的所述第一分量的不同量化值至少部分地进行去量化；
其中所述接收设备被配置成基于通过所述去量化器的所述转换将视频图像输出到屏幕。
2.根据权利要求1所述的接收设备，其中所述分量包括空间频域表示的分量。
3.根据权利要求1或2所述的接收设备，其中：
所述形式表示空间频域表示的DC分量和多个AC分量，并且每个图像部分的量化值的相应集合包括用于所述DC分量的量化DC系数和用于所述AC分量的多个量化AC系数，所述第一分量包括所述DC分量，用于所述第一分量的所述量化值包括所述量化DC系数，并且所述量化DC系数是从所述第一方案的级别之中量化的；
所述去量化器被配置成使用接收到的来自所述构码器的所述比特流中的所述查找表来通过将所述量化DC系数转换为与所述第一方案的被至少部分地进行了去量化的级别中的级别相对应的被至少部分地进行了去量化的DC系数来对多个所述图像部分中的所述DC分量的不同量化系数进行至少部分地去量化。
4.根据权利要求1或2所述的接收设备，其中：
所述形式表示一个或多个第二分量，并且每个图像部分的量化值的集合包括根据第二方案量化的所述一个或多个第二分量的值；
对于所述形式的一个或多个第二分量中的每一个，从所述构码器接收到的所述比特流进一步包括根据所述第二方案的量化级别的相应分布中的一个或多个特征点相对于去量化级别的指示，但是每分布的点的数量比所述相应分布的量化级别的数量更少；并且
对于所述形式的一个或多个第二分量中的每一个，所述去量化器被配置成通过从所述点重建所述相应分布并且将所述第二分量的值转换为与所述相应重建分布的被至少部分地进行了去量化的级别中的级别相对应的被至少部分地进行了去量化的值、使用所述相应分布的点来对所述第二分量的不同量化值进行至少部分地去量化。
5.根据权利要求3所述的接收设备，其中：
对于所述形式的多个所述AC分量中的每一个，从所述构码器接收到的所述比特流进一步包括根据第二方案的量化级别的相应分布中的一个或多个特征点相对于去量化级别的指示，但是每分布的点的数量比所述第二方案的量化级别的数量更少；并且
对于所述多个AC分量中的每一个，所述去量化器被配置成通过从所述点重建所述分布并且将所述量化AC系数转换为与所述相应重建分布的被至少部分地进行了去量化的级别中的级别相对应的被至少部分地进行了去量化的AC系数、使用所述相应分布的点来对该分量的不同系数进行至少部分地去量化。
6.根据权利要求1所述的接收设备，其中所述去量化器被配置成在信号中将关于所述屏幕的指示发送到所述构码器以用于在所述构码器处确定所述查找表时使用。
7.一种其上具体化有代码的计算机可读介质，并且所述代码被配置以便当在处理设备上执行时执行以下步骤的操作：
从构码器接收视频比特流，所述比特流包括各自具有表示颜色空间中的通道的多个分量的共同形式的多个构码图像部分，其中多个所述构码图像部分中的每一个包括所述分量的量化值的不同集合，所述量化值至少包括从量化级别的第一方案之中量化的所述分量中的第一分量的值，并且其中从所述构码器接收到的所述比特流进一步包括查找表，所述查找表将所述第一方案的量化级别映射到被至少部分地进行了去量化的相应级别；
使用接收到的来自所述构码器的所述比特流中的所述查找表来通过将所述第一分量的量化值转换为与所述第一方案的被至少部分地进行了去量化的级别中的级别相对应的被至少部分地去量化的值来对多个所述图像部分中的所述第一分量的不同量化值进行至少部分地去量化；以及
基于所述转换将视频图像输出到屏幕。
8.一种传送设备，其包括：
输入端，其被配置成从视频相机接收视频信号；
构码器，其被配置成从所述视频信号生成比特流，所述比特流包括各自具有表示颜色空间中的通道的多个分量的共同形式的多个构码图像部分，其中多个所述构码图像部分中的每一个包括所述分量的量化值的不同集合，所述量化值至少包括从量化级别的第一方案之中量化的所述分量中的第一分量的值；
量化器，其被配置成生成所述量化值；以及
传送器，其被配置成将构码比特流传送到接收设备的解码器；
其中所述量化器被配置成接收关于所述接收设备的屏幕的指示，并且基于所述指示来确定查找表，所述查找表将所述第一方案的量化级别映射到被至少部分地进行了去量化的相应级别；并且
所述传送设备被配置成将所述查找表插入到所述比特流中以用于在所述接收设备处在被至少部分地进行了去量化的多个所述图像部分的所述第一分量的不同量化值时使用。
9.根据权利要求8所述的传送设备，其中所述量化器被配置成接收来自所述解码器的信号中关于所述屏幕的所述指示。
10.根据权利要求8或9所述的传送设备，其中所述量化器可在操作的至少两个模式下选择性地操作：操作的第一模式，其中所述量化器依照基于关于所述接收器的屏幕的所述指示而确定的所述查找表来生成所述量化值；以及操作的第二替代模式，其中所述量化值替代地根据与人类对所述图像部分中的所述分量的灵敏度的量度有关的量化级别分布被生成。
CN201380054152.3A 2012-10-16 2013-10-16 视频编码中的颜色自适应 Active CN104823447B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/653,245 US9445109B2 (en) 2012-10-16 2012-10-16 Color adaptation in video coding
US13/653245 2012-10-16
PCT/US2013/065150 WO2014062744A1 (en) 2012-10-16 2013-10-16 Color adaptation in video coding

Publications (2)

Publication Number Publication Date
CN104823447A CN104823447A (zh) 2015-08-05
CN104823447B true CN104823447B (zh) 2018-03-30

Family

ID=49517680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380054152.3A Active CN104823447B (zh) 2012-10-16 2013-10-16 视频编码中的颜色自适应

Country Status (4)

Country Link
US (1) US9445109B2 (zh)
EP (1) EP2888879B1 (zh)
CN (1) CN104823447B (zh)
WO (1) WO2014062744A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9978156B2 (en) * 2012-10-03 2018-05-22 Avago Technologies General Ip (Singapore) Pte. Ltd. High-throughput image and video compression
US20140105278A1 (en) * 2012-10-16 2014-04-17 Microsoft Corporation Color adaptation in video coding
US20160323579A1 (en) * 2014-03-19 2016-11-03 Nec Corporation Video encoding device, video encoding method, and video encoding program
US9936199B2 (en) * 2014-09-26 2018-04-03 Dolby Laboratories Licensing Corporation Encoding and decoding perceptually-quantized video content
US10893266B2 (en) * 2014-10-07 2021-01-12 Disney Enterprises, Inc. Method and system for optimizing bitrate selection
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10257526B2 (en) 2015-05-01 2019-04-09 Disney Enterprises, Inc. Perceptual color transformations for wide color gamut video coding
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
JP6700798B2 (ja) * 2016-01-13 2020-05-27 キヤノン株式会社 撮像装置及びその制御方法
WO2019189346A1 (ja) * 2018-03-30 2019-10-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11368693B2 (en) * 2019-07-01 2022-06-21 Sony Group Corporation Forward and inverse quantization for point cloud compression using look-up tables
US20230147376A1 (en) * 2019-10-14 2023-05-11 Google Llc Adaptive Quantization and Dead Zone Modulation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5426512A (en) * 1994-01-25 1995-06-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Image data compression having minimum perceptual error
CN101317463A (zh) * 2006-03-16 2008-12-03 华为技术有限公司 在编解码中的实现量化的方法和装置
CN101627635A (zh) * 2007-02-21 2010-01-13 高通股份有限公司 三维视频编码
CN102595131A (zh) * 2004-06-18 2012-07-18 汤姆逊许可公司 用于对图像块的视频信号数据进行编码的编码器

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100243430B1 (ko) 1997-12-31 2000-02-01 구자홍 적응형 양자화 제어방법
US6546049B1 (en) 1998-10-05 2003-04-08 Sarnoff Corporation Parameterized quantization matrix adaptation for video encoding
US6411740B1 (en) * 1998-11-04 2002-06-25 Sharp Laboratories Of America, Incorporated Method for non-uniform quantization in a resolution hierarchy by use of a nonlinearity
US7417640B1 (en) 1999-01-29 2008-08-26 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
KR100422697B1 (ko) 1999-12-27 2004-03-12 엘지전자 주식회사 색공간 양자화 묘사자
US6895050B2 (en) * 2001-04-19 2005-05-17 Jungwoo Lee Apparatus and method for allocating bits temporaly between frames in a coding system
WO2004066608A2 (en) * 2003-01-21 2004-08-05 Sharp Laboratories Of America, Inc. Image compression using a color visual model
US7272557B2 (en) 2003-05-01 2007-09-18 Microsoft Corporation Method and apparatus for quantizing model parameters
US20040234140A1 (en) * 2003-05-19 2004-11-25 Shunichiro Nonaka Apparatus and method for moving image conversion, apparatus and method for moving image transmission, and programs therefor
JP4343626B2 (ja) 2003-09-02 2009-10-14 キヤノン株式会社 画像通信制御方法、画像通信制御プログラム、および画像通信装置
EP1569458A1 (en) 2004-02-12 2005-08-31 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images based on a non-linear quantization
JP4273996B2 (ja) 2004-02-23 2009-06-03 ソニー株式会社 画像符号化装置及び方法、並びに画像復号装置及び方法
US7984179B1 (en) * 2004-06-29 2011-07-19 Sextant Navigation, Inc. Adaptive media transport management for continuous media stream over LAN/WAN environment
EP1675402A1 (en) 2004-12-22 2006-06-28 Thomson Licensing Optimisation of a quantisation matrix for image and video coding
KR100763178B1 (ko) * 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7420570B2 (en) 2005-04-14 2008-09-02 Samsung Electronics Co., Ltd. Methods and systems for video processing using super dithering
US8077769B2 (en) 2006-03-28 2011-12-13 Sony Corporation Method of reducing computations in transform and scaling processes in a digital video encoder using a threshold-based approach
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8711925B2 (en) * 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
KR100725186B1 (ko) 2006-07-27 2007-06-04 삼성전자주식회사 이동통신 단말기의 화상 촬영 방법 및 그 장치
EP1933564A1 (en) 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
US20100074328A1 (en) 2006-12-19 2010-03-25 Koninklijke Philips Electronics N.V. Method and system for encoding an image signal, encoded image signal, method and system for decoding an image signal
KR101301032B1 (ko) 2007-03-08 2013-08-28 엘지전자 주식회사 통신기기 및 이를 이용한 영상 통화시 데이터파일의전송방법
US20090006955A1 (en) * 2007-06-27 2009-01-01 Nokia Corporation Method, apparatus, system and computer program product for selectively and interactively downloading a media item
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
NO332189B1 (no) 2010-02-17 2012-07-23 Cisco Systems Int Sarl Fremgangsmate for videokoding
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
KR101702948B1 (ko) 2010-07-20 2017-02-06 삼성전자주식회사 깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법
EP2498497A1 (en) 2011-03-11 2012-09-12 Research In Motion Limited Method and system using prediction and error correction for the compact representation of quantization matrices in video compression
US20120268479A1 (en) * 2011-03-15 2012-10-25 Qualcomm Mems Technologies, Inc. Methods and apparatus for improved dithering on a line multiplied display
US20120236021A1 (en) * 2011-03-15 2012-09-20 Qualcomm Mems Technologies, Inc. Methods and apparatus for dither selection
US9338463B2 (en) 2011-10-06 2016-05-10 Synopsys, Inc. Visual quality measure for real-time video processing
US9654139B2 (en) * 2012-01-19 2017-05-16 Huawei Technologies Co., Ltd. High throughput binarization (HTB) method for CABAC in HEVC
US9247497B2 (en) 2012-05-08 2016-01-26 Apple Inc. Communicating latency-sensitive data over a wireless data link
US20140105278A1 (en) 2012-10-16 2014-04-17 Microsoft Corporation Color adaptation in video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5426512A (en) * 1994-01-25 1995-06-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Image data compression having minimum perceptual error
CN102595131A (zh) * 2004-06-18 2012-07-18 汤姆逊许可公司 用于对图像块的视频信号数据进行编码的编码器
CN101317463A (zh) * 2006-03-16 2008-12-03 华为技术有限公司 在编解码中的实现量化的方法和装置
CN101627635A (zh) * 2007-02-21 2010-01-13 高通股份有限公司 三维视频编码

Also Published As

Publication number Publication date
EP2888879A1 (en) 2015-07-01
WO2014062744A1 (en) 2014-04-24
US9445109B2 (en) 2016-09-13
US20140105277A1 (en) 2014-04-17
EP2888879B1 (en) 2020-11-25
CN104823447A (zh) 2015-08-05

Similar Documents

Publication Publication Date Title
CN104823448B (zh) 用于视频编码中的颜色自适应的装置和介质
CN104823447B (zh) 视频编码中的颜色自适应
US10200687B2 (en) Sample adaptive offset for high dynamic range (HDR) video compression
EP2039171B1 (en) Weighted prediction for video coding
Luo et al. H. 264/advanced video control perceptual optimization coding based on JND-directed coefficient suppression
AU2016389093B2 (en) Last frame motion vector partitioning
CN114222122A (zh) 视频解码方法和解码器、存储介质
GB2503875A (en) Encoding / Decoding a Video Image Which Excludes Use of a Second Encoding Mode (e.g. Transform Skip Mode) Upon Meeting Conditions
GB2496220A (en) Optimising Encoding/Decoding/Computation of Filtering Parameters (e.g. Compensation Offsets) for a Set of Reconstructed Samples of an Image
US11297314B2 (en) Adaptive filter intra prediction modes in image/video compression
CN110622515A (zh) 定向帧内预测代码化
CN110741643A (zh) 用于视频代码化的复合帧内预测
US9014265B1 (en) Video coding using edge detection and block partitioning for intra prediction
US11589055B2 (en) Method and apparatus of mode- and size-dependent block-level restrictions for position dependent prediction combination
GB2582118A (en) Smart reordering in recursive block partitioning for advanced intra prediction in video coding
CN106973296B (zh) 视频或图像编码方法以及相关装置
WO2019125555A1 (en) Video quality and throughput control
CN110169059A (zh) 视频代码化的复合预测
De Praeter et al. Simultaneous encoder for high-dynamic-range and low-dynamic-range video
EP3884666A1 (en) Video stream adaptive filtering for bitrate reduction
Ren et al. Algorithmic optimization for H. 264 deblocking filter on portable devices
TWI523529B (zh) 粗略可調性視訊編碼的失真量與位元量估計方法及裝置
Luo et al. Subjective Quality Based Optimization for JPEG XR Encoding Algorithm
Bhat A new video quality metric for compressed video.
Seo et al. Video compression based on frequency sensitivity

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant