CN101641954B - 用于解码/编码视频信号的方法和装置 - Google Patents

用于解码/编码视频信号的方法和装置 Download PDF

Info

Publication number
CN101641954B
CN101641954B CN2008800095061A CN200880009506A CN101641954B CN 101641954 B CN101641954 B CN 101641954B CN 2008800095061 A CN2008800095061 A CN 2008800095061A CN 200880009506 A CN200880009506 A CN 200880009506A CN 101641954 B CN101641954 B CN 101641954B
Authority
CN
China
Prior art keywords
viewpoint
current block
information
block
different information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008800095061A
Other languages
English (en)
Other versions
CN101641954A (zh
Inventor
梁正休
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN101641954A publication Critical patent/CN101641954A/zh
Application granted granted Critical
Publication of CN101641954B publication Critical patent/CN101641954B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

公开了一种解码视频信号的方法。本发明包括：当与对于当前块的亮度补偿相关联的信息在比特流中不可用时，获得当前块的相邻块的IC(亮度补偿)差异信息；使用相邻块的IC差异信息推导当前块的IC差异信息；基于当前块的IC差异信息，推导指示是否对当前块执行亮度补偿的IC标志；以及基于当前块的IC差异信息和IC标志对当前块执行亮度补偿。

Description

用于解码/编码视频信号的方法和装置
技术领域
本发明涉及视频信号的码处理(coding)。
背景技术
压缩码处理指用于经由通信电路传输数字化信息或者以适于存储介质的形式存储数字化信息的一系列信号处理技术。作为压缩码处理的对象，存在音频、视频、字符等等。具体地，用于对视频执行压缩码处理的技术被称为视频序列压缩。视频序列通常特征在于具有空间冗余或者时间冗余。
发明内容
技术问题
因此，本发明涉及用于解码/编码视频信号的方法和装置，其能够本质上增强码处理视频信号的效率。
技术方案
本发明的目标在于使用块间或视点间相关性来有效率地增强视频序列的码处理效率。
本发明的另一目标在于有效率地补偿多视点序列中的视点之间的亮度差异。
本发明的另一目标在于有效率地传输指示视点间依赖性的视点间参考信息。
本发明的另一目标在于使用深度信息增强视频信号的码处理效率。
本发明的另一目标在于使用照相机信息为用户提供各种服务或者增强视频信号的码处理效率。
本发明的进一步目标在于提供一种解码方法和装置，通过该解码方法和装置能够有效率地解码视频序列数据。
有益效果
根据本发明，能够通过使用视频序列的时间和空间相关性预测运动信息来增强信号处理效率。通过使用与当前块具有高相关性的图片的码处理信息预测当前块的码处理信息来使能更高精度的预测，从而传输的错误被减小以进行高效的码处理。即使当前块的运动信息没有被传输，也能够计算与当前块的运动信息非常类似的运动信息。因此，重构率得以增强。能够使用深度信息改进码处理效率和序列重建率。能够使用照相机信息增强码处理效率。而且，还能够向用户提供各种服务。
在本发明中，使用相邻块的信息预测当前块的偏移值，并且传输相应的差异值。因此，能够最小化应被传输用于亮度补偿(以下简写为IC)的信息。在使用至少两个参考块预测码处理的情况下，通过用各种方法中的至少一种来应用偏移值和标志信息，从而使得能够进行更高效的码处理。当预测当前块的偏移值时，能够通过检查当前块的参考索引是否与相邻块的参考索引相同来执行更准确的预测。能够以下述方式最小化应被传输的信息，即预测指示是否执行当前块的亮度补偿的标志信息并且然后仅传输相应的差异值。类似地，能够通过检查当前块的参考索引是否与相邻块的参考索引相同来执行更准确的预测。
附图说明
被包括以提供本发明的进一步理解并且并入并且构成本说明书一部分的附图示出了本发明的实施例，并且与说明一起用于解释本发明的原理。
在附图中：
图1是根据本发明的实施例的视频信号解码装置的示意框图；
图2是根据本发明的实施例的关于能够被添加到多视点序列码处理比特流的多视点序列的构造信息的图；
图3是解释根据本发明的一个实施例的用于获得当前块的IC差异信息的过程的图；
图4和图5是解释根据本发明的实施例的通过考虑亮度补偿的运动矢量预测方法的图；
图6是解释根据本发明的实施例的使用深度图的码处理方法的图；
图7至14是根据本发明的实施例的使用照相机信息的用于描述各种应用示例的句法的图；
图15是根据本发明的实施例的多视点序列信号的整体预测结构的图，用于解释视点间图片组的概念；以及
图16至20是根据本发明的实施例的用于描述视点间参考信息的各种句法的图。
具体实施方式
在下面的描述中将阐述本发明的额外的特征和优点，并且其将从说明中变得更加明显，或者可以通过本发明的实践来学习。将通过在给出的描述和其权利要求以及附图中特别指出的结构来实现并且获得本发明的目标和其他优点。
为了获得这些和其他优点并且根据本发明的目的，如所示例并且广泛描述的，一种解码视频信号的方法包括：当与对于当前块的亮度补偿相关联的信息在比特流中不可用时，获得当前块的相邻块的IC差异信息；使用相邻块的IC差异信息推导当前块的IC差异信息；基于当前块的IC差异信息推导指示是否对当前块执行亮度补偿的IC标志；以及基于当前块的IC差异信息和IC标志，执行对当前块的亮度补偿。
优选地，当当前块的IC差异信息为0时，当前块的IC标志被推导为0。
优选地，当当前块的IC差异信息不为0时，当前块的IC标志被推导为1。
优选地，基于当前块的参考索引是否与相邻块的参考索引相同来推导出当前块的IC差异信息。
更优选地，当存在一个具有与当前块的参考索引相同的参考索引的相邻块时，当前块的IC差异信息被设置为相邻块的IC差异信息。
在该情况下，按照当前块的上、左、右上、左上块的顺序检查相邻块。
更优选地，当存在每个具有与当前块的参考索引相同的参考索引的三个相邻块时，当前块的IC差异信息被设置为三个相邻块的IC差异信息的中间值。
优选地，视频信号被接收为广播信号。
优选地，经由数字媒介接收视频信号。
为了进一步获得这些以及其它优点并且根据本发明的目的，计算机可读介质包括用于执行本发明的程序。并且该程序被记录在计算机可读介质中。
为了进一步获得这些以及其它优点并且根据本发明的目的，一种用于解码视频信号的装置包括：IC差异预测单元，当与对于当前块的亮度补偿相关联的信息在比特流中不可用时，该IC差异预测单元使用获得的相邻块的IC差异信息推导当前块的IC差异信息；以及
IC单元，该IC单元基于当前块的IC差异信息推导指示是否对当前块执行亮度补偿的IC标志，并且基于当前块的IC差异信息和IC标志对当前块执行亮度补偿。
应理解的是，前述一般性描述以及下面的详细描述都是示例性的和说明性的，并且意在提供所要求保护的本发明的进一步说明。
本发明的实施模式
现在将详细地参考本发明的优选实施例，在附图中示出了其示例。
首先，视频信号数据的压缩码处理考虑空间冗余、时间冗余、可分级冗余以及视点间冗余。并且，在压缩码处理的过程中，通过考虑视点间存在的相互冗余使得能够进行压缩码处理。考虑视点间冗余的压缩码处理方案正是本发明的实施例。而且，本发明的技术思想可应用于时间冗余、可分级冗余等等。在该公开中，码处理能够包括编码和解码两者的概念。并且，码处理能够灵活地解释为与本发明的技术思想和范围对应。
观察视频信号的比特序列构造，在处理移动图片编码过程本身的VCL(视频码处理层)与传输并且存储编码的信息的下级系统(lowersystem)之间存在被称为NAL(网络抽象层)的单独的层结构。从编码过程输出的是VCL数据并且在传输或存储之前通过NAL单元映射。每个NAL单元包括是对应于首部(header)信息的数据的RBSP(原始字节序列载荷：移动图片压缩的结果数据)或压缩的视频数据。
NAL单元基本上包括两部分，NAL首部和RBSP。NAL首部包括标志信息(nal_ref_idc)，其指示是否包括作为NAL单元的参考图片的片段；以及识别符(nal_unit_type)，其指示NAL单元的类型。压缩的原始数据被存储在RBSP中。并且，RBSP结尾比特被添加到RBSP的最后部分以将RBSP的长度表示为8-比特乘法(multiplication)。作为NAL单元的类型，有IDR(即时解码刷新)图片、SPS(序列参数集)、PPS(图片参数集)、SEI(补充增强信息)等等。
在标准中，需要设置各种简档(profile)和等级(level)以使得能够实施具有适合的成本的目标产品。在该情况下，解码器应满足根据相应的简档和等级确定的要求。因此，两个概念“简档”和“等级”被定义为指示用于表示解码器能够处理多大范围的压缩序列的功能或参数。并且，简档标示符(profile_idc)能够识别比特流是基于规定的简档。简档标示符指指示比特流所基于的简档的标志。例如，在H.264/AVC中，如果简档标示符为66，则其意味着比特流是基于基线(baseline)简档。如果简档标示符是77，则其意味着比特流是基于主简档。如果简档标示符是88，则其意味着比特流是基于扩展简档。然而，简档标示符能够被包括在序列参数集中。
因此，为了处理多视点序列，需要识别输入的比特流是否是多视点简档。如果输入的比特流是多视点简档，则需要添加句法以使得至少一个用于多视点的附加信息能够被传输。在该情况下，多视点简档指示用于处理多视点视频的简档模式作为H.264/AVC的附加技术。在MVC中，添加句法作为用于MVC模式的附加信息可能比无条件句法更有效率。例如，当AVC的简档识别符指示多视点简档时，如果用于多视点序列的信息被添加，则能够增强编码效率。
序列参数集指示包含诸如简档、等级等等的跨过整个序列的编码的信息的首部信息。整个压缩的移动图片，即序列应该从序列首部开始。因此，对应于首部信息的序列参数集应在参考参数集的数据到达之前到达解码器。即，序列参数集RBSP对于移动图片压缩的结果数据起到首部信息的作用。一旦比特流被输入，简档标示符优选地标识被输入的比特流是基于多个简档中的哪一个。因此，通过将用于确定输入的比特流是否与多视点简档相关的部分(例如，“if(profile_idc＝＝MULTI_VIEW_PROFILE)”)添加到句法中，确定输入的比特流是否与多视点简档有关。各种类型的构造信息能够被添加，只要输入的比特流被确认为与多视点简档有关。例如，能够添加视点的总数、视点间参考图片的数目、视点间参考图片的视点识别编号等等。并且，解码图片缓冲器能够使用各种类型的与视点间参考图片有关的信息来构造和管理参考图片列表。
图1是根据本发明的用于解码视频信号的装置的示意框图。
参考图1，解码装置包括解析单元100、熵解码单元200、反量化/反变换单元300、帧内预测单元400、去块过滤器单元500、解码图片缓冲单元600、帧间预测单元700等等。并且，帧间预测单元700能够包括IC差异预测单元710、IC(亮度补偿)单元720、运动补偿单元730等等。
解析单元100通过NAL单元进行解析以解码接收到的视频序列。一般来说，在解码片段首部和片段数据之前，至少一个序列参数集以及至少一个图片参数集被传输到解码器。在该情况下，各种类型的构造信息能够被包括在NAL首部区域中或者NAL首部的扩展区域中。由于MVC是用于传统的AVC方案的附加方案，因此，在MVC比特流的情况下，添加各种构造信息可能比无条件的添加更有效率。例如，能够添加标志信息以识别在NAL首部区域或者NAL首部的扩展区域中的MVC比特流的存在还是不存在。只有根据标志信息，输入的比特流是多视点序列编码的比特流，才能够添加用于多视点序列的构造信息。例如，构造信息能够包括视点识别信息、视点间图片组识别信息、视点间预测标志信息、时间等级信息、优先级识别信息、指示是否是用于视点的即时解码图片的识别信息等等。将参考图2详细地对其进行说明。
熵解码单元200对解析后的比特流进行熵解码，并且然后提取每个宏块的系数、运动矢量等等。反量化/反变换单元300获得通过将接收到的量化值乘以预定常数变换的系数值并且然后将系数值反变换以重建像素值。使用重建的像素值，帧内预测单元400从解码的采样在当前图片内进行画面内预测。同时，去块过滤器单元500被应用于每个码处理后的宏块以减少块失真。过滤器平滑块边缘以增强解码的帧的图像质量。过滤过程的选择取决于边界强度和边界周围的图像采样的梯度。通过过滤的图片被输出或者被存储在解码图片缓冲单元600中以用作参考图片。
解码图片缓冲单元600起到存储或者打开预先码处理的图片以执行图片间预测的作用。在该情况下，为了将图片存储在解码图片缓冲单元600中或者为了打开图片，使用每个图片的“frame_num”和PCO(图片次序号)。因此，在MVC中，由于在先前码处理的图片当中存在与当前图片存在的视点不同的视点上的图片，因此，为了使用这些图片作为参考图片，可以与“frame_num”和POC一起使用用于识别图片的视点信息。
解码图片缓冲单元600能够在构建用于视点间预测的参考图片列表中使用关于视点的信息。例如，能够使用视点间参考信息。视点间参考信息指用于指示视点间依赖关系的信息。例如，能够有视点的总数、视点识别编号、视点间参考图片的数目、视点间参考图片的视点识别编号等等。
解码图片缓冲单元600管理参考图片以更灵活地实现图片间预测。例如，可以使用存储器管理控制操作方法和滑动窗口方法。这是通过将存储器统一为一个存储器来管理参考图片存储器和非参考图片存储器并且以较小的存储器来实现有效率的存储器管理。在多视点视频码处理中，由于视点方向上的图片具有相同的图片次序号，因此，在对其进行标记中可使用用于识别图片中的每一个的视点的信息。并且，以上述方式管理的参考图片能够由帧间预测单元700使用。
帧间码处理的宏块能够被划分为宏块分区(partition)。并且每个宏块分区能够从一个或两个参考图片来预测。帧间预测单元700包括IC差异预测单元710、IC单元720、运动补偿单元730等等。
在输入的比特流对应于多视点序列的情况下，由于各视点序列是分别通过不同的照相机捕捉的，因此由于照相机的内部和外部因素导致产生亮度差异。为了防止该差异，IC单元720执行亮度补偿(IC)。在执行亮度补偿中，能够使用指示是否对视频信号的规定层执行亮度补偿的标志信息。例如，能够使用指示是否对相应的片段或宏块执行亮度补偿的标志信息来执行亮度补偿。在使用标志信息执行亮度补偿中，可应用于各种宏块类型(例如，帧间16×16模式、B跳过模式、直接模式等等)。
在执行亮度补偿中，能够使用相邻块的信息、在与当前块的视点不同的视点中的块的信息或当前块的IC差异信息来重建当前块。在当前块参考不同视点中的相邻块的情况下，能够使用关于被存储在解码图片缓冲单元600中的用于视点间预测的参考图片列表的信息来执行亮度补偿。在该情况下，当前块的OC差异值可以指当前块的平均像素值与相应的参考块的平均像素值之间的差。例如使用IC差异信息的情况下，使用当前块的相邻块来获得当前块的IC差异预测值并且能够使用是IC差异信息和IC差异预测值之间的差异值的IC差异残余(IC偏移残余)。因此，解码器能够使用IC差异残余和IC差异预测值来重建当前块的IC差异信息。
在获得当前块的IC差异预测值中，能够使用相邻块的信息。例如，能够使用相邻块的IC差异信息来预测当前块的IC差异信息。在此之前，检查当前块的参考索引是否与相邻块的参考索引相同。根据检查的结果，能够确定使用规定块还是规定值。
能够使用视点方向的码处理信息相关性来预测当前块的码处理信息。例如，码处理信息能够包括亮度补偿信息、预测方向信息、分区信息等等。具体地，为了预测当前块的亮度补偿信息，能够使用与当前块相邻的块的亮度补偿。并且，还能够使用对应于当前块并且在当前块的同一视点中存在的图片的块的亮度补偿信息。
运动补偿单元730使用从熵解码单元200传输的信息补偿当前块的运动。从视频信号提取与当前块邻近的块的运动矢量并且然后获得当前块的运动矢量。并且，使用获得的运动矢量预测值和从视频信号提取的差分矢量补偿当前块的运动。并且，能够使用一个参考图片或者多个图片来执行运动补偿。在多视点视频码处理中，在当前图片参考不同视点中的图片的情况下，能够使用用于被存储在解码图片缓冲单元600中的视点间预测参考图片列表的信息来执行运动补偿。并且，还能够使用用于识别相应图片的视点的视点信息来执行运动补偿。
直接预测模式是用于从编码块的运动信息预测当前块的运动信息的编码模式。由于该方法能够节省解码运动信息所要求的比特数，因此补偿效率得以增强。例如，时间直接模式使用在时间方向上的运动信息相关性来预测当前块的运动信息。当包含不同运动的序列中的运动的速度恒定时，该时间直接模式是有效的。在时间直接模式用于多视点视频码处理的情况下，应考虑视点间运动矢量。
对于直接预测模式的另一示例，空间直接模式使用空间方向上的运动信息相关性预测当前块的运动信息。当运动的速度在包含相同运动的序列中变化时，该空间直接模式是有效的。在当前图片的反方向参考图片列表(列表1)中具有最小参考编号的参考图片中，能够使用与当前块同地的块的运动信息来预测当前图片的运动信息。然而，在多视点视频码处理中，参考图片可能存在于与当前图片的视点不同的视点中。在该情况下，可以在应用空间直接模式中使用各种实施例。
在视频信号码处理中，对特定应用或其它目的能够使用深度信息。深度信息可以指能够指示视点间视差差异的信息。例如，能够通过视点间预测获得视差矢量。并且，获得的视差矢量应被传输到解码设备用于当前块的视差补偿。然而，在找到深度图并且然后将其传输至解码设备的情况下，能够在不将视差矢量传输到解码设备的情况下从深度图(或视差图)推导视差矢量。深度图能够与运动矢量或视差矢量一起传输。在该情况下，深度图可以指用于每个预定单元的深度信息。例如，预定单元可以对应于像素单元或者块单元。如果这样，有利的是，能够降低应该传输到解码设备的深度信息的比特数。能够使用深度图来重建两个彼此相邻的视点间的虚视点。通过从深度图推导视差矢量，能够提供新的视差补偿方法。因此，在从深度图推导视差矢量的过程中使用不同视点的图片的情况下，能够使用用于识别图片的视点的视点信息。这将在后面参考图6进行详细解释。
根据预测模式选择上述过程的帧间预测图片和帧内预测图片来重建当前图片。
图2是根据本发明的一个实施例的关于可添加到多视点序列码处理比特流的多视点序列的构造信息的图。
图2示出多视点序列的构造信息能够被添加到的NAL单元构造的示例。NAL单元能够主要包括NAL单元首部和RBSP(原始字节序列载荷：移动图片压缩的结果数据)。并且，NAL单元首部能够包括指示NAL单元是否包括参考图片的片段的识别信息(nal_ref_idc)以及指示NAL单元的类型的信息(nal_unit_type)。并且，NAL单元首部的扩展区域能够被限制地包括。例如，如果指示NAL单元的类型的信息与可分级视频码处理相关联或者指示前缀NAL单元，则NAL单元能够包括NAL单元首部的扩展区域。具体地，如果nal_unit_type＝20或14，则NAL单元能够包括NAL单元首部的扩展区域。并且，根据能够识别是否是MVC比特流的标志信息(svc_mvc_flag)，用于多视点序列的构造信息能够被添加到NAL单元首部的扩展区域。
对于另一个示例，如果指示NAL单元的类型的信息是指示序列参数集的信息，则RBSP能够包括关于序列参数集的信息。具体地，如果nal_unit_type＝7，则RBSP能够包括用于序列参数集的信息。在该情况下，根据简档信息，序列参数集能够包括序列参数集的扩展区域。例如，如果简档信息(profile_idc)是与多视点视频码处理有关的简档，则序列参数集能够包括序列参数集的扩展区域。替代地，根据简档信息，子集序列参数集能够包括序列参数集的扩展区域。序列参数集的扩展区域能够包括指示视点间依赖性的视点间参考信息。
在下面详细解释关于多视点序列的各种构造信息，例如能够被包括在NAL单元首部的扩展区域中的构造信息或者能够被包括在序列参数集的扩展区域中的构造信息。
首先，视点识别信息指用于将当前视点中的图片与不同视点中的图片区分的信息。在对视频序列信号进行码处理，POC(图片次序号)和“frame_num”用于识别每个图片。在多视点视频序列的情况下，执行视点间预测。因此，需要将当前视点的图片与另一视点的图片进行区分的识别信息。因此，需要限定用于识别图片的视点的视点识别信息。能够从视频信号的首部区域获得视点识别信息。例如，首部区域能够是NAL首部区域、NAL首部的扩展区域、或者片段首部区域。使用视点识别信息获得与当前图片的视点不同的视点的图片的信息，并且能够使用关于不同视点中的图片的信息解码视频信号。
视点识别信息可应用于视频信号的整个解码/编码过程。例如，能够使用视点识别信息来指示视点间依赖性。可能需要视点间参考图片的编号信息、视点间参考图片的视点识别信息等等来指示视点间依赖性。类似于视点间参考图片的编号信息或者视点间参考图片的视点识别信息，用于指示视点间依赖性的信息应被命名为视点间参考信息。在该情况下，视点识别信息能够用于指示视点间参考图片的视点识别信息。视点间参考图片可以指在对当前图片执行视点间预测中使用的参考图片。并且，视点识别信息能够使用考虑视点来代替考虑特定视点识别符的“frame_num”完整地应用于多视点视频码处理。
视点间图片组识别信息指能够识别当前NAL单元的码处理图片是否是视点间图片组的信息。在该情况下，视点间图片组指仅参考所有片段都存在于同一时区中的帧内的片段的码处理图片。例如，其指仅参考不同视点的片段而不参考当前视点的片段的码处理图片。在解码多视点序列中，视点间随机访问可以是可能的。对于视点间预测，视点间参考信息是必须的。在获得视点间参考信息中，可以使用视点间图片组识别信息。例如，如果当前图片对应于视点间图片组，则能够获得关于视点间图片组的视点间参考信息。如果当前图片对应于非视点间图片组，则能够获得关于非视点间图片组的视点间参考信息。
因此，在基于视点间图片组识别信息获得视点间参考信息的情况下，能够更有效率地执行视点间随机访问。这是因为视点间图片组中的图片之间的视点间参考关系能够与非视点间图片组中的不同。并且，在视点间图片组的情况下，多个视点中的图片能够被参考。例如，从多个视点中的图片产生虚视点的图片，并且然后能够使用虚视点的图片预测当前图片。
在构建参考图片列表中，能够使用视点间图片组识别信息。在该情况下，参考图片列表能够包括用于视点间预测的参考图片列表。并且，用于视点间预测的参考图片列表能够被添加到参考图片列表。例如，在初始化参考图片列表或者修改参考图片列表的情况下，能够使用视点间图片组识别信息。并且，视点间图片组识别信息还能够用于管理添加的用于视点间预测的参考图片。例如，通过将参考图片划分为视点间图片组和非视点间图片组，能够做出指示不应该使用在执行视点间预测中未能被使用的参考图片的标记。并且，视点间图片组识别信息能够应用于假设的(hypothetical)参考解码器。
视点间预测标志信息指指示当前NAL单元的码处理图片是否被用于视点间预测的信息。视点间预测标志信息可用于执行时间预测或者视点间预测的部分。在该情况下，能够一起使用指示NAL单元是否包括参考图片的片段的识别信息。例如，虽然根据识别信息当前NAL单元未能包括参考图片的片段，但是如果其用于视点间预测，则当前NAL单元能够是仅用于视点间预测的参考图片。根据识别信息，如果当前NAL单元包括参考图片的片段，并且被用于视点间预测，则当前NAL单元能够被用于时间预测和视点间预测。如果根据识别信息NAL单元未能包括参考图片的片段，则其能够被存储在解码图片缓冲器中。这是因为，在根据视点间预测标志信息当前NAL单元的码处理图片被用于视点间预测的情况下，其需要被存储。
除了一起使用标志信息和识别信息的情况之外，一个识别信息能够指示当前NAL单元的码处理图片是否被用于时间预测和/或视点间预测。
时间等级信息指关于分层结构的信息以从视频信号提供时间分级。通过时间等级信息，能够向用户提供各种时区的序列。
优先级识别信息指能够识别NAL单元的优先级的信息。能够使用优先级识别信息提供视点分级。例如，能够使用优先级识别信息定义视点等级信息。在该情况下，视点等级信息指关于分层结构的信息用于从视频信号提供视点分级。在多视点视频序列中，需要定义用于时间的等级和用于视点的等级以向用户提供各种时间和视点序列。在定义上述等级信息的情况下，能够使用时间分级和视点分级。因此，用户能够仅观看特定时间和视点的序列，或仅观看根据用于限制的另一条件的序列。等级信息能够根据其参考条件以各种方式不同地设置。例如，等级信息能够根据照相机位置或照相机对准而不同地设置。并且，能够通过考虑视点依赖性而确定等级信息。例如，用于具有I图片的视点间图片组的视点的等级被设置为0，用于具有P图片的视点间图片组的视点的等级被设置为1，并且用于具有B图片的视点间图片组的视点的等级被设置为2。因此，等级值能够被分配给优先级识别信息。而且，等级信息能够随机地设置而不基于特殊的基准。
在下面的说明中，解释了用于提供视频信号的有效率的解码方法的各种实施例。
图3是解释根据本发明的一个实施例的用于获得当前块的IC差异信息的过程的图。
在比较当前块和候选参考块之间的相似性中，应该考虑两个块之间的亮度差异。为了补偿亮度差异(亮度变化)，执行新的运动估算和运动补偿。能够使用公式1找到新的SAD。
[公式1]
M curr = 1 S × T Σ i - m m + S - 1 Σ j - n m + T - 1 f ( i , j )
M ref ( p , q ) = 1 S × T Σ i - p p + S - 1 Σ j - q q + T - 1 r ( i , j )
[公式2]
NewSAD ( x , y ) = Σ i - m m + S - 1 Σ j - n m + T - 1 | { f ( i , j ) - M curr } - { r ( i + x , j + y ) - M ref ( m + x , n + y ) } |
在该情况下，Mcurr表示当前块的平均像素值，Mref表示参考块的平均像素值，f(i，j)表示当前块的像素值，并且r(i+x，j+y)表示参考块的像素值。通过基于公式2中所示的新SAD执行运动估算，能够获得当前块和参考块之间的平均像素值差。并且，获得的平均像素值差被命名为IC差异信息(IC_offset)。
在执行对其应用了亮度补偿的运动估算的情况下，获得IC差异信息和运动矢量。并且，使用IC差异信息和运动矢量通过公式3执行亮度补偿。
[公式3]
NewR(i，j)＝{f(i，j)-Mcurr}-{r(i+x′，j+y′)-Mref(m+x′，n+y′)}
＝{f(i，j)-r(i+x′，j+y′)}-Mcurr-Mref(m+x′，n+y′)}
＝{f(i，j)-r(i+x′，j+y′)}-IC_offset
在公式3中，NewR(i，j)表示从亮度补偿的执行导致的残余值，并且(x’，y’)表示运动矢量。
IC差异信息(Mcurr-Mref)应被传输到解码单元。并且，如下地执行解码单元中的亮度补偿。
[公式4]
f′(i，j)＝{NewR″(x′，y′，i，j)+r(i+x′，j+y′)}+{Mcurr-Mref(m+x′，n+y′)}
＝{NewR″(x′，y′，i，j)+r(i+x′，j+y′)}+IC_offset
在公式4中，NewR”(i，j)表示重建的并且亮度补偿后的残余值并且f’(i，j)表示重建的当前块的像素值。
为了重建当前块，IC差异信息必须被传输到解码单元。并且，能够从相邻块的信息预测IC差异信息。为了进一步减少对IC差异信息进行码处理的比特数，能够仅发送IC差异残余(亮度补偿后的残余信号)(RIC_offset)。这能够如公式5所示。
[公式5]
RIC_offset＝IC_offset-predIC_offset
图4和图5是解释根据本发明的实施例的通过考虑亮度补偿的运动矢量预测方法的图。
如下解释根据本发明的实施例的用于使用指示是否执行当前块的亮度补偿的标志信息和当前块的IC差异信息来执行亮度补偿的过程。
首先，为了执行亮度补偿，解码单元从视频信号提取当前块的相邻块的标志信息和IC差异信息、当前块和相邻块的对应参考块的参考索引等等，并且然后能够使用该信息获得当前块的IC差异预测值。并且，获得指示当前块的IC差异信息与IC差异预测值之间的差值的IC差异残余。能够使用IC差异残余值和IC差异预测值来重建当前块的IC差异信息。在该情况下，在重建当前块的IC差异信息中，能够使用指示是否对当前块执行亮度补偿的IC标志(IC_flag)。
首先，能够从视频信号获得指示是否对当前块执行亮度补偿的IC标志。当根据标志信息执行亮度补偿时，能够重建指示当前块的平均像素值和参考块的平均像素值之间的差的当前块的IC差异信息。类似地，亮度补偿技术对属于不同图片的块的平均像素值进行码处理。在指示是否应用亮度补偿技术的标志被用于每个块的情况下，当对应的块属于P片段时，仅编码/解码单独的标志信息和单独的IC差异信息。然而，当对应的块属于B片段时，可以使用若干方法。
在图4中，“C”表示当前块(C)，“N”表示与当前块C邻近的块，“R”表示由当前块C参考的块，并且“S”表示由与当前块C邻近的块N参考的块。此外，“mc”表示当前块的平均像素值，并且“mr”表示由当前块参考的块的平均像素值。假定当前块C的IC差异信息被设置为“IC_offset”，其导致“IC_offset＝mc-mr”。类似地，假定相邻块N的IC差异信息被设置为“IC_offset_pred”，编码单元能够发送指示当前块的IC差异信息(IC_offset)与相邻块的IC差异信息(IC_offset_pred)之间的差值的IC差异残余(RIC_offset)来代替发送完整用于重建当前块C的IC差异信息“IC_offset”的值。在该情况下，IC差异残余(RIC_offset)能够如公式5所表示。在从相邻块的IC差异信息或标志信息生成当前块的IC差异预测值中，可以应用各种方法。例如，能够使用单个相邻块的信息或者至少两个相邻块的信息。在使用至少两个相邻块的信息的情况下，能够使用平均值或者中间值。因此，如果仅使用单个参考块来码处理当前块，则能够使用单个IC差异信息和单个标志信息来执行亮度补偿。
然而，在相应块属于B片段的情况下，即，如果使用至少两个参考块来码处理当前块，则各种方法是可用的。例如，在图5中，假定“C”表示当前块C，“N”表示与当前块C邻近的块，“R0”表示由当前块参考的列表0的参考图片1中的参考块，并且“S0”表示由相邻块参考的列表0的参考图片列表1中的参考块。假定“R1”表示由当前块参考的列表1的参考图片3中的参考块并且“S0”表示由相邻块参考的列表1的参考图片3中的参考块。在该情况下，由于对于每个参考块存在当前块的IC差异信息和标志信息，因此对于每个存在两个值，在使用标志信息和IC差异信息中，能够每个使用它们中的至少一个。
如下解释根据本发明的实施例的用于对当前块执行亮度补偿的过程。
在当前块的IC标志为0的情况下，不执行对当前块的亮度补偿。在IC标志为1的情况下，执行用于重建当前块的IC差异信息的过程。在该情况下，在获得当前块的预测值中，可以使用相邻块的信息。
例如，能够使用相邻块的IC差异信息预测当前块的IC差异信息。在此之前，检查当前块的参考索引是否与相邻快的参考索引相同。根据检查的结果，能够确定哪个相邻块将被使用或者哪个值将被使用。检查相邻块的标志信息为真还是假。根据检查结果，能够确定是否使用相邻块。
根据本发明的另一实施例，如下地解释用于基于宏块类型执行亮度补偿的过程。用于推导IC标志和IC差异信息的过程可以根据宏块类型而不同。
例如，在宏块类型为P_Skip(P_跳过)的情况下，能够优选地检查相邻块是否可用以及是否执行亮度补偿。如果所有相邻块都可用并且如果执行亮度补偿，则当前块的IC差异信息和IC标志能够以下述方式推导。首先，如果相邻块的IC差异信息的平均值不为0，则当前块的IC标志被设置为1并且当前块的IC差异信息能够被设置为相邻块的IC差异信息的平均值。例如，相邻块能够为当前块的右和左块。另外，如果相邻块的IC差异信息的平均值为0，当前块的IC标志和当前块的IC差异信息中的每一个能够被设置为0。
在相邻块中的规定的一个可用并且执行亮度补偿的情况下，当前块的IC标志被设置为1并且当前块的IC差异信息能够被设置为相邻块的IC差异信息。例如，相邻块能够为当前块的左或上块。替代地，相邻块能够为右上块或左上块。在该情况下，在检查相邻块中的规定的一个时，能够在检查上块之后检查左块。
在其它情况中，当前块的IC差异信息和IC标志能够每个被设置为0。例如，包括使用两个块，即当前块的上和左块的情况；仅使用当前块的上块的情况；以及使用当前块的左块的情况的三种情况被排除在所述情况之外。
同时，在宏块类型为B_Skip(B_跳过)的情况下，当前块的IC差异信息能够以下述方式推导。首先，能够确定当前块的参考索引是否与相邻块的参考索引相同。基于确定结果，能够获得用于当前块的亮度补偿的预测值。使用获得的预测值，能够重建当前块的IC差异信息。如下地详细解释确定当前和相邻块的参考索引是否彼此相同的步骤以及基于确定结果获得预测值的步骤。
例如，能够确定是否存在具有与当前块的参考索引相同的参考索引的相邻块。在该情况中，假定要被使用的相邻块为使用亮度补偿编码的块。作为确定的结果，当存在具有与当前块的参考索引相同的参考索引的单个相邻块时，能够分配具有与当前块的IC差异预测值相同的参考索引的相邻块的IC差异信息。例如，当当前块的上块是使用亮度补偿编码的块时并且当上块具有与当前块的参考索引相同的参考索引时，能够将上块的IC差异信息设置为当前块的IC差异预测信息。另外，能够对当前块的左上块执行相同的过程。另外，能够对当前块的右上块执行相同的过程。另外，如果当前块的上、左、和右上侧的三个相邻块是使用亮度补偿的块，则能够将当前块的IC差异预测值设置为三个相邻块的IC差异信息之间的中间值。另外，能够将当前块的IC差异预测值设置为0。
如果存在具有与当前块的参考索引相同的参考索引的两个相邻块，则能够将当前块的IC差异预测值设置为两个相邻块的IC差异信息之间的平均值。
IC差异预测值推导方法可以同样地应用于用于预测IC标志的过程。
同时，在宏块类型为B_Skip(B_跳过)的情况下，当前块的IC标志能够以下述方式推导。能够基于当前块的IC差异信息推导当前块的IC标志。
例如，当当前块的IC差异信息为0时，当前块的IC标志能够被设置为0。否则，当前块的IC标志能够被设置为1。在该情况中，当前块的IC差异信息能够是与根据用于推导IC差异预测值的各种实施例中的一个设置的IC差异预测值相同的值。
同时，当宏块类型为B_Direct_16×16(B_直接_16×16)时，能够如下地推导当前块的IC差异信息。例如，当当前块的类型为B_Direct_16×16并且当前块的IC标志被设置为1时，能够根据传输的IC差异残余值与推导的IC差异预测值的和推导当前块的IC差异信息。在该情况下，能够根据上述各种实施例推导所推导的IC差异预测值。
如下地解释根据本发明的另一实施的使用指示相应块的亮度补偿的执行的存在或者不存在的标志信息来执行亮度补偿的方法。
当重建当前块的IC差异信息时，能够使用指示相应块的亮度补偿的执行的存在或者不存在的前述IC标志(IC_flag)。替代地，能够使用检查参考索引的上述方法以及预测IC标志的上述方法两者来获得IC差异预测值。
首先，能够确定是否存在具有与当前块的参考索引相同的参考索引的相邻块。基于确定结果，能够获得用于当前块的亮度补偿的IC差异预测值。在该情况下，能够基于相邻块的IC标志是否为1来获得IC差异预测值。并且，能够基于结果预测当前块的IC标志。因此，能够通过使用获得的IC差异预测值和预测的IC标志来重建当前块的IC差异信息来执行亮度补偿。
如下地解释根据本发明的另一实施例的基于当前块的参考索引是否与相邻块的参考索引相同来预测当前块的IC标志的方法。
首先，能够确定是否存在具有与当前块的参考索引相同的参考索引的相邻块。作为确定结果，当存在具有与当前块的参考索引相同的参考索引的单个相邻块时，能够从具有相同参考索引的相邻块的IC标志预测当前块的IC标志。根据确定结果，当存在两个具有与当前块的参考索引相同的参考索引的相邻块时，能够从具有相同的参考索引的两个相邻块的IC标志中的一个预测当前块的IC标志。根据确定结果，当存在三个具有与当前块的参考索引相同的参考索引的相邻块时，能够从具有相同的参考索引的三个相邻块的IC标志的中间值预测当前块的IC标志。当不存在具有与当前块的参考索引相同的参考索引的相邻块时，不执行当前块的IC标志预测。
根据本发明的另一实施例，能够对于施加了亮度补偿的宏块类型执行不同于16×16帧间模式的情况的上下文建模。对于标志信息，能够根据相邻块(例如，当前块的左和上块)的标志值考虑三个上下文。标志值“真”的情况被转换为1并且标志值“假”的情况被转换为0。如果对用于各情况的两个值求和，则导致三种情况。因此，使用这三个上下文编码/解码标志信息。例如，能够使用两个上下文模型用于IC残余，类似于变换系数等级码处理。具体地，通过UEGO(unary/Oth orderExp-Golomb(一元第0阶 指数哥伦布码))执行二进制化，单个上下文模型被应用于第一二进制(bin)值，并且单个模型上下文被应用于一元前缀部分的其余二进制值。符号位能够以旁路(bypass)模式编码/解码。作为标志信息的另一实施例，能够根据预测标志信息的值考虑三个上下文。使用此，能够执行编码/解码。
本公开中的上述描述能够应用于宏块单元。并且，本公开中的上述描述也能够应用于较小块。
图6是解释根据本发明的实施例的使用深度图的码处理方法的图。
在视频信号码处理中，对特定应用或者不同的目的能够使用深度信息。深度信息可以指能够指示视点间视差的信息。例如，能够通过视点间预测获得视差矢量。并且，获得的视差矢量应被传输到解码设备用于当前块的视差补偿。然而，如果深度图被传输到解码设备，则能够在不将视差矢量传输到解码设备的情况下从深度图(或者视差图)推导视差矢量。并且，还能够将运动矢量或者视差矢量与深度图一起传输。在该情况下，深度图可以指为每个预定单元指示深度信息。例如，预定单元可以对应于像素单元或者块单元。
根据本发明的实施例，如下地解释对深度图和色彩分量一起进行码处理的情况。
⊙
首先，指示深度图是否当前被用于视频序列的信息。例如，能够从序列参数集的扩展区域获得depth_coding_flag(深度_码处理_标志)。如果depth_coding_flag为0，则能够仅码处理色彩分量，例如，YUV分量。如果depth_coding_flag为1，则深度图被与色彩分量一起进行码处理并且然后被使用。
根据本发明的另一实施例，能够在使用深度图中应用各种方案。例如，根据空间分辨率能够使用各种深度图。具体地，如果depth_map_mode(深度_图_模式)为0，则可以意味着不使用深度图。如果depth_map_mode为1，则可以意味着使用全分辨率的深度图。如果depth_map_mode为2，则可以意味着使用在水平方向上1/2下采样的深度图。如果depth_map_mode为3，则可以意味着使用在竖直方向上1/2下采样的深度图。这些值仅是实施例并且能够设定其它值。此外，各种空间分辨率的深度图与1/2下采样一样都是可以使用的。
同时，在输入的深度图具有全分辨率的情况下，如果depth_map_mode指示不同分辨率的深度图，则下采样过程应通过编码器执行并且上采样过程应通过解码器执行。这样，如果输入的深度图，如图5中所示，已经以低分辨率进行了下采样，那么解码器可以以全分辨率执行上采样过程。此外，能够使用指示色彩图片和上采样的深度图片之间的位置差异的偏移值来重建当前图片。偏移可以包括左偏移、右偏移、顶偏移和底偏移。
能够从序列参数集、子序列参数集的扩展区域、图片参数集、片段首部或宏块层获得depth_coding_flag和depth_mode_map。
图7至14是根据本发明的实施例的用于描述使用照相机信息的各种应用示例的句法的图。
首先，照相机信息是关于产生对应于一系列图片的序列的照相机的信息。由单个照相机捕获的一系列图片构造单视点。即使照相机的位置变化，也能够构造新的视点。同时，作为照相机信息的类型，能够有照相机参数。照相机参数能够被分类为固有的照相机参数和外在的照相机参数。固有的照相机参数能够包括焦距长度、纵横比、倾斜、主点等等。并且外在的照相机参数能够包括在世界坐标体系中的照相机的位置信息、旋转矩阵、平移矢量等等。并且能够使用外在的照相机参数中包括的信息精确地找到照相机之间的几何关系。
并且，能够利照用相机之间的拓扑关系。例如，如果照相机布置为1维或水平/竖直2维构造，则能够使用关于照相机布置的信息观察拓扑关系。因此，能够选择直观指定的视点并且然后进行显示。在这样做时，关于照相机布置的信息能够作为边信息(side information)被传输。
例如，根据线性或对应于维度的1或2维构造的存在或者不存在，关于照相机布置的信息能够对应于直线或者弧形构造。在照相机布置对应于2维布置的情况下，根据每行视点的不同数目或者正规性的存在或者不存在，能够存在每行相同数目的视点。因此，当应用各种参考时，可以改变传输的句法结构。为此，如下地解释详细的实施例。
首先，能够定义指示照相机布置的规定构造的标志。例如，如果linear_configuration_flag(直线_构造_标志)为1，则可以意味着照相机布置为直线。如果linear_configuration_flag为0，则可以意味着相机布置为弧形。此外，标志能够包括各种类型并且能够根据定义来改变。
假定照相机布置对应于2维构造，能够定义指示在每个结点是否实际存在照相机的标志。例如，如果camera_present_flag(相机_存在_标志)[i][j]为1，则可以意味着在第i行第j列的结点存在照相机。如果camera_present_flag[i][j]为0，则可以意味着在第i行第j列的结点不存在照相机。
假定照相机布置对应于2维构造，能够定义分别指示水平和竖直方向上的最大视点数目的信息。例如，max_num_view_hor_minus1可以指水平方向上最大视点数1。并且，max_num_view_ver_minus1可以指竖直方向上最大视点数-1。此外，num_view_hor_minus1[i]可以指第j列的水平方向上的最大视点数-1。
并且，view_id[i][j]可以指第i行第j列的结点的视点识别编号。
能够定义指示照相机布置的规定维度的信息。例如，如果one_dimension_flag为1，则可以意味着照相机仅布置在水平方向上。如果one_dimension_flag为0，则可以意味着照相机被二维地布置在竖直和水平方向上。此外，标志能够包括各种维度并且可以根据如何定义来改变。例如，如果regular_two_dimension_flag为1，则可以意味着每行上的视点的数目在水平方向或竖直方向上相同。如果regular_two_dimension_flag为0，则可以意味着每行上的视点的数目在水平方向上或者竖直方向上不相同。
上述信息能够通过结合到各种形状中而产生各种应用示例。在以下描述中解释若干实施例。
在图7中所示的实施例，示出了指示照相机是否在2维照相机布置中的每个结点处存在的句法结构。首先，能够根据linear_configuration_flag的信息检查照相机是以直线还是弧形构造布置的。并且，能够获得水平/竖直方向上的最大视点的数目。根据camera_present_flag[i][j]，能够检查照相机是否在每个结点处存在。如果照相机存在，则能够知道照相机存在的位置的视点识别编号。
图8示出便于在1维构造的情况下检查照相机布置的句法结构。与图7不同，图8示出1维构造，不需要检查每个结点处照相机的存在或者不存在。因此，能够通过直接检查视点识别编号来知道照相机布置。在其它句法下，能够确认类似图6的2维照相机布置。
图9示出使得照相机布置能够根据指示维度布置的类型的标志而被适当地检查的句法结构。首先，在根据one_dimension_flag指示2维构造的情况下，能够通过获得竖直方向上每列上的视点的数目来检查每个视点识别编号。同时，在指示1维构造的情况下，能够通过获得水平方向上的最大视点的数目来检查每个视点识别编号。
图10示出将图7和图9的实施例结合在一起获得的实施例。在该实施例中，能够根据指示规定维度布置的one_dimension_flag检查照相机的存在或者不存在。
在图11中所示的实施例中，在1维布置的情况下使用水平方向上的最大视点数目直接检查视点识别编号。在2维布置的情况下，附加地使用竖直方向上的最大视点数检查视点识别编号。
在图12中所示的实施例中，能够使用指示水平方向或者竖直方向上每列上的视点的数目是否相同的信息来检查照相机布置。首先，如果水平方向或竖直方向上每列上的视点的数目不相同，则能够通过检查竖直方向上每列上的水平方向上的视点数目来检查照相机布置。另一方面，在水平方向或竖直方向上每列上的视点的数目相同的情况下，能够根据水平/竖直方向上的最大视点的数目检查每个视点识别信息。
图13示出将图12和图7的实施例结合在一起获得的实施例。首先，如果水平或竖直方向上每列上的视点的数目不相同，则能够根据水平/竖直方向上的最大视点的数目检查照相机的存在或者不存在。另一方面，如果水平方向或竖直方向上每列上的视点的数目相同，则能够根据水平/竖直方向上的最大视点的数目检查每个视点识别编号。
图14示出将图12和图9的实施例结合在一起获得的实施例。首先，仅在根据指示布置的固定维度的标志的2维布置的情况下，能够获得指示水平方向或竖直方向上每列上的视点的数目是否相同的信息。并且，还能获得指示竖直方向上最大视点的数目的信息。另外，两个信息中的每个能够被设置为0。在图12中所示的实施例的前面描述中解释了句法的其余部分。
图15是根据本发明的实施例的多视点序列信号的整个预测结构的图以解释视点间图片组的概念。
参考图15，水平轴上的T0至T100指示根据时间的帧并且竖直轴上的S0至S7指示根据视点的帧。例如，T0处的图片指同一时区T0上由不同照相机捕获的序列，而S0处的图片指不同时区上由单个照相机捕获的序列。并且，附图中的箭头指示预测的方向以及各图片的次序。例如，时区T0上视点S2中的图片P0是从I0预测的图片，其在时区T0上视点S4中成为图片P0的参考图片。并且其在视点S2中时区T4和T2上分别成为图片B1和B2的参考图片。
对于多视点序列解码过程，可能要求视点间随机访问。因此，应通过最小化解码过程使得能够进行对随机视点的访问。在该情况下，可能需要视点间图片组的概念来执行有效率的随机访问。在图2中提到了视点间图片组的定义。例如，在图3中，如果时区T0上视点S0中的图片I0对应于视点间图片组，则同一时区即时区T0上不同视点中的所有图片能够对应于视点间图片组。对于另一示例，如果时区T8上视点S0中的图片I0对应于视点间图片组，则同一时区即时区T8上不同视点中的所有图片能够对应于视点间图片组。类似地，T16、…、T96以及T100中的所有图片也成为视点间图片组的示例。根据另一实施例，在MVC的整个预测结构中，GOP能够从I图片开始。并且，I图片与H.264/AVC兼容。因此，与H.264/AVC兼容的所有视点间图片组能够成为I图片。然而，在用P图片替换图片I的情况下，能够进行更有效率的码处理。具体地，使用GOP被使得从与H.264/AVC兼容的P图片开始的预测结构使得能够进行更有效率的码处理。
在该情况下，如果重新定义视点间图片组，则其变成能够参考同一视点中不同时区上的片段以及所有片段在同一时区上的帧中存在的片段的码处理图片。然而，参考同一视点中不同时区上的片段的情况可以被限制到仅与H.264/AVC兼容的视点间图片组。
在已经解码视点间图片组之后，在输出次序中从在视点间图片组之前解码的图片开始解码所有顺序地码处理的图片而不进行帧间预测。
考虑图15中所示的多视点视频序列的整个码处理结构，由于视点间图片组的视点间依赖性不同于非视点间图片组的视点间依赖性，因此，需要根据视点间图片组识别信息彼此区分视点间图片组和非视点间图片组。
视点间参考信息指指示哪种结构被用于预测视点间序列的信息。这能够从视频信号的数据区域获得。例如，其能够从序列参数集区域获得。并且，能够使用参考图片的数目和参考图片的视点信息获得视点间参考信息。例如，在已经获得视点的总数之后，能够基于视点的总数获得用于识别每个视点的视点识别信息。并且，能够获得视点间参考图片的数目信息，其指示用于每个视点的参考方向的参考图片的数目。根据视点间参考图片的数目信息，能够获得每个视点间参考图片的视点识别信息。
通过该方法，能够获得视点间参考信息。并且，能够以分类为视点间图片组的情况和非视点间图片组的情况的方式获得视点间参考信息。这能够使用指示当前NAL中的码处理片段是否对应于视点间图片组的视点间图片组识别信息来知道。能够从片段层区域或NAL首部的扩展区域获得视点间图片组识别信息。
根据视点间图片组识别信息获得的视点间参考信息可用于参考图片列表的构建、管理等等。
在下面的描述中，解释用于指示视点间参考信息的各种方法。
图16至20根据本发明的实施例的用于描述视点间参考信息的各种句法的图。
如图16的前面描述所述，能够通过分类为视点间图片组的情况和非视点间图片组的情况来独立地理解视点间参考信息。
图16示出能够估算在获得视点间参考信息中冗余的数据的句法结构。
参考图16，能够根据总视点数获得每个视点间参考图片的视点识别信息。在该情况下，具有view_id[0]的视点可以对应于基本视点或独立视点。如果这样，在视点间参考图片的数目信息中，L0方向上的数目变为0，其等于在L1方向上的数目。这可以以相同方式应用于视点间或非视点间图片组的情况。例如，在视点间图片组的情况下，能够建立“num_anchor_refs_l0[0]＝num_anchor_refs_l1[0]＝0’”[S1620、S1630]。在非视点间图片组的情况下，能够建立“num_non_anchor_refs_l0[0]＝num_non_anchor_refs_l1[0]＝0’”[S1650、S1660]。因此，如果i＝0，则冗余数据可以不被传输[S1610、S1640]。并且，在“i＝0”的情况下的L0/L1方向上的视点间参考图片的数目信息能够每个都被设置为0。这可以以相同方式应用于视点间或非视点间图片组的情况。
根据本发明的另一实施例，能够将视点识别信息定义为具有不同的含义。例如，视点识别信息可以指根据码处理次序分配给每个视点的视点识别编号。替代地，视点识别信息(view_id[i])可以指根据随机次序分配给每个视点的视点识别编号。替代地，视点识别信息(view_id[i])可以指根据照相机布置信息分配给每个视点的视点识别编号。
图17示出根据本发明的实施例的使用视点间图片组的预测结构和非视点间图片组的预测结构之间的相似性指示视点间参考信息的句法。
非视点间图片组的预测结构可以具有依赖于视点间图片组的预测结构的结构。因此，视点间图片组的视点间参考关系能够使用非视点间图片组的视点间参考关系来指示。
参考图17，能够获得非视点间图片组的视点间参考信息[S1710]。例如，能够获得num_non_anchor_refs_l0[i]、non_anchor_refs_l0[i][j]、num_non_anchor_refs_11[i]以及non_anchor_refs_l1[i][j]。
并且，下面的“用于”表述指示视点间图片组的视点间参考关系。在这种情况下，能够使用所获得的关于非视点间图片组的视点间参考信息。首先，通过设置用于anchor_refs_l0[i][j]的non_anchor_refs_l0[i][j]的值，能够知道非视点间参考组的参考关系[S1720]。通过获得与视点间参考图片和非视点间参考图片之间的数目差一样多的anchor_refs_l0[i][j]，能够理解视点间图片组的其余预测结构[S1730]。这可以以相同方式应用于L1方向[S1740、S1750]。
如果这样，能够建立公式6中所示的下面的关系。
[公式6]
num_anchor_refs_l0[i]≥num_non_anchor_refs_l0[i]
num_anchor_refs_l1[i]≥num_non_anchor_refs_l1[i]
当指示视点间参考关系时，视点间图片组的预测结构能够代表性地指示整个序列的预测结构。如果从视点间图片组推导非视点间图片组之间的预测关系所需要的信息，则使得能够进行更有效率的码处理。例如，在运动跳过模式的情况下，能够当非视点间图片组中的当前块使用相邻视点中的图片的运动信息时，使用视点间图片组的预测结构。具体地，能够使用从视点间图片组的预测结构中的对应图片获得的运动信息。
图18示出根据本发明的实施例的使用视点间图片组的预测结构与非视点间图片组的预测结构之间的相似性来指示视点间参考信息的句法。
图18中所示的句法结构与图17中所示的类似。然而，在图18中，能够获得指示视点间参考图片的数目和非视点间参考图片的数目之间的差的信息(num_diff_anchor_non_anchor_refs_l0[i]、num_diff_anchor_non_anchor_refs_l1[i])[S1810、S1830]。通过使用指示视点间参考图片的数目和非视点间参考图片的数目之间的差的信息获得anchor_refs_l0[i][j]，能够理解视点间图片组的其余预测结构[S1820、S1840]。在该情况下，其余预测结构可以指仅不同于非视点间图片组的结构的视点间图片组的预测结构。
图19示出根据本发明的实施例的以更简单的方式指示视点间参考关系的句法结构。
如果非视点间图片组的预测结构变为视点间图片组的预测结构的子集，则可以更加有效率。这是因为视点方向上的视点间预测仅在视点间图片组中是可能的，而在时间方向上的时间预测是不可能的。因此，可参考的是，在估算视点间序列的冗余方面最大地利用视点间预测。另一方面，在非视点间图片组中，视点方向预测和时间方向预测都是可能的。然而，通过时间方向预测的码处理增益可以比通过视点方向预测的更大。因此，可能更有效率的结构是非视点间图片组中的视点间预测关系属于视点间图片组中的视点间预测结构。
因此，非视点间图片组的预测结构可以具有依赖于视点间图片组的预测结构的结构。因此，视点间图片组的视点间参考关系能够使用非视点间图片组的视点间参考关系来表示。这在随机访问和视点分级方面同样可以是有效率的。例如，在不属于非视点间图片组的预测结构但是属于视点间图片组的预测结构的图片的情况下，由于图片不需要被解码从而其可以是有效率的。
同时，可以存在下述情况，即不存在视点间或非视点间图片组中的任何视点间预测关系。因此，视点间图片组中的视点间预测关系的缺少可以对于快速随机访问和并行处理是更有效的。并且，其可以被引入到非视点间图片组以降低复杂度。
因此，根据本发明的实施例，能够以单个格式“multiview_ref_lx”表示视点间参考关系来代替通过区分anchor_ref_lX和non_anchor_ref_lX来表示视点间参考关系[S1920、S1940]。
例如，在缺少视点间图片组中的视点间预测关系的情况下，为了包括num_anchor_refs_l0[i]＝num_anchor_refs_l1[i]＝0的情况，可以使用公式7[S1910、S1930]。
[公式7]
max(num_anchor_refs_lx[i]，num_non_anchor_refs_lx[i])
在该情况中，第i个视点中的视点间参考能够被表示为单个句法(multiview_ref_lx[i])。此外，“从0到min(num_anchor_refs_lx[i]，num_non_anchor_refs_lx[i]-1)”能够表示对于视点间图片组和非视点间图片组来说共同的参考关系。
图20示出能够估算在获得视点间参考信息中冗余的数据的句法结构。
在图19中，能够根据max(num_anchor_refs_lx[i]，num_non_anchor_refs_lx[i])的值获得视点间参考图片的视点识别信息。在该情况下，具有view_id[0]的视点可以对应于基本视点或独立视点。如果这样，在视点间参考图片的数目信息中，L0方向上的数目变为0，其等于L1方向上的数目。这也可以以相同方式应用于视点间或非视点间图片组的情况。例如，在视点间图片组的情况下，能够建立“num_anchor_refs_l0[0]＝num_anchor_refs_l1[0]＝0”。在非视点间图片组的情况下，能够建立“num_non_anchor_refs_l0[0]＝num_non_anchor_refs_l1[0]＝0”。因此，如果i＝0，则冗余数据可以不被传输[S2010]。并且，在“i＝0”的情况下的L0/L1方向上的视点间参考图片的数目信息能够每个都被设置为0。
如前述中提到的，应用了本发明的解码/编码设备被提供给要在解码音频和数据信号中使用的诸如DMB(数字多媒体广播)的用于多媒体广播的发送机/接收机等等。并且，多媒体广播发送机/接收机能够包括移动通信终端。
利用用于计算机执行的程序构造应用了本发明的解码/编码方法，并且然后将其存储在计算机可读记录介质中。并且，具有本发明的数据结构的多媒体数据能够被存储在计算机可读记录介质中。计算机可读记录介质包括用于存储能够由计算机系统读取的数据的所有种类的存储设备。计算机可读记录介质包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等等，并且还包括以载波(例如，经由因特网传输)实施的设备。并且，由编码方法生成的比特流被存储在计算机可读记录介质或者经由有线/无线通信网络传输。
工业应用性
因此，虽然已经参考其优选实施例描述并且示出了本发明，但是对于本领域技术人员来说，显而易见的是，在不偏离本发明的精神和范围的情况下能够进行各种修改和变化。因此，意在本发明涵盖所附权利要求及其等价物的范围内的本发明的修改和变化。

Claims (7)

1.一种解码视频信号中进行亮度补偿即IC的方法，包括：
当与对于当前块的亮度补偿相关联的信息在比特流中不可用时，获得所述当前块的相邻块的IC差异信息；
基于所述当前块的参考索引是否与所述相邻块的参考索引相同使用所述相邻块的所述IC差异信息推导所述当前块的IC差异信息；
基于所述当前块的所述IC差异信息，推导指示是否对所述当前块执行亮度补偿的IC标志；以及
基于所述当前块的所述IC差异信息和所述IC标志，对所述当前块执行所述亮度补偿，
其中，所述相邻块的IC差异信息是在所述相邻块和所述相邻块的参考块之间的平均像素值差，
其中，所述当前块的IC差异信息是在所述当前块和所述当前块的参考块之间的平均像素值差。
2.根据权利要求1所述的方法，其中，当所述当前块的所述IC差异信息为0时，所述当前块的所述IC标志被推导为0。
3.根据权利要求1所述的方法，其中，当所述当前块的所述IC差异信息不为0时，所述当前块的所述IC标志被推导为1。
4.根据权利要求1所述的方法，其中，当存在具有与所述当前块的参考索引相同的参考索引的一个相邻块时，所述当前块的所述IC差异信息被设置为所述相邻块的所述IC差异信息。
5.根据权利要求4所述的方法，其中，以所述当前块的上、左、右上和左上块的顺序检查所述相邻块。
6.根据权利要求1所述的方法，其中，当存在每个都具有与所述当前块的参考索引相同的参考索引的三个相邻块时，所述当前块的所述IC差异信息被设置为所述三个相邻块的IC差异信息的中间值。
7.一种用于在解码视频信号中进行亮度补偿即IC的装置，包括：
IC差异预测单元，当与对于当前块的亮度补偿相关联的信息在比特流中不可用时，所述IC差异预测单元基于所述当前块的参考索引是否与相邻块的参考索引相同使用获得的相邻块的IC差异信息推导所述当前块的IC差异信息；以及
IC单元，所述IC单元基于所述当前块的所述IC差异信息推导指示是否对所述当前块执行亮度补偿的IC标志，并且基于所述当前块的所述IC差异信息和所述IC标志对所述当前块执行亮度补偿，
其中，所述相邻块的IC差异信息是在所述相邻块和所述相邻块的参考块之间的平均像素值差，
其中，所述当前块的IC差异信息是在所述当前块和所述当前块的参考块之间的平均像素值差。
CN2008800095061A 2007-03-23 2008-03-24 用于解码/编码视频信号的方法和装置 Expired - Fee Related CN101641954B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US89663807P 2007-03-23 2007-03-23
US60/896,638 2007-03-23
US92922007P 2007-06-18 2007-06-18
US60/929,220 2007-06-18
US94764807P 2007-07-02 2007-07-02
US60/947,648 2007-07-02
US97986807P 2007-10-15 2007-10-15
US60/979,868 2007-10-15
PCT/KR2008/001631 WO2008117963A1 (en) 2007-03-23 2008-03-24 A method and an apparatus for decoding/encoding a video signal

Publications (2)

Publication Number Publication Date
CN101641954A CN101641954A (zh) 2010-02-03
CN101641954B true CN101641954B (zh) 2011-09-14

Family

ID=39788669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800095061A Expired - Fee Related CN101641954B (zh) 2007-03-23 2008-03-24 用于解码/编码视频信号的方法和装置

Country Status (6)

Country Link
US (1) US8494046B2 (zh)
EP (1) EP2130374A4 (zh)
JP (1) JP5156088B2 (zh)
KR (1) KR20100014552A (zh)
CN (1) CN101641954B (zh)
WO (1) WO2008117963A1 (zh)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
KR100922275B1 (ko) * 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
KR101460362B1 (ko) * 2007-06-25 2014-11-14 삼성전자주식회사 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
EP2238764A4 (en) * 2008-01-25 2015-04-22 Hewlett Packard Co CODE MODE SELECTION FOR BLOCK-BASED CODING
US20110182366A1 (en) * 2008-10-07 2011-07-28 Telefonaktiebolaget Lm Ericsson (Publ) Multi-View Media Data
US9066075B2 (en) * 2009-02-13 2015-06-23 Thomson Licensing Depth map coding to reduce rendered distortion
GB2477527B (en) * 2010-02-04 2015-12-23 Advanced Risc Mach Ltd Parallel parsing in a video decoder
US20110211749A1 (en) * 2010-02-28 2011-09-01 Kar Han Tan System And Method For Processing Video Using Depth Sensor Information
CN102215389B (zh) * 2010-04-09 2013-04-17 华为技术有限公司 一种局部亮度补偿的视频编解码方法及装置
KR20130108263A (ko) * 2010-09-03 2013-10-02 소니 주식회사 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법
CN103181171B (zh) * 2010-11-04 2016-08-03 皇家飞利浦电子股份有限公司 深度指示图的产生
CN103202019A (zh) * 2010-11-22 2013-07-10 索尼公司 编码装置和编码方法、以及解码装置和解码方法
CN108848379A (zh) 2010-12-07 2018-11-20 韩国电子通信研究院 视频编解码方法、生成比特流的方法和存储比特流的介质
EP2661080A4 (en) * 2010-12-31 2016-06-29 Korea Electronics Telecomm METHOD FOR CODING VIDEO INFORMATION AND METHOD FOR DECODING VIDEO INFORMATION AND DEVICE THEREFOR
US20120183077A1 (en) * 2011-01-14 2012-07-19 Danny Hong NAL Unit Header
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
KR102209693B1 (ko) 2011-02-09 2021-01-29 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
JP5833682B2 (ja) 2011-03-10 2015-12-16 ヴィディオ・インコーポレーテッド スケーラブルなビデオ符号化のための依存性パラメータセット
US9565449B2 (en) 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
CN103430529B (zh) * 2011-03-18 2017-07-11 索尼公司 图像处理设备和图像处理方法
US20120236934A1 (en) * 2011-03-18 2012-09-20 Qualcomm Incorporated Signaling of multiview video plus depth content with a block-level 4-component structure
US20120268551A1 (en) * 2011-04-19 2012-10-25 Ben Wu Image Interaction Device, Interactive Image Operating System, and Interactive Image Operating Method thereof
CN104980756A (zh) 2011-06-28 2015-10-14 三星电子株式会社 根据像素分类使用偏移调整的视频解码方法及其设备
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
EP2751998A4 (en) * 2011-08-30 2015-08-12 Intel Corp CODING SCHEMES FOR MORE VIEWED VIDEOS
JP6039178B2 (ja) * 2011-09-15 2016-12-07 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
US9838692B2 (en) 2011-10-18 2017-12-05 Qualcomm Incorporated Detecting availabilities of neighboring video units for video coding
US9077998B2 (en) 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US9124895B2 (en) 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
US9451287B2 (en) 2011-11-08 2016-09-20 Qualcomm Incorporated Context reduction for context adaptive binary arithmetic coding
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
ES2728146T3 (es) 2012-01-20 2019-10-22 Sun Patent Trust Procedimientos y aparato de codificación y decodificación de vídeo utilizando predicción temporal de vector de movimiento
TW201342884A (zh) * 2012-01-31 2013-10-16 Sony Corp 編碼裝置及編碼方法、以及解碼裝置及解碼方法
PL2811743T3 (pl) 2012-02-03 2021-09-13 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów, urządzenie do dekodowania obrazów i urządzenie do kodowania/dekodowania obrazów
WO2013132792A1 (ja) 2012-03-06 2013-09-12 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
GB2500023A (en) * 2012-03-06 2013-09-11 Queen Mary & Westfield College Coding and Decoding a Video Signal Including Generating and Using a Modified Residual and/or Modified Prediction Signal
JP2013211776A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
DK3051824T3 (da) 2012-04-12 2020-05-11 Velos Media Int Ltd Håndtering af udvidelsesdata
CA2870067C (en) * 2012-04-16 2017-01-17 Nokia Corporation Video coding and decoding using multiple parameter sets which are identified in video unit headers
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
EP2868089B1 (en) * 2012-06-28 2017-12-20 HFI Innovation Inc. Method and apparatus of disparity vector derivation in 3d video coding
CN102752595B (zh) * 2012-06-29 2014-07-09 香港应用科技研究院有限公司 用于深度图编码和解码的混合型跳过模式
US9313500B2 (en) 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
US20140098851A1 (en) * 2012-10-04 2014-04-10 Qualcomm Incorporated Indication of video properties
US20150245063A1 (en) * 2012-10-09 2015-08-27 Nokia Technologies Oy Method and apparatus for video coding
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
US20150304676A1 (en) * 2012-11-07 2015-10-22 Lg Electronics Inc. Method and apparatus for processing video signals
US9615090B2 (en) * 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding
US9584792B2 (en) 2013-01-04 2017-02-28 Qualcomm Incorporated Indication of current view dependency on reference view in multiview coding file format
CN104982038B (zh) * 2013-01-09 2018-09-28 Lg 电子株式会社 处理视频信号的方法和设备
US9277200B2 (en) * 2013-01-17 2016-03-01 Qualcomm Incorporated Disabling inter-view prediction for reference picture list in video coding
US9635357B2 (en) * 2013-02-26 2017-04-25 Qualcomm Incorporated Neighboring block disparity vector derivation in 3D video coding
US20160037177A1 (en) * 2013-04-05 2016-02-04 Samsung Electronics Co., Ltd. Interlayer video encoding method and apparatus and interlayer video decoding method and apparatus for compensating luminance difference
KR102300036B1 (ko) 2013-04-11 2021-09-08 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
CN104604227A (zh) * 2013-07-12 2015-05-06 索尼公司 图像处理装置和图像处理方法
US9860529B2 (en) * 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
WO2015056961A1 (ko) * 2013-10-14 2015-04-23 삼성전자 주식회사 휘도 보상 여부에 따른 뷰 합성 예측 적용 방법 및 장치
KR101761523B1 (ko) * 2013-10-17 2017-07-25 미디어텍 인크. 멀티뷰 및 3차원 비디오 코딩시의 모션 정보 예측 및 상속 방법
EP3073739A4 (en) * 2013-12-20 2017-08-02 Samsung Electronics Co., Ltd. Video encoding method using inter-view prediction and device thereof, and video decoding method and device thereof
WO2015184605A1 (en) * 2014-06-04 2015-12-10 Mediatek Singapore Pte. Ltd. Depth coding compatible with arbitrary bit-depth
EP3468194A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction
US10708626B2 (en) * 2018-11-19 2020-07-07 Google Llc Iterative IDCT with adaptive non-linear filtering
JP2022514646A (ja) * 2018-12-19 2022-02-14 デックスコム・インコーポレーテッド 断続的監視
US20230097425A1 (en) * 2021-09-29 2023-03-30 Tencent America LLC Techniques for signaling multiview view positions in sei message

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005020584A1 (en) * 2003-08-13 2005-03-03 Apple Computer, Inc. Method and system for pre-processing of video sequences to achieve better compression
JP4321287B2 (ja) * 2004-02-10 2009-08-26 ソニー株式会社 撮影装置および撮影方法、並びに、プログラム
US7924923B2 (en) * 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
WO2007081176A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
US20100232507A1 (en) * 2006-03-22 2010-09-16 Suk-Hee Cho Method and apparatus for encoding and decoding the compensated illumination change
KR100949979B1 (ko) * 2006-03-30 2010-03-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR100922275B1 (ko) * 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
CN101578874B (zh) * 2007-01-04 2011-12-07 汤姆森特许公司 用于减少多视图编码视频中的照度补偿和/或色彩补偿的编码伪像的方法和装置
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data

Also Published As

Publication number Publication date
JP5156088B2 (ja) 2013-03-06
US20100098157A1 (en) 2010-04-22
EP2130374A1 (en) 2009-12-09
US8494046B2 (en) 2013-07-23
KR20100014552A (ko) 2010-02-10
JP2010522494A (ja) 2010-07-01
CN101641954A (zh) 2010-02-03
EP2130374A4 (en) 2011-03-02
WO2008117963A1 (en) 2008-10-02

Similar Documents

Publication Publication Date Title
CN101641954B (zh) 用于解码/编码视频信号的方法和装置
CN101931806B (zh) 用于多视角视频编码的方法和装置
JP6501808B2 (ja) 高い分割自由度を伴う効果的なパーティション符号化
US9883161B2 (en) Compression methods and apparatus for occlusion data
CN101690220B (zh) 用于解码/编码视频信号的方法和装置
CN101785317B (zh) 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
CN101779471B (zh) 在多视图编码的视频中进行错误隐藏的方法和装置
EP3163880A1 (en) Device and method for eliminating redundancy of view synthesis prediction candidate in motion merge mode
CN104247427A (zh) 使用分区编码的有效预测
CN101523920B (zh) 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法
CN101617537A (zh) 用于处理视频信号的方法和装置
JP2014528190A (ja) カメラおよび／または深度パラメータのシグナリング
WO2015007242A1 (en) Method and apparatus of camera parameter signaling in 3d video coding
EP2984841B1 (en) Constructing inter-layer reference picture lists
KR20070098429A (ko) 비디오 신호의 디코딩 방법
Zhang et al. Block-based in-loop view synthesis for 3-D video coding
KR20150114913A (ko) 변이 벡터를 사용한 병합 움직임 후보 유도 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110914

Termination date: 20180324