CN104541507A - 处理视频信号的方法和装置 - Google Patents

处理视频信号的方法和装置 Download PDF

Info

Publication number
CN104541507A
CN104541507A CN201380036986.1A CN201380036986A CN104541507A CN 104541507 A CN104541507 A CN 104541507A CN 201380036986 A CN201380036986 A CN 201380036986A CN 104541507 A CN104541507 A CN 104541507A
Authority
CN
China
Prior art keywords
view
block
current texture
mark
texture block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380036986.1A
Other languages
English (en)
Inventor
郑志旭
芮世薰
具文模
许镇
金兑燮
成宰源
孙银庸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104541507A publication Critical patent/CN104541507A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种用于处理视频信号的方法和装置，包括获得当前纹理块的预测值以及使用第一补偿系数和第二补偿系数在用于所述当前纹理块的预测值上执行视图间补偿。使用当前纹理块的相邻像素和参考块的相邻像素获得该第一补偿系数。使用当前纹理块的相邻像素和参考块的相邻像素以及该第一补偿系数获得该第二补偿系数。本发明的方法和装置补偿在多视图图像捕获期间由诸如光照或相机等成像条件所导致的视图间差，以便获得视图间帧间预测的改进精度。

Description

处理视频信号的方法和装置
技术领域
本发明涉及一种用于编码视频信号的方法和装置。
背景技术
压缩编码是指经由通信电路传送数字化信息或者以适合存储介质的格式存储数字化信息的一系列信号处理技术。压缩编码的对象包括音频、视频、文本等。特别地，执行视频压缩编码的技术被称为视频序列压缩。多视图视频序列一般特征在于具有空间冗余、时间冗余以及视图间冗余。
发明内容
技术问题
本发明的技术任务是提升视频信号的编码效率。
技术方案
本发明特征在于，通过在当前纹理块的预测值上执行视图间补偿处理，来提升视图间帧间预测的精度。
本发明使用当前纹理块的相邻像素值和参考块的相邻像素值执行视图间补偿处理，能够获得第一修正系数和第二修正系数。
本发明通过将当前图片和参考图片的像素值分布差彼此比较，能够确定是否执行视图间补偿。
本发明通过将当前图片和参考图片的SAD与像素值的预定阈值彼此比较，能够确定是否执行视图间补偿。
本发明通过将归一化相关值与预定阈值彼此比较，能够确定是否执行视图间补偿。
有益效果
本发明特征在于：通过补偿在摄制多视图视频中处于诸如照明、相机等拍摄环境下产生的视图间差，来提升视图间帧间预测的精度。
本发明通过确定是否执行视图间补偿处理，能够防止可能从视图间补偿处理中产生的编码性能劣化以及复杂度提高。
附图说明
图1是根据本发明的一个实施例的视频解码器的示意框图。
图2是根据本发明的一个实施例的作为一种帧间预测类型的时间帧间预测的一个示例的图。
图3是根据本发明的一个实施例的作为一种帧间预测类型的视图间帧间预测的一个示例的图。
图4是根据本发明的一个实施例在视图间差补偿处理期间使用的当前纹理块、参考块、当前纹理块的相邻像素、参考块的相邻像素的一个示例的图。
图5是根据本发明的一个实施例的当前图片的直方图和参考图片的直方图的一个示例的图。
图6是根据本发明的一个实施例的视图间补偿方法的流程图。
图7是根据本发明的一个实施例的用于获取视图间补偿标记的方法的图。
具体实施方式
本发明涉及一种视频信号处理方法和装置，包括获得视图间运动矢量，使用该视图间运动矢量获得参考块，该参考块位于参考视图中；使用参考块获取当前纹理块的预测值，获得第一补偿系数；获得第二补偿系数，使用该第一补偿系数和第二补偿系数，视图间补偿当前纹理块的预测值，以及使用经视图间补偿的当前纹理块的预测值解码当前纹理块，其中使用当前纹理块的相邻像素以及参考块的相邻像素获得第一补偿系数，以及其中使用当前纹理块的相邻像素和该参考块的相邻像素以及第一补偿系数，获得第二补偿系数。
本发明涉及一种视频信号处理方法和装置，其特征在于：进一步包括获得视图间补偿标记以及使用该视图间补偿标记确定存在或者不存在视图间补偿的步骤。
本发明涉及一种视频信号处理方法和装置，其特征在于该视图间补偿标记从片报头获得。
本发明涉及一种视频信号处理方法和装置，其特征在于该视图间补偿标记从图片参数集和视频参数集的一个中获得。
本发明涉及一种视频信号处理方法和装置，其特征在于使用具有当前纹理块被包括在其中的当前图片的像素值以及具有参考块被包括在其中的参考图片的像素值之间的差，获得视图间补偿标记。
本发明涉及一种视频信号处理方法和装置，其特征在于通过比较具有当前纹理块被包括在其中的当前图片的像素值与具有参考块被包括在其中的参考图片的像素值之间的差的绝对值的和与预定阀值，获得视图间补偿标记。
本发明涉及一种视频信号处理方法和装置，其特征在于从通过当前纹理块的视图间帧间预测编码的相邻块获得视图间补偿标记。
本发明涉及一种视频信号处理方法和装置，其特征在于相邻块包括空间相邻块以及时间相邻块。
发明模式
首先，多视图视频信号数据的压缩编码或解码考虑空间冗余、时间冗余以及视图间冗余。而且，在多视图视频的情况下，能够编码从至少两个视图得到的多视图纹理视频，从而实现三维视频。此外，可以能够进一步编码对应于多视图纹理视频的深度数据。在编码深度数据时，可以考虑空间冗余、时间冗余或者视图间冗余而执行压缩编码是理所当然的。深度数据表示关于照相机和对应像素之间距离的距离信息。在本说明书中，深度数据可以被灵活地解析为深度相关信息，例如深度信息、深度视频、深度图片、深度序列、深度比特流等。在本说明书中，编码可以包括编码和解码二者的概念。并且，编码可以被灵活解析为对应于本发明的技术思想和范围。
图1是根据本发明的一个实施例的视频解码器的示意框图。
参看图1，视频解码器可以包括NAL解析单元100、熵解码单元200、去量化/逆变换单元300、帧内预测单元400、环路滤波器500、解码图片缓存单元600以及帧间预测单元700。NAL解析单元100可以接收包含多视图纹理数据的比特流。如果深度数据被要求用于纹理数据的编码，则NAL解析单元100可以进一步接收具有已编码深度数据的比特流。在这么做的过程中，所输入的纹理数据以及所输入的深度数据可以作为单个比特流或单独的比特流被传输。NAL解析单元100可以由NAL单元执行解析，以解码所输入的比特流。如果所输入的比特流是多视图相关数据(例如，三维视频)，则所输入的比特流可以进一步包括照相机参数。该照相机参数可以被划分为内在照相机参数或者外在照相机参数。该内在照相机参数可以包含焦距、宽高比、主点等。并且，该外在照相机参数可以包含照相机在世界坐标系统中的位置信息等。
熵解码单元200可以提取贯穿熵解码的量化变换系数、用于纹理图片预测的编码信息等。
去量化/逆变换单元300通过应用量化参数至量化变换系数，获得变换系数，之后通过逆变换该变换系数，能够解码纹理数据或者深度数据。在这种情况下，所解码的纹理或深度数据可以包括根据预测处理的残差数据。此外，用于深度块的量化参数可以考虑纹理数据的复杂度而设置。例如，如果对应于深度块的纹理块是高复杂度区域，则可以设置低量化参数。如果对应于深度块的纹理块是低复杂度区域，则可以设置高量化参数。
帧内预测单元400可以使用当前纹理图片中的重构纹理数据执行屏内预测。可以按纹理图片的相同方式在深度图片上执行屏内预测。例如，用于纹理图片的屏内预测的编码信息可以被相同地用于深度图片。在该情况下，用于屏内预测的编码信息可以包括帧内预测模式和帧内预测的分段信息。
环内滤波器单元500可以应用环内滤波器到每个编码块以降低块失真效应。通过平滑块边缘，滤波器能够改进解码图片的图片质量。滤波后的纹理或深度图片可以被输出到或者存储在解码图片缓冲单元600中，以用作参考图片。
解码图片缓冲单元600在存储或者打开先前编码的纹理或深度图片以执行屏间预测中发挥作用。在如此做的过程中，能够使用每个图片的frame_num和POC(图片顺序计数)以在解码图片缓冲单元600中打开或者保存。此外，由于在不同于当前深度图片的视图中的深度图片可以存在于深度编码中的先前编码图片之中，可以能够使用用于识别深度图片的视图的视图识别信息，以便利用不同视图中的深度图片作为参考图片。在深度编码中，深度图片可以用单独的指示标记，从而区别于解码图片缓冲单元中的纹理图片或用于识别每个深度图片的信息可以用于该标记处理。
帧间预测单元700可以使用保存在解码图片缓冲单元600中的参考图片以及运动信息来执行当前块的运动补偿。
图2是根据本发明的一个实施例作为一种帧间预测的时间帧间预测的一个示例图。
时间帧间预测可以表示使用位于不同于当前纹理块以及当前纹理块的运动信息的时隙中的当前纹理块的同一视图的参考图片的帧间预测。
在本说明书中，为了清楚和方便理解，时间运动信息可以被灵活解析为包含时间运动矢量信息以及时间参考索引信息的概念。
图3是根据本发明的一个实施例作为一种帧间预测的视图间帧间预测的一个示例的图。
在通过多个照相机拍摄多视图视频的情况下，对应于不同视图之间的帧间预测的视图间帧间预测可以被进一步同时间帧间预测一样地执行。
视图间帧间预测可以表示使用位于不同于当前纹理块和当前纹理块的运动信息的视图的参考图片的帧间预测。
在本说明书中，为了清楚和便于理解，用于视图间帧间预测的视图间运动信息能够被灵活解析为包含视图间运动矢量信息以及视图间参考索引信息的概念。
下文描述了确定相邻块是否被视图间帧间预测编码的方法。
根据本发明的一个实施例，基于对应的相邻块是否使用视图间参考图片列表，可以确定相邻块是否由视图间帧间预测编码。在该情形下，视图间参考图片列表可以表示配置有位于不同于对应的相邻块的视图的参考图片的列表。可替选地，也可以基于对应的相邻块的参考索引信息，确定相邻块是否由视图间帧间预测编码。例如，如果对应相邻块的参考索引信息指定位于不同于对应相邻块的视图中的参考图片，则能够指定由视图间帧间预测编码对应的相邻块。可替选地，可以基于具有对应相邻块的图片的POC是否等于对应相邻块的参考图片的POC，确定相邻块是否由视图间帧间预测编码。POC是输出顺序信息，同一接入单元中的图片可以具有相同的POC。所以，如果两个POC彼此相同，则可以表示具有相邻块的图片和参考图片分别位于不同视图中。在该情况下，对应的相邻块可以被指定为通过视图间帧间预测编码。
在对应于不同视图之间的预测的视图间帧间预测的情况中，参考块从对应于不同于当前视图的视图的参考视图中发现，并且参考块的像素值被用作当前纹理块的预测值。当通过视图间帧间预测执行编码时，如果参考视图中的参考块被用作预测值，则因为取决于诸如每个不同的视图中的照度的用于拍摄多视图视频的拍摄条件、在每个不同视图中的照相机特征等导致的视图间差，视图间帧间预测的精度可能被降低，所以补偿该差是必要的。当进行视图间帧间预测时，通过补偿视图间差的处理，能够提高视图间帧间预测的精度。
下文描述了补偿视图间差的处理。
图4是根据本发明的一个实施例，在视图间差补偿处理期间使用的当前纹理块、参考块、当前纹理块的相邻像素、参考块的相邻像素的一个示例的图。
当前纹理块可以指示当前试图被编码的块。参考块可以指示，在当前纹理块的同一时间位于不同于当前纹理块的视图中的块。当前纹理块的相邻块可以指示当前纹理块的左像素和当前纹理块的右像素中的至少一个。参考块的相邻像素可以指示参考块的左像素和参考块的右像素中的至少一个。
在解码当前纹理块的情况中，参考块的像素值可以被用作当前纹理块的预测值。通过反映在不同视图中的当前纹理块的相邻像素值以及参考块的相邻像素值，能够从公式1中获得当前纹理块的经补偿的预测值。
公式1
Pred[x，y]＝α×Ref[x，y]+β
在公示1中，[x，y]表示位于参考块以及当前纹理块中的坐标。Ref[x，y]表示参考块的像素值，并且Pred[x，y]表示当前纹理块的预测值。A指示第一补偿系数，并且β指示第二补偿系数。可以从当前纹理块的相邻像素以及参考块的相邻像素中获得α和β。获取α和β的方法可以包括通过线性最小平方获得公式2的解的方法。
公式2
α = I × Σ i = 0 I Pred N ( i ) Ref N ( i ) - Σ i = 1 I Pred N ( i ) × Σ i = 1 I Ref N ( i ) I × Σ i = 1 I Pred N ( i ) Ref N ( i ) - ( Σ i = 1 I Ref N ( i ) ) 2 = A 1 A 2
β = Σ i = 1 I Pred N ( i ) - α Σ i = 1 I Ref N ( i ) I
使用对应于当前块的预测值的相邻像素值的PredN(i)以及对应于参考块的像素值的相邻像素值的RefN(i)，能够从公式2中获得α。使用对应于当前纹理块的预测值的相邻像素值的PredN(i)、对应于参考块的像素值的相邻像素值的RefN(i)以及α能够从公式2中获得β。在公式2中，“i”表示分配给当前块的相邻像素以及参考块的相邻像素的索引。PredN(i)表示当前纹理块的相邻像素值，并且RefN(i)表示参考块的相邻像素值。
在视图间图片之间的像素值的分布差不大的情况下，视图间补偿可以带来编码性能的降低以及复杂度的增大。因此，通过定义指示是否参考当前编码的图片和视图间参考图片之间的像素分布差来执行视图间补偿的视图间补偿标记，能够防止这样的劣化。
图5是根据本发明的一个实施例的当前图片的直方图以及参考图片的直方图的一个示例的图。
作为计算分布差方法的一个示例，存在一种使用每个当前图片和参考图片的绝对差的和(SAD)的直方图方法。绝对差的和(SAD)指示各个像素的差的绝对值的和。
指示当前图片和参考图片的像素值分布的直方图被创建。该直方图指示在每个图片中对应的像素值出现的数量。
当前图片和参考图片的每个的直方图的每个像素值的差被找到，并且这些差的绝对值被相加在一起。
如果直方图的绝对差的和(SAD)等于或者大于预定阈值，则视图间补偿标记被设置为1以执行补偿。如果直方图的绝对差的和(SAD)小于预定阈值，则视图间补偿标记被设置为0，不执行补偿。
此外，可以使用通过将归一化相关值与预定阈值彼此比较来确定是否执行视图间补偿的方法。通过当前图片的自相关值来划分当前图片和参考图片的像素之间的互相关值，能够获得归一化相关值。能够从参考图片和当前图片的各个像素的乘积的和中获得互相关值。而且，能够从当前图片的像素的乘积的和中获得自相关值。
如果归一化的相关值等于或大于预定阈值，则视图间补偿标记被设置为1以执行补偿。如果归一化的相关值小于预定阈值，则视图间补偿标记被设置为0，不执行补偿。
此外，能够从图片参数集(PS)或视频参数集(VPS)中获得视图间补偿标记。编码器使得视图间补偿标记能够被包含在图片参数集或者视频参数集中，之后发送包含视图间补偿标记的集合至解码器。在包含当前纹理块的当前片具有不同于上一级(例如，图片参数集、视频参数集等)的视图间补偿标记信息的情况下，视图间补偿标记被包含在片报头中，并且包含视图间补偿标记的片报头随后能够被传输至解码器。因此，解码器能够从图片参数集或视频参数集中获得视图间补偿标记，或者能够从片报头中获得视图间补偿标记。如果图片参数集或视频参数集的视图间补偿标记不同于片报头的视图间补偿，则解码器可以使用片报头的视图间补偿标记执行决定。
图6是根据本发明的一个实施例的视图间补偿方法的流程图。
能够获得用于指定参考块的视图间运动矢量[S600]。视图间运动矢量可以被定义为指示来自当前纹理块的参考块的矢量。参考块可以被包含在不同于当前纹理块的视图的参考视图中。视图间运动矢量可以从当前纹理块的空间或时间相邻块中获得。
空间相邻块可以包括当前纹理块的左下相邻块、左相邻块、右上相邻块、上相邻块以及左上相邻块中的至少一个。并且，能够考虑空间相邻块中的优先级来搜索视图间运动矢量。因此，能够按照左相邻块、上相邻块、右上相邻块、左下相邻块和左上相邻块的顺序，执行空间相邻块搜索。例如，在试图从相邻块导出当前纹理块的视图间运动矢量的情况下，如果左相邻块由视图间帧间预测进行块编码，则左相邻块的视图间运动矢量被作为当前纹理块的视图间运动矢量而获得，随后终止相应的搜索。此外，作为搜索结果，如果左相邻块不是按视图间帧间预测编码，则能够检查上相邻块是否由视图间帧间预测编码。可替选地，能够按照左下相邻块、左相邻块、右上相邻块、上相邻块和左上相邻块的顺序执行搜索，直到找到由视图间帧间预测编码的块。此外，空间相邻块的优先级不受上文描述的实施例的限制。
时间相邻块可以被定义为参考图片的块，其包括对应于当前纹理块的中心像素位置的位置。在这一情况下，参考图片是在包含当前纹理块的当前图片的同一视图中不同时间的图片。本发明的时间相邻块不受协同定位块的限定，并且可以表示邻近协同定位块的相邻块。同时，能够考虑上文提及的时间相邻块候选(例如a)协同定位的块、b)邻近协同定位块的相邻块)以及优先级，搜索时间相邻块。
此外，能够使用对应于当前纹理块的深度数据获得视图间运动矢量。使用深度数据和照相机参数，能够导出当前纹理块的变化矢量[S520]。具体的导出方法将根据下文的公式3和公式4描述。
[公式3]
Z = 1 D 255 × ( 1 Z near - 1 Z far ) + 1 Z far
参看公式3，Z表示到对应像素的照相机的距离。D是Z的量化值，并且对应本发明的深度数据。Znear和Zfar分别表示为深度图片所属于的视图定义的z的最小值和最大值。此外，Znear和Zfar可以通过序列参数集、片报头等从比特流中提取，或者可以是先前在解码器中定义的信息。因此，如果到对应像素的照相机的距离z被量化为256个等级，则能够使用类似公式3的深度数据、Znear和Zfar重构z。随后，使用类似公式4的重构z能够导出用于当前纹理块的变化矢量。
[公式4]
d = f × B 2
在公式4中，f表示照相机的焦距，并且B表示照相机之间的距离。能够假定，对于所有照相机，f和B相同。因此，f和B可以对应先前在解码器中定义的信息。
使用视图间运动矢量能够指定参考块的位置，并且使用参考块能够获得当前纹理块的预测值[S610]。当前纹理块中的视图间运动矢量指示的参考块可以被确定为参考块。参考块可以同时位于不同于当前纹理块的视图中。参考块的像素值可以作为当前纹理块的预测值而获得。在步骤S610中获得的当前纹理块的预测值可以等于参考块的像素值。
使用当前纹理块的相邻像素以及参考块的相邻像素，能够获得补偿系数[S620]。使用如图4描述的当前纹理块、参考块、当前纹理块的相邻像素以及参考块的相邻像素，能够获得补偿当前纹理块的预测值的补偿系数。使用公式2能够获得系数值。补偿系数可以包括第一补偿系数和第二补偿系数。在本发明中，α可以被定义为第一补偿系数，并且β可以被定义为第二补偿系数。
使用补偿系数能够补偿当前纹理块的预测值[S630]。使用在步骤S620中获得的补偿系数，能够通过公式1补偿当前纹理块的预测值。
使用补偿过的预测值能够解码当前纹理块[S640]。能够进一步获得当前纹理块的残差。并且，使用所获得的残差以及步骤S630中的补偿后的预测值，能够解码当前纹理块。
在使用当前纹理块的相邻像素以及参考块的相邻像素获得补偿系数的步骤S620之前，能够增加获得视图间补偿标记的步骤。视图间补偿标记是指示是否在当前纹理块的预测值上执行视图间补偿步骤的信息。例如，如果视图间补偿标记被设置为1，则通过执行视图间补偿步骤，能够执行获得第一补偿系数和第二补偿系数的步骤。如果视图间补偿标记被设置为0，则视图间补偿步骤可能不会执行，或者第一补偿系数和第二补偿系数可能被分别设置为1和0。在下文说明书中，描述获得视图间补偿标记的方法。
图7是根据本发明的一个实施例获得视图间补偿标记的方法的图。
当前图片的像素值以及参考图片的像素值的分布被获得[S611]。当前图片表示具有其中包含当前纹理块的图片，以及参考图片表示具有其中包含参考块的图片。当前块的像素值以及参考图片的像素值的分布可以作为图5所示的直方图被呈现。直方图中的像素值分布可以被表示为对应图片中对应像素值的计数。
当前和参考图片的像素值之间的差的绝对值被加在一起[S612]。使用步骤S611中获得的直方图，当前图片数和参考图片数之间的差从每个像素值中获得。通过将各个像素值的差的绝对值相加在一起，获得绝对差的和(SAD)。
通过将绝对差的和与预定阈值彼此比较，视图间补偿标记被获得[S613]。如果在步骤S612中获得的绝对差的和大于预定阈值，则其指示当前图片和参考图片之间的差大。如果在步骤S612中获得的绝对差的和小于预定阈值，则其指示当前图片和参考图片之间的差小。如果绝对差的和大于预定阈值，则需要补偿当前图片和参考图片之间的差。因此，通过设置视图间补偿标记为1，能够设置要被执行的视图间补偿步骤。相反，如果绝对差的和小于预定阈值，则不需要补偿当前图片和参考图片之间的差。因此，通过设置视图间补偿标记为0，能够设置不被执行的视图间补偿步骤。可替选地，通过设置视图间补偿标记为0，第一补偿系数和第二补偿系数可以被分别设置为1和0。
在解码当前纹理块的情况下，通过使用将从编码器传输的视图间补偿标记传输到解码器的方法或者解码器中的视图间补偿标记获得方法，能够导出视图间补偿标记。
在解码设备的情况下，帧间预测单元获得视图间运动矢量，使用视图间运动矢量获得参考块，以及使用参考块获得当前纹理块的预测值。在帧间预测单元中，使用当前纹理块的相邻像素以及参考块的相邻像素可以获得第一补偿系数，并且使用当前纹理块的相邻像素、参考块的相邻像素以及第一补偿系数，可以获得第二补偿系数。在帧间预测单元中，使用第一补偿系数和第二补偿系数在当前纹理块的预测值上执行视图间补偿，并且使用当前纹理块的视图间补偿预测值可以解码当前纹理块。
随后，帧间预测单元获得视图间补偿标记，之后能够使用视图间补偿标记确定是否要执行视图间补偿。
如前文说明书提及的，根据本发明的解码/编码装置可以被提供至用于诸如DMB的多媒体广播的发射器/接收器，以用于解码视频和数据信号等。而且，多媒体广播发射器/接收器可以包括移动通信终端。
根据本发明的解码/编码方法可以被配置有用于计算机执行的程序，并且随后保存在计算机可读记录介质中。而且，具有本发明数据结构的多媒体数据可以被存储在计算机可读记录介质中。计算机可读记录介质包括用于存储可以由计算机系统读取的数据的所有种类的存储设备中。计算机可读记录介质包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等，还包括利用载波实现的设备(例如经由互连网传输)。而且，编码方法生成的比特流被存储在计算机可读记录介质中，或者经由有线/无线通信网络被传输。
工业实用性
本发明可以应用于编码视频信号。

Claims (15)

1.一种处理视频信号的方法，包括以下步骤：
获得视图间运动矢量；
使用所述视图间运动矢量获得参考块，所述参考块位于参考视图中；
使用所述参考块获得当前纹理块的预测值；
获得第一补偿系数；
获得第二补偿系数；
使用所述第一补偿系数和所述第二补偿系数对所述当前纹理块的预测值进行视图间补偿；以及
使用所述视图间补偿的当前纹理块的预测值解码所述当前纹理块，
其中，使用所述当前纹理块的相邻像素和所述参考块的相邻像素获得所述第一补偿系数，以及
其中，使用所述当前纹理块的相邻像素、所述参考块的相邻像素以及第一补偿系数获得所述第二补偿系数。
2.根据权利要求1所述的方法，进一步包括以下步骤：
获得视图间补偿标记；以及
使用所述视图间补偿标记确定是否存在视图间补偿。
3.根据权利要求2所述的方法，其中，从片报头获得所述视图间补偿标记。
4.根据权利要求2所述的方法，其中，从图片参数集和视频参数集中的一个获得所述视图间补偿标记。
5.根据权利要求2所述的方法，其中，使用具有所述当前纹理块被包括在其中的当前图片的像素值与具有所述参考块被包括在其中的参考图片的像素值之间的差，获得所述视图间补偿标记。
6.根据权利要求2所述的方法，其中，通过将具有所述当前纹理块被包括其中的当前图片的像素值与具有所述参考块被包括其中的参考图片的像素值之间的差的绝对值的和与预定阈值比较，获得所述视图间补偿标记。
7.根据权利要求1所述的方法，其中，从通过所述当前纹理块的视图间帧间预测编码的相邻块获得所述视图间补偿标记。
8.根据权利要求7所述的方法，其中，所述相邻块包括空间相邻块和时间相邻块。
9.一种处理视频信号的装置，包括：
帧间预测单元，所述帧间预测单元获得视图间运动矢量；
所述帧间预测单元使用所述视图间运动矢量获得参考块，所述参考块位于参考视图中，使用所述参考块获得当前纹理块的预测值，获得第一补偿系数；获得第二补偿系数，使用所述第一补偿系数和所述第二补偿系数对所述当前纹理块的预测值进行视图间补偿，并且使用所述视图间补偿的当前纹理块的预测值解码所述当前纹理块，
其中，使用所述当前纹理块的相邻像素和所述参考块的相邻像素获得所述第一补偿系数；以及
其中，使用所述当前纹理块的相邻像素、所述参考块的相邻像素以及所述第一补偿系数获得所述第二补偿系数。
10.根据权利要求9所述的装置，进一步包括：
所述帧间预测单元获得视图间补偿标记，并使用所述视图间补偿标记确定是否存在视图间补偿。
11.根据权利要求10所述的装置，其中，从片报头获得所述视图间补偿标记。
12.根据权利要求10所述的装置，其中，从图片参数集和视频参数集中的一个获得所述视图间补偿标记。
13.根据权利要求10所述的装置，其中，使用具有所述当前纹理块被包括在其中的当前图片的像素值与具有所述参考块被包括在其中的参考图片的像素值之间的差，获得所述视图间补偿标记。
14.根据权利要求10所述的装置，其中，通过将具有所述当前纹理块被包括其中的当前图片的像素值与具有所述参考块被包括在其中的参考图片的像素值之间的差的绝对值的和与预定阈值进行比较，获得所述视图间补偿标记。
15.根据权利要求9所述的装置，其中，从通过所述当前纹理块的视图间帧间预测编码的相邻块获得所述视图间补偿标记，并且其中所述相邻块包括空间相邻块和时间相邻块。
CN201380036986.1A 2012-07-11 2013-07-10 处理视频信号的方法和装置 Pending CN104541507A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261670145P 2012-07-11 2012-07-11
US61/670,145 2012-07-11
PCT/KR2013/006131 WO2014010935A1 (ko) 2012-07-11 2013-07-10 비디오 신호 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
CN104541507A true CN104541507A (zh) 2015-04-22

Family

ID=49916306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380036986.1A Pending CN104541507A (zh) 2012-07-11 2013-07-10 处理视频信号的方法和装置

Country Status (11)

Country Link
US (1) US20150195569A1 (zh)
EP (1) EP2854393A4 (zh)
JP (1) JP2015527806A (zh)
KR (1) KR20150034729A (zh)
CN (1) CN104541507A (zh)
AU (1) AU2013287481B2 (zh)
CA (1) CA2878160C (zh)
IN (1) IN2014KN03053A (zh)
MX (1) MX340482B (zh)
RU (1) RU2609753C2 (zh)
WO (1) WO2014010935A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017036422A1 (en) * 2015-09-06 2017-03-09 Mediatek Inc. Method and apparatus of prediction offset derived based on neighbouring area in video coding
CN111031319A (zh) * 2019-12-13 2020-04-17 浙江大华技术股份有限公司 一种局部光照补偿预测方法、终端设备及计算机存储介质
CN113365000A (zh) * 2020-03-04 2021-09-07 爱思开海力士有限公司 图像感测设备及其操作方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2733933A1 (en) * 2012-09-19 2014-05-21 Thomson Licensing Method and apparatus of compensating illumination variations in a sequence of images
US9800895B2 (en) * 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
US11087656B2 (en) 2019-08-15 2021-08-10 Samsung Display Co., Ltd. Fully differential front end for sensing
US11069282B2 (en) 2019-08-15 2021-07-20 Samsung Display Co., Ltd. Correlated double sampling pixel sensing front end
US11250780B2 (en) 2019-08-15 2022-02-15 Samsung Display Co., Ltd. Estimation of pixel compensation coefficients by adaptation
US11081064B1 (en) 2020-01-13 2021-08-03 Samsung Display Co., Ltd. Reference signal generation by reusing the driver circuit
US11257416B2 (en) 2020-02-14 2022-02-22 Samsung Display Co., Ltd. Voltage mode pre-emphasis with floating phase
US11719738B2 (en) 2020-10-15 2023-08-08 Samsung Display Co., Ltd. Two-domain two-stage sensing front-end circuits and systems
CN113014905B (zh) * 2021-02-24 2023-04-14 北京金山云网络技术有限公司 图像帧的生成方法及装置、存储介质、电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375594A (zh) * 2006-01-12 2009-02-25 Lg电子株式会社 处理多视图视频
WO2011037420A2 (ko) * 2009-09-25 2011-03-31 에스케이텔레콤 주식회사 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US20110286678A1 (en) * 2009-02-12 2011-11-24 Shinya Shimizu Multi-view image coding method, multi-view image decoding method, multi-view image coding device, multi-view image decoding device, multi-view image coding program, and multi-view image decoding program
US20120121015A1 (en) * 2006-01-12 2012-05-17 Lg Electronics Inc. Processing multiview video

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050114751A (ko) * 2004-06-01 2005-12-06 경희대학교 산학협력단 예측 부호화/복호화 장치 및 예측 부호화/복호화 방법
WO2008123753A1 (en) * 2007-04-09 2008-10-16 Lg Electronics Inc. A method and an apparatus for processing a video signal
TW200910975A (en) * 2007-06-25 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
KR101727311B1 (ko) * 2008-04-25 2017-04-14 톰슨 라이센싱 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩
CN102883160B (zh) * 2009-06-26 2016-06-29 华为技术有限公司 视频图像运动信息获取方法、装置及设备、模板构造方法
KR101432767B1 (ko) * 2009-10-20 2014-08-26 에스케이텔레콤 주식회사 움직임 정보 기반의 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20110068792A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
KR20110071047A (ko) * 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
KR101893559B1 (ko) * 2010-12-14 2018-08-31 삼성전자주식회사 다시점 비디오 부호화/복호화 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375594A (zh) * 2006-01-12 2009-02-25 Lg电子株式会社 处理多视图视频
US20120121015A1 (en) * 2006-01-12 2012-05-17 Lg Electronics Inc. Processing multiview video
US20110286678A1 (en) * 2009-02-12 2011-11-24 Shinya Shimizu Multi-view image coding method, multi-view image decoding method, multi-view image coding device, multi-view image decoding device, multi-view image coding program, and multi-view image decoding program
WO2011037420A2 (ko) * 2009-09-25 2011-03-31 에스케이텔레콤 주식회사 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017036422A1 (en) * 2015-09-06 2017-03-09 Mediatek Inc. Method and apparatus of prediction offset derived based on neighbouring area in video coding
AU2016316317B2 (en) * 2015-09-06 2019-06-27 Mediatek Inc. Method and apparatus of prediction offset derived based on neighbouring area in video coding
CN111031319A (zh) * 2019-12-13 2020-04-17 浙江大华技术股份有限公司 一种局部光照补偿预测方法、终端设备及计算机存储介质
CN113365000A (zh) * 2020-03-04 2021-09-07 爱思开海力士有限公司 图像感测设备及其操作方法
CN113365000B (zh) * 2020-03-04 2024-06-04 爱思开海力士有限公司 图像感测设备及其操作方法

Also Published As

Publication number Publication date
EP2854393A1 (en) 2015-04-01
MX2015000288A (es) 2015-04-10
EP2854393A4 (en) 2015-12-30
US20150195569A1 (en) 2015-07-09
KR20150034729A (ko) 2015-04-03
CA2878160A1 (en) 2014-01-16
RU2609753C2 (ru) 2017-02-02
WO2014010935A1 (ko) 2014-01-16
MX340482B (es) 2016-07-08
AU2013287481A1 (en) 2015-01-29
AU2013287481B2 (en) 2015-12-10
CA2878160C (en) 2017-06-20
IN2014KN03053A (zh) 2015-05-08
RU2015104394A (ru) 2016-08-27
JP2015527806A (ja) 2015-09-17

Similar Documents

Publication Publication Date Title
CN104541507A (zh) 处理视频信号的方法和装置
JP6788699B2 (ja) 高い分割自由度を伴う効果的なパーティション符号化
JP6884598B2 (ja) パーティション符号化を用いた有効な予測
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN103703777B (zh) 对具有深度范围变化的运动深度图进行译码
CN105308956B (zh) 用于深度图帧内译码的预测子
CN105191317B (zh) 视图内以及跨越视图的深度查找表的预测性译码
CN104025602A (zh) 三维视频译码中用信号通知视图合成预测支持
CN105874788B (zh) 对3d视频译码中较大预测块的逐段dc译码的简化
CN105052145A (zh) 剖析三维视频译码中的语法元素
CN105122812A (zh) 用于三维(3d)视频译码的高级合并模式
CN104769949A (zh) 用于视差向量导出的图片的选择
CN105103559A (zh) 用于3d-hevc的深度数据的深度译码模式信令
CN104041047A (zh) 在使用深度的3d视频译码中的多重假设差异向量构建
CN105144715A (zh) 后向视图合成预测
US20160050429A1 (en) Method and apparatus for processing video signal
JP2015527805A (ja) ビデオ信号処理方法及び装置
CN106105218A (zh) 在3d视频编码中处理相机参数的方法和设备
US11968401B2 (en) Video or image coding method and device therefor
RU2625526C2 (ru) Способ и устройство для обработки видеосигнала
CN115053522A (zh) 采用自适应环路滤波器的视频或图像编码
CN105393540A (zh) 用于处理视频信号的方法和设备
KR20150090053A (ko) 비디오 신호 처리 방법 및 장치
CN115088262A (zh) 用于发信号通知图像信息的方法和装置
CN104871541A (zh) 处理视频信号的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150422