CN105122813B - 视频信号处理方法和设备 - Google Patents

视频信号处理方法和设备 Download PDF

Info

Publication number
CN105122813B
CN105122813B CN201480020451.XA CN201480020451A CN105122813B CN 105122813 B CN105122813 B CN 105122813B CN 201480020451 A CN201480020451 A CN 201480020451A CN 105122813 B CN105122813 B CN 105122813B
Authority
CN
China
Prior art keywords
view
motion vector
block
depth
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480020451.XA
Other languages
English (en)
Other versions
CN105122813A (zh
Inventor
许镇
金兑燮
郑志旭
芮世薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105122813A publication Critical patent/CN105122813A/zh
Application granted granted Critical
Publication of CN105122813B publication Critical patent/CN105122813B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种视频信号处理方法和设备，其能够：通过使用预定的固定的视图间运动向量来获得参考视图块；获得对应于参考视图块的参考块的深度值；通过使用参考深度块的至少一个深度值来获得用于当前块的视图间运动向量；以及通过使用视图间运动向量解码当前块。

Description

视频信号处理方法和设备
技术领域
本发明涉及一种用于处理视频信号的方法和设备。
背景技术
压缩指的是用于通过通信线路发送数字信息或以适合于存储介质的形式来存储数字信息的信号处理技术。压缩目标包括音频、视频和文本信息。特别地，压缩图像的技术称为视频压缩。多视图视频具有空间冗余、时间冗余和视图间冗余的特性。
发明内容
技术问题
本发明的目的是改善视频信号编译效率。
技术方案
本发明通过使用相邻视图的深度值来获得包括在当前块的运动向量候选列表中的视图间运动向量。
另外，本发明从邻近于包括当前块的大编译单元的大编译单元获得包括在当前块的运动向量候选列表中的视图间运动向量。
此外，本发明通过使用视图间运动向量修正信息来获得包括在当前块的运动向量候选列表中的视图间运动向量。
本发明所解决的技术问题不限于上述技术问题，并且本领域的技术人员根据以下描述可理解其它技术问题。
有利效果
本发明可以通过获得正确的视图间运动向量并使用该视图间运动向量来执行帧间预测而改善帧间预测的准确度。
本领域的技术人员将认识到的是通过本发明可以实现的效果不限于上文已特别地描述的内容，并且根据以下详细描述将更清楚地理解本发明的其它优点。
附图说明
图1是根据本发明的实施例的被应用深度编译的广播接收机的框图。
图2是根据本发明的实施例的视频解码器的框图。
图3是图示出根据本发明被应用于的实施例的对当前块进行解码的示例性方法的流程图。
图4图示出作为本发明被应用于的实施例的获得视图间运动向量的第一和第二实施例的流程图。
图5图示出作为本发明被应用于的实施例的获得视图间运动向量的第一实施例的流程图。
图6图示出作为本发明被应用于的实施例的获得视图间运动向量的第二实施例的流程图。
图7图示出作为本发明被应用于的实施例的获得视图间运动向量的第三实施例的流程图。
图8图示出作为本发明被应用于的实施例的获得视图间运动向量的第四实施例的流程图。
图9图示出作为本发明被应用于的实施例的获得视图间运动向量的第四实施例的流程图。
图10图示出作为本发明被应用于的实施例的获得视图间运动向量的第六实施例的流程图。
图11图示出作为本发明被应用于的实施例的在获得视图间运动向量的第六实施例中使用临时视图间运动向量来获得当前块的视图间运动向量的示例。
具体实施方式
本发明提供了一种视频信号处理方法和设备，其被配置成使用预定的固定视图间运动向量来获得参考视图块，获得对应于参考视图块的参考块的深度值，使用参考块的至少一个深度值来获得用于当前块的视图间运动向量并使用视图间运动向量解码当前块。
预定的固定视图间运动向量可以是零向量。
至少一个深度值可以是参考深度块的左上像素的深度值、参考深度块的左下像素的深度值、参考深度块的右上像素的深度值和参考深度块的右下像素的深度值之中的最大深度值。
本发明提供了一种视频信号处理方法和设备，其被配置成生成包括视图间运动向量的运动向量候选列表并使用该运动向量候选列表来获得当前块的预测值。
本发明提供了一种被配置成获得运动向量索引的视频信号处理方法和设备，其中，使用运动向量索引来获得当前块的预测值。
本发明的模式
用于对多视图信号数据进行压缩或解码的技术考虑空间冗余、时间冗余和视图间冗余。在多视图图像的情况下，可以对在两个或更多视图处捕捉的多视图纹理图像进行编译以便生成三维图像。此外，可根据需要对与多视图纹理图像相对应的深度数据进行编译。可以在考虑空间冗余、时间冗余或视图间冗余的情况下对深度数据进行压缩。深度数据是关于相机与相应像素之间的距离的信息。在说明书中深度数据可以被灵活地解释为诸如深度信息、深度图像、深度图片、深度序列和深度比特流之类的深度相关信息。另外，在说明书中编译可以在规范中包括编码和解码两者的概念，并且在本发明的技术精神和技术范围内可以灵活地解释。
图1是根据本发明被应用于的实施例的被应用深度编译的广播接收机的框图。
根据本实施例的广播接收机接收陆地广播信号以再现图像。广播接收机可以使用接收到的深度相关信息来生成三维内容。广播接收机包括调谐器100、解调器/信道解码器102、传输解复用器104、解分组器106、音频解码器108、视频解码器110、PSI/PSIP处理器114、3D渲染器116、格式化器120和显示器122。
调谐器100从通过天线(未示出)输入的多个广播信号之中选择由用户调到的频道的广播信号，并输出所选广播信号。解调器/信道解码器102将来自调谐器100的广播信号解调，并对已解调信号执行纠错解码以输出传输流TS。传输解复用器104将传输流解复用，从而将传输流划分成视频PES和音频PES并提取PSI/PSIP信息。解分组器106将视频PES和音频PES解分组以恢复视频ES和音频ES。音频解码器108通过对音频ES进行解码来输出音频比特流。音频比特流被数字-模式转换器(未示出)转换成模拟音频信号，被放大器(未示出)放大且然后被通过扬声器(未示出)输出。视频解码器110将视频ES解码以恢复原始图像。可以基于由PSI/PSIP处理器114确认的分组ID(PID)来执行音频解码器108和视频解码器110的解码过程。在解码过程期间，视频解码器110可以提取深度信息。另外，视频解码器110可以提取生成虚拟相机视图的图像所需的附加信息，例如相机信息或者用于估计被前面对象隐藏的掩蔽现象的信息(例如，诸如对象轮廓、对象透明度信息和色彩信息之类的几何信息)，并将该附加信息提供给3D渲染器116。然而，在本发明的其它实施例中可以用传输解复用器104将深度信息和/或附加信息相互分离。
PSI/PSIP处理器114从传输解复用器104接收PSI/PSIP信息，解析该PSI/PSIP信息并将已解析PSI/PSIP信息存储在存储器(未示出)或寄存器中，从而使得能够基于存储信息进行广播。3D渲染器116可以使用恢复的图像、深度信息、附加信息和相机参数在虚拟相机位置处生成色彩信息、深度信息等。
另外，3D渲染器116通过使用已恢复图像和关于已恢复图像的深度信息来执行3D变形而在虚拟相机位置处生成虚拟图像。虽然在本实施例中3D渲染器116被配置为与视频解码器110分离的块，但这仅仅是示例，并且可将3D渲染器116包括在视频解码器110中。
格式化器120根据广播接收机的显示模式将在解码过程中恢复的图像、亦即由相机捕捉的实际图像和由3D渲染器116生成的虚拟图像，格式化，使得3D图像被通过显示器122显示。在这里，可响应于用户命令而选择性地执行由3D渲染器116进行的在虚拟相机位置处的深度信息和虚拟信息的合成和由格式化器120进行的图像格式化。也就是说，用户可操纵远程控制器(未示出)，使得合成图像不显示，并指定图像合成时间。
如上所述，用于生成3D图像的深度信息被3D渲染器116使用。然而，在其它实施例中，深度信息可被视频解码器110使用。将给出其中视频解码器110使用深度信息的各种实施例的描述。
图2是根据本发明被应用于的实施例的视频解码器的框图。
参考图2，视频解码器110可包括熵解码单元210、逆量化单元220、逆变换单元230、环内滤波器单元240、解码图片缓冲单元250、帧间预测单元260和帧内预测单元270。在图2中，实线表示彩色图片数据的流，并且点线表示深度图片数据的流。虽然在图2中单独地表示彩色图片数据和深度图片数据，但彩色图片数据和深度图片数据的单独表示可指代单独比特流或一个比特流中的数据的单独流。也就是说，可以将彩色图片数据和深度图片数据作为一个比特流或单独比特流发送。图2仅仅示出了数据流而并非使操作局限于在一个解码器中执行的操作。
首先，为了解码接收的深度比特流200，按照NAL来解析深度比特流200。在这里，可将关于深度的各种类型的属性信息包括在NAR报头区、NAL报头的扩展区、序列报头区(例如序列参数集)、序列报头的扩展区、图片报头区(例如图片参数集)、图片报头的扩展区、片报头区、片报头的扩展区、片数据区或宏块区中。虽然可使用单独的编解码器来执行深度编译，但如果实现与现有编解码器的兼容，则仅在深度比特流的情况下添加关于深度的属性信息可能更加高效。例如，可以将用于识别深度比特流的深度识别信息添加到序列报头区(或序列参数集)或序列报头的扩展区。根据深度识别信息，只有当输入比特流是深度编译比特流时，才能添加关于深度序列的属性信息。
通过熵解码单元210对已解析的深度比特流200进行熵解码，并提取每个宏块的系数、运动向量等。逆量化单元220将接收到的量化值乘以预定常数，从而获得变换系数，并且逆变换单元230对该系数进行逆变换以恢复深度图片的深度信息。帧内预测单元270使用当前深度图片的已恢复的深度信息来执行帧内预测。去块滤波器单元240对每个编译的宏块应用去块滤波以便减少块失真。去块滤波单元通过对块的边缘进行平滑化来改善解码的帧的纹理。根据边界强度和关于边界的图像样本梯度来选择滤波过程。输出滤波的深度图片或存储在解码图片缓冲单元250中以用作参考图片。
解码图片缓冲单元250存储或打开先前编译的深度图片以用于帧间预测。在这里，为了将已编译的深度图片存储在解码图片缓冲单元250中或者打开存储的编码的深度图片，使用每个图片的frame_num(帧_编号)和POC(图片顺序计数)。由于先前编译的图片可包括不同于当前深度图片的与视图相对应的深度图片，所以可以使用用于识别深度图片的视图的深度视图信息以及frame_num和POC以便在深度编译中使用先前编译的图片作为参考图像。
另外，解码图片缓冲单元250可使用深度视图信息以便生成用于深度图片的视图间预测的参考图像列表。例如，解码图片缓冲单元250可以使用深度视图参考信息。深度视图参考信息指的是用来指示深度图片的视图之间的相关性的信息。例如，深度视图参考信息可包括深度视图的数目、深度视图识别号、深度视图参考图片的数目、深度视图参考图片的深度视图识别号等。
解码图片缓冲单元250管理参考图片以便实现更灵活的帧间预测。例如，可以使用存储器管理控制操作法和滑动窗口法。参考图片管理将参考图片存储器和非参考图片存储器统一到一个存储器中并管理该统一存储器，从而用小容量存储器实现高效的管理。在深度编译中，可以将深度图片单独地标记以与解码图片缓冲单元中的彩色图片区别开，并且可以在标记过程中使用用于识别每个深度图片的信息。可以将通过上述程序管理的参考图片用于帧间预测单元260中的深度编译。
参考图2，帧间预测单元260可包括运动补偿单元261、虚拟视图合成单元262和深度图片生成单元263。
运动补偿单元261使用从熵解码单元210发送的信息来补偿当前块的运动。运动补偿单元261从视频信号提取当前块的相邻块的运动向量并获取当前块的运动向量预测值。运动补偿单元261使用运动向量预测值和从视频信号提取的差分向量来补偿当前块的运动。可以使用一个参考图片或多个图片来执行运动补偿。在深度编译中，在当前深度图片指代不同视图的深度图片时，可以使用关于用于存储在解码图片缓冲单元250中的深度图片的视图间预测的参考图片列表的信息来执行运动补偿。此外，可使用用于识别深度图片的视图的深度视图信息来执行运动补偿。
虚拟视图合成单元262使用当前彩色图片的视图的相邻视图的彩色图片来合成虚拟视图的彩色图片。为了使用相邻视图的彩色图片或使用期望的特定视图的彩色图片，可以使用指示彩色图片的视图的视图识别信息。当生成虚拟视图的彩色图片时，可以定义指示是否生成虚拟视图的彩色图片的标志信息。当该标志信息指示虚拟视图的彩色图片的生成时，可以使用视图识别信息来生成虚拟视图的彩色图片。可使用通过虚拟视图合成单元262获取的虚拟视图的彩色图片作为参考图片。在这种情况下，可以向虚拟视图的彩色图片分配视图识别信息。
在另一实施例中，虚拟视图合成单元262可以使用与当前深度图片的视图的相邻视图相对应的深度图片来合成虚拟视图的深度图片。在这种情况下，可以使用指示深度图片的视图的深度视图识别信息。在这里，可以从相应彩色图片的视图识别信息导出深度视图识别信息。例如，相应的彩色图片可以具有与当前深度图片相同的图片输出顺序信息和相同的视图识别信息。
深度图片生成单元263可以使用深度编译信息来生成当前深度图片。在这里，深度编译信息可包括指示相机与对象之间的距离的距离参数(例如相机坐标系上的Z坐标值等)、用于深度编译的宏块类型信息、用于识别深度图片中的边界的信息、指示RBSP中的数据是否包括深度编译数据的信息、指示数据类型是否是深度图片数据的信息、彩色图片数据或视差数据等。另外，可使用深度编译信息来预测当前深度图片。也就是说，可以执行使用当前深度图片的相邻深度图片的帧间预测，并且可以执行使用当前深度图片中的解码的深度信息的帧内预测。
本发明提出了一种获得视图间运动向量以用于解码当前块的方法。将参考图3给出使用视图间运动向量解码当前块的过程的描述。
图3是图示出根据本发明被应用于的实施例的对当前块进行解码的示例性方法的流程图。
可获得当前块的视图间运动向量(S310)。视图间运动向量可以指代指示参考视图中的参考块的运动向量，参考块由当前视图中的当前块参考。可从相邻块导出或使用深度值来获得视图间运动向量。稍后将参考图4至11来描述获得视图间运动向量的方法。
可获得当前块的运动向量候选列表，其包括视图间运动向量(S320)。该运动向量候选列表可包括至少一个运动向量。运动向量候选是可以用来获得当前块的运动向量且可以使用当前块的时间和空间相关来获得的运动向量。运动向量候选可包括用于使用对应于与当前块相同的视图和与当前块不同的时间的参考图片对当前块进行编译的时间运动向量，以及用于使用对应于与当前块不同的视图并且与当前块相同的时间的参考图片对当前块进行编译的视图间运动向量。运动向量候选可以包括在步骤S310中获得的视图间运动向量。
可通过获取运动向量候选并且从获取的运动向量候选消除相同的运动向量候选来获得运动向量候选列表。当运动向量候选的数目小于运动向量候选列表的可用运动向量候选的预定最大数目时，可以通过向其添加零向量或预定运动向量候选来获得运动向量候选列表。
可使用运动向量候选列表中的运动向量中的一个对当前块进行解码(S330)。例如，可以使用运动向量索引来获得运动向量候选列表中的运动向量中的一个作为当前块的运动向量。
可使用当前块的运动向量来获得当前块的参考视图块。可使用参考视图块的像素值来获得当前块的预测值。
可以将在步骤S310中获得的视图间运动向量包括在关于图3描述的运动向量候选列表中以不仅用于对当前块进行编码，而且用于残差预测和视图合成预测(VSP)。
例如，使用残差预测解码当前块，并且可以对其使用视图间运动向量。残差预测用于使用参考块的残差来获得当前块的残差。可以使用由视图间运动向量所指示的参考块的残差来获得当前块的残差。
替换地，使用视图合成预测来解码当前块，并且可以对其使用视图间运动向量。视图合成预测指代使用参考视图的纹理图片和当前视图或参考视图的深度图片来生成虚拟参考图片，以便获得当前块的预测值的预测方法。可以使用视图间运动向量来生成虚拟参考图片。
将参考图4至6给出获得被用来解码当前块的视图间运动向量的第一和第二实施例的描述。
图4是图示出根据本发明的获得视图间运动向量的第一和第二实施例的流程图。
可以检查是否可以使用当前深度块的深度值来获得视图间运动向量(S311-1)。在这里，当前深度块是对应于当前块的深度块。例如，可以通过检查是否可以使用当前深度块的深度值来确定是否使用当前深度块的深度值来获得视图间运动向量。在当前深度块已被编译且因此可以使用当前深度块时，可以确定通过第一实施例使用当前深度块的深度值来获得视图间运动向量。相反地，在当前深度未被编译且因此不能使用当前深度块时，可以确定不使用当前深度块的深度值获得视图间运动向量。当不能使用当前深度块时，可以通过第二实施例使用参考视图的深度块来获得视图间运动向量。
当可以使用当前深度块的深度值时，可以获得对应于当前块的当前深度块(S311-2)。可以使用当前块的左上像素的位置来获得当前深度块的位置。
可获得用于获得视图间运动向量的当前深度块的深度值(S311-3)。可使用当前深度块的至少一个深度值来获得用于获得视图间运动向量的当前深度块的深度值。可以通过比较当前深度块中的所有深度值来获得当前深度块中的最大深度值，或者可以通过比较当前深度块中的所有深度值来获得当前深度块中的最频繁深度值。替换地，可以获得当前深度块中的所有深度值的平均值。替换地，可以通过比较当前深度块中的特定深度值来获得用于获得视图间运动向量的深度值。替换地，可以比较当前深度块的左上深度值、左下深度值、右上深度值和右下深度值，从而获得深度值之中的最大深度值作为用于获得视图间运动向量的深度值。替换地，可以比较当前深度块的左上深度值、左下深度值、右上深度值和右下深度值，从而获得深度值之中的最频繁深度值作为用于获得视图间运动向量的深度值。
可使用当前深度块的深度值来获得视图间运动向量(S311-4)。基于等式1和2来描述从深度值导出视图间运动向量的方法。
[等式1]
在等式1中，Z表示相应的像素与相机之间的距离，D是通过对Z进行量化获得的值，并且根据本发明对应于深度数据。Znear和Zfar分别表示针对包括深度数据的视图定义的Z的最小值和最大值。可通过序列参数集、片报头等从比特流提取Znear和Zfar，并且其可以是在解码器中预定的信息。因此，当对相应像素与相机之间的距离Z以256级进行量化时，可以如等式1所表示的那样使用深度数据Znear和Zfar来重构Z。随后，如等式2所表示的，可使用重构的Z来导出用于当前纹理块的视差向量。
[等式2]
在等式2中，f表示相机的焦距且B表示相机之间的距离。可以假设所有相机具有相同的f和B，并且因此f和B可以是在解码器中预定义的信息。
在本发明中，除非另外提及，否则通过等式1和2使用深度值来获得视图间运动向量。
当不能使用当前深度块的深度值时，可获得预定的固定的视图间运动向量(S311-5)。预定的固定的视图间运动向量是指示参考视图中的参考视图块的运动向量，并且可以确定为使用在深度值范围内的中值获得的视图间运动向量(如果存在0至255的深度值，则获得作为中值的128作为固定值)。替换地，可以将预定的固定的视图间运动向量确定为零向量。可以将零向量表示为运动向量(0,0)。当零向量被确定为预定的固定的视图间运动向量时，预定的固定的视图间运动向量所指示的参考视图图片中的参考视图块的位置可以与当前深度图片中的当前深度块的位置相同。
可使用预定的固定的视图间运动向量来获得参考视图块(S311-6)。在这里，参考视图块是参考视图中的块，其被用来解码当前块。
可获得对应于参考视图块的参考深度块(S311-7)。参考深度块是对应于参考视图块的深度块。可以使用参考视图块的左上像素的位置来获得参考深度块的位置。
可获取用于获得视图间运动向量的参考深度块的深度值(S311-8)。可以使用参考深度块的至少一个深度值来获取用于获得视图间运动向量的参考深度块的深度值。可以通过比较参考深度块中的所有深度值来获得参考深度块中的最大深度值，或者可以通过比较参考深度块中的所有深度值来获得参考深度块中的最频繁的深度值。替换地，可以获得参考深度块中的所有深度值的平均值。替换地，可以通过比较参考深度块中的特定深度值来获得用于获得视图间运动向量的深度值。替换地，可以比较参考深度块的左上深度值、左下深度值、右上深度值和右下深度值，从而获得深度值之中的最大深度值作为用于获得视图间运动向量的深度值。替换地，可以比较参考深度块的左上深度值、左下深度值、右上深度值和右下深度值，从而获得深度值之中的最频繁深度值作为用于获得视图间运动向量的深度值。
可使用参考深度块的深度值来获得视图间运动向量(S311-9)。可以使用以上等式1和2来获得视图间运动向量。
图5图示出作为本发明被应用于的实施例的获得视图间运动向量的第一实施例的流程图。
如图5中所示，可以使用对应于当前块500的当前深度块510的深度值来获得当前块500的视图间运动向量。
具体地，可以获得当前深度图片中的被布置在与当前图片的当前块500相同的位置处的当前深度块510的深度值。可以使用当前深度块510的深度值中的至少一个来获得视图间运动向量。例如，可以使用与当前深度块510的左上像素、左下像素、右上像素和右下像素相对应的深度值之中的最大深度值来获得视图间运动向量。
图6图示出作为本发明被应用于的实施例的获得视图间运动向量的第二实施例的流程图。
参考图6，使用与布置在当前块500的参考视图中的参考视图块610相对应的参考视图深度块630的深度值来获得视图间运动向量。当在根据第一实施例的获得视图间运动向量的方法中不能使用当前深度块510的深度值时，可以使用根据第二实施例的获得视图间运动向量的方法。
具体地，可以使用指示当前块500处的参考视图块610的预定的固定的视图间运动向量620。可以使用与参考图片中的参考视图块610相对应的参考深度图片中的参考视图深度块630的深度值中的至少一个来获得视图间运动向量。例如，可以使用与参考视图块610的左上像素、左下像素、右上像素和右下像素相对应的深度值之中的最大深度值来获取视图间运动向量。
将参考图7给出获得被用来将当前块解码的视图间运动向量的第三实施例的描述。
图7图示出作为本发明被应用于的实施例的获得视图间运动向量的第三实施例的流程图。
参考图7，每个大编译单元(LCU)获取视图间运动向量，并被设置为包括在当前LCU710中的当前块500的视图间运动向量。因此，可以针对包括在LCU中的所有块获得相同的视图间运动向量。
例如，可以使用相邻LCU中的块720的视图间运动向量675来获得LCU的视图间运动向量。替换地，可以使用已经紧接在当前LCU 610被解码之前被编译的LCU中的块720的视图间运动向量725来获得LCU的视图间运动向量。
在当前块500的相邻空间相邻块501至505未使用视图间运动向量被解码时，可以执行根据第三实施例的获得视图间运动向量的方法。
将参考图8给出获得被用来解码当前块的视图间运动向量的第四实施例的描述。图8图示出作为本发明被应用于的实施例的获得视图间运动向量的第四实施例的流程图。
可存储被用于在当前块之前被编译的先前块的视图间运动向量(S312-1)。先前块可指代在当前块之前已经被使用视图间运动向量编译的块。可按照编译顺序来指代视图间运动向量。例如，当使用视图间运动向量连续地对第一先前块、第二先前块和当前块进行解码时，可以连续地存储被用来解码第一先前块的视图间运动向量和被用来解码第二先前块的视图间运动向量。在本实施例中，假设第一和第二先前块被包括在上述先前块中，并且第一先前块、第二先前块和当前块被连续地解码。
使用存储的视图间运动向量来确定是否要获得当前块的视图间运动向量(S312-2)。可以通过将当前块和先前块之间的距离与预定距离信息相比较，来确定是否要使用先前块的视图间运动向量获得当前块的视图间运动向量。
在这里，可以使用当前块的左上像素和先前块的左上像素来获得当前块和先前块之间的距离。替换地，可以使用当前块的中心像素和先前块的中心像素来获得当前块和先前块之间的距离。该预定距离信息可以是为了确定当前块与先前块之间的距离是否短而预定的信息。
在当前块与第一先前块之间的距离小于对应于预定距离信息的距离时，可以使用第一先前块的视图间运动向量来获得当前块的视图间运动向量(S312-3)。
在当前块与第一先前块之间的距离超过对应于预定距离信息的距离时，可以使用第二先前块的视图间运动向量而不是第一先前块的视图间运动向量来获得当前块的视图间运动向量(S312-4)。
图9图示出作为本发明被应用于的实施例的获得视图间运动向量的第四实施例的流程图。
可以使用在当前块500的解码之前导出的视图间运动向量来获得当前块500的视图间运动向量并存储。
参考图9，当使用视图间运动向量连续地对第一块910、第二块920和当前块500进行解码时，可以使用在当前块500之前编译的第二块920的视图间运动向量925来获得当前块500的视图间运动向量。
替换地，当使用视图间运动向量来连续地对第一块910、第二块920和当前块500进行解码且与当前块500间隔开预定距离或更多的块的视图间运动向量未被使用时，可以使用第一块910的视图间运动向量915来获得当前块500的视图间运动向量，而不是在当前块500之前编译的第二块920的视图间运动向量925。
将给出获得被用来解码当前块的视图间运动向量的第五实施例的描述。
可使用在当前块的解码之前获得的深度值的直方图来获得当前块的视图间运动向量。
例如，可以使用在当前块的解码之前获取的深度值之中的最频繁获得深度值作为当前块的视图间运动向量。
替换地，可以使用在当前块的解码之前获得的深度值的平均值作为当前块的视图间运动向量。
将参考图10和11给出获得被用来解码当前块的视图间运动向量的第六实施例的描述。
可以使用第一至第五实施例和视图间运动向量修正信息来获得当前块的视图间运动向量。当使用视图间运动向量修正信息来修正通过第一至第五实施例获得的视图间运动向量时，可以使用与通过第一至第五实施例获取的视图间运动向量所指示的参考视图块相对应的参考深度块的深度值来获得当前块的视图间运动向量。
图10图示出作为本发明被应用于的实施例的获得视图间运动向量的第六实施例的流程图。
可获得当前块的临时视图间运动向量(S313-1)。在这里，临时视图间运动向量是指示参考视图中的参考视图块的运动向量。可将使用上述第一至第五实施例获得的视图间运动向量用作为临时视图间运动向量。临时视图间运动向量可包括零向量和预定视图间运动向量。
可使用视图间运动向量修正信息和临时视图间运动向量来获得参考视图块(S313-2)。视图间运动向量修正信息可以指示是否要使用所获取的临时视图间运动向量来获得参考视图块。当视图间运动向量修正信息指示并未使用临时视图间运动向量获得参考视图块时，可以获取临时视图间运动向量作为当前块的视图间运动向量。
当视图间运动向量修正信息指示使用临时视图间运动向量获得参考视图块时，可以获取临时视图间运动向量所指示的块作为参考视图块。
可获取对应于参考视图块的参考深度块(S313-3)。参考深度块是对应于参考视图块的深度块。可以使用参考视图块的左上像素的位置来获得参考深度块的位置。
可获取用于获得视图间运动向量的参考深度块的深度值(S313-4)。可以使用参考深度块中至少一个深度值来获得用于获得视图间运动向量中参考深度块中深度值。具体地，可以通过比较参考深度块中的所有深度值来获得参考深度块中的最大深度值，或者可以通过比较参考深度块中的所有深度值来获得参考深度块中的最频繁的深度值。替换地，可以获得参考深度块中的所有深度值的平均值。替换地，可以通过比较参考深度块中的特定深度值来获得用于获得视图间运动向量的深度值。替换地，可以比较参考深度块的左上深度值、左下深度值、右上深度值和右下深度值，从而获得深度值之中的最大深度值作为用于获得视图间运动向量的深度值。替换地，可以比较参考深度块的左上深度值、左下深度值、右上深度值和右下深度值，从而获得深度值之中的最频繁深度值作为用于获得视图间运动向量的深度值。
可使用参考深度块的深度值来获得视图间运动向量(S313-5)。可以使用上述等式1和2来获得视图间运动向量。
图11是图示出作为本发明被应用于的实施例的获得视图间运动向量的第六实施例的流程图，并且示出了使用临时视图间运动向量来获得当前块的视图间运动向量的示例。
参考图11，使用根据第三实施例的方法来获得相邻LCU中的块1120的临时视图间运动向量1125。当用视图间运动向量修正信息来修正临时视图间运动向量1125时，使用相邻LCU中的块11200的视图间运动向量1125来获得包括在参考视图中的参考视图块1110。然后，可以使用对应于参考视图块110的参考深度块1130的深度值来获得当前块500的视图间运动向量。例如，可以使用与参考深度块1130的左上像素、左下像素、右上像素和右下像素相对应的深度值之中的最大深度值来获取视图间运动向量。
如上所述，可将本发明被应用于的解码/编码装置包括在诸如DMB(数字多媒体广播)系统之类的多媒体广播发送/接收装置中以用来将视频信号、数据信号等解码。另外，多媒体广播发送/接收装置可包括移动通信终端。
可将本发明被应用于的解码/编码方法实现为计算机可执行程序，并存储在计算机可读记录介质中，并且还可将具有根据本发明的数据结构的多媒体数据存储在计算机可读记录介质中。计算机可读记录介质包括存储可被计算机系统读取的数据的所有种类的存储设备。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备以及使用载波的介质(例如通过因特网传输)。另外，可将根据编码方法生成的比特流存储在计算机可读记录介质中或者使用有线/无线通信网络来发送。
工业实用性
可以使用本发明来对视频信号进行编译。

Claims (10)

1.一种用于通过视频解码器处理视频信号的方法，包括：
获得用于当前块的临时视图间运动向量；
获得视图间运动向量修正信息，其指示是否使用所述临时视图间运动向量获得参考视图块，
使用所述视图间运动向量修正信息和所述临时视图间运动向量获得所述参考视图块，
其中，当所述视图间运动向量修正信息指示使用所述临时视图间运动向量获得所述参考视图块时，由所述临时视图间运动向量指示的块被获得作为所述参考视图块；
使用对应于所述参考视图块的参考深度块获得用于当前块的视图间运动向量，使用所述参考深度块的至少一个深度值获得所述当前块的视图间运动向量；以及
使用用于所述当前块的所述视图间运动向量解码所述当前块，
其中，当所述视图间运动向量修正信息指示使用所述临时视图间运动向量没有获得所述参考视图块时，所述临时视图间运动向量被获得作为所述当前块的视图间运动向量。
2.根据权利要求1所述的方法，其中，所述临时视图间运动向量是零向量。
3.根据权利要求1所述的方法，其中，所述至少一个深度值是所述参考深度块的左上像素的深度值、所述参考深度块的左下像素的像素值、所述参考深度块的右上像素的深度值和所述参考深度块的右下像素的深度值之中的最大深度值。
4.根据权利要求1所述的方法，其中，解码所述当前块包括：
生成包括用于所述当前块的视图间运动向量的运动向量候选列表；以及
使用所述运动向量候选列表来获得所述当前块的预测值。
5.根据权利要求4所述的方法，其中，解码所述当前块还包括获得运动向量索引，
其中，使用所述运动向量索引来获得所述当前块的所述预测值。
6.一种用于处理视频信号的设备，包括：
帧间预测单元，所述帧间预测单元被配置成：
获得用于当前块的临时视图间运动向量；
获得视图间运动向量修正信息，其指示是否使用所述临时视图间运动向量获得参考视图块，
使用所述视图间运动向量修正信息和所述临时视图间运动向量获得所述参考视图块，
其中，当所述视图间运动向量修正信息指示使用所述临时视图间运动向量获得所述参考视图块时，由所述临时视图间运动向量指示的块被获得作为所述参考视图块；
使用对应于所述参考视图块的参考深度块获得用于当前块的视图间运动向量，使用所述参考深度块的至少一个深度值获得所述当前块的视图间运动向量；以及
使用用于所述当前块的所述视图间运动向量解码所述当前块，
其中，当所述视图间运动向量修正信息指示使用所述临时视图间运动向量没有获得所述参考视图块时，所述临时视图间运动向量被获得作为所述当前块的视图间运动向量。
7.根据权利要求6所述的设备，其中，所述临时视图间运动向量是零向量。
8.根据权利要求6所述的设备，其中，所述至少一个深度值是所述参考深度块的左上像素的深度值、所述参考深度块的左下像素的像素值、所述参考深度块的右上像素的深度值和所述参考深度块的右下像素的深度值之中的最大深度值。
9.根据权利要求6所述的设备，其中，所述帧间预测单元生成包括用于所述当前块的所述视图间运动向量的运动向量候选列表，并使用所述运动向量候选列表来获得所述当前块的预测值。
10.根据权利要求9所述的设备，其中，所述帧间预测单元获得运动向量索引，
其中，使用所述运动向量索引来获得所述当前块的所述预测值。
CN201480020451.XA 2013-04-11 2014-04-11 视频信号处理方法和设备 Expired - Fee Related CN105122813B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361810724P 2013-04-11 2013-04-11
US61/810,724 2013-04-11
PCT/KR2014/003133 WO2014168444A1 (ko) 2013-04-11 2014-04-11 비디오 신호 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
CN105122813A CN105122813A (zh) 2015-12-02
CN105122813B true CN105122813B (zh) 2019-02-19

Family

ID=51689779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480020451.XA Expired - Fee Related CN105122813B (zh) 2013-04-11 2014-04-11 视频信号处理方法和设备

Country Status (6)

Country Link
US (1) US10080030B2 (zh)
EP (1) EP2986002B1 (zh)
JP (1) JP6196372B2 (zh)
KR (1) KR102300036B1 (zh)
CN (1) CN105122813B (zh)
WO (1) WO2014168444A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101641954A (zh) * 2007-03-23 2010-02-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置
KR20100058471A (ko) * 2007-08-15 2010-06-03 톰슨 라이센싱 다시점 코딩된 비디오에서의 오류 은폐를 위한 방법 및 장치
KR20100066304A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码
KR20120068743A (ko) * 2010-12-17 2012-06-27 한국전자통신연구원 인터 예측 방법 및 그 장치
KR20120084629A (ko) * 2011-01-20 2012-07-30 삼성전자주식회사 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
KR20130018629A (ko) * 2011-08-09 2013-02-25 삼성전자주식회사 다시점 비디오 데이터의 깊이맵 부호화 방법 및 장치, 복호화 방법 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761258B2 (en) * 2005-06-17 2014-06-24 The Hong Kong University Of Science And Technology Enhanced block-based motion estimation algorithms for video compression
EP2135454A4 (en) * 2007-03-02 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
CN101246722B (zh) * 2008-03-14 2010-06-23 天津大学 基于数字水印的avs光盘复制控制方法
EP2384004A4 (en) 2009-01-29 2012-08-01 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNALS USING INTRA MODE CONTOUR CODING
CN102215386B (zh) * 2010-04-09 2013-03-27 华为技术有限公司 视频图像块处理方法及装置
KR20120118780A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN102768761B (zh) * 2012-06-06 2015-01-14 清华大学 一种基于透视变换的立体视频绘制方法
US10085039B2 (en) * 2012-09-21 2018-09-25 Hfi Innovation Inc. Method and apparatus of virtual depth values in 3D video coding
EP2966868B1 (en) * 2012-10-09 2018-07-18 HFI Innovation Inc. Method for motion information prediction and inheritance in video coding
US9538180B2 (en) * 2012-12-17 2017-01-03 Qualcomm Incorporated Motion vector prediction in video coding
US9596448B2 (en) * 2013-03-18 2017-03-14 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
WO2014166063A1 (en) 2013-04-09 2014-10-16 Mediatek Inc. Default vector for disparity vector derivation for 3d video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101641954A (zh) * 2007-03-23 2010-02-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置
KR20100058471A (ko) * 2007-08-15 2010-06-03 톰슨 라이센싱 다시점 코딩된 비디오에서의 오류 은폐를 위한 방법 및 장치
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码
KR20100066304A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
KR20120068743A (ko) * 2010-12-17 2012-06-27 한국전자통신연구원 인터 예측 방법 및 그 장치
KR20120084629A (ko) * 2011-01-20 2012-07-30 삼성전자주식회사 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
KR20130018629A (ko) * 2011-08-09 2013-02-25 삼성전자주식회사 다시점 비디오 데이터의 깊이맵 부호화 방법 및 장치, 복호화 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D-HEVC Test Model3;Gerhard Tech et al;《Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 3rd Meeting: Geneva》;20130123;第2.2.3.1.3-2.2.3.2节
CE2.h-related: Flexible Coding Order (FCO) and depth-first-based disparity derivation;Srikanth Gopalakrishna et al;《Joint Collaborative Team on 3D Video Coding Extension Development, 3rd Meeting: Geneva》;20130123;第1-10页

Also Published As

Publication number Publication date
KR102300036B1 (ko) 2021-09-08
EP2986002A4 (en) 2016-12-07
US20160037179A1 (en) 2016-02-04
US10080030B2 (en) 2018-09-18
EP2986002A1 (en) 2016-02-17
WO2014168444A1 (ko) 2014-10-16
JP6196372B2 (ja) 2017-09-13
KR20160002717A (ko) 2016-01-08
CN105122813A (zh) 2015-12-02
JP2016519504A (ja) 2016-06-30
EP2986002B1 (en) 2021-06-09

Similar Documents

Publication Publication Date Title
US20160050429A1 (en) Method and apparatus for processing video signal
CN104782127B (zh) 处理视频信号的方法和设备
US9955166B2 (en) Method and device for processing video signal
US10123007B2 (en) Method and apparatus for processing video signal
US20160165259A1 (en) Method and apparatus for processing video signal
CN105122813B (zh) 视频信号处理方法和设备
US9781442B2 (en) Method and apparatus for processing video signal
EP2919464A1 (en) Method and apparatus for processing video signals
CN104982038B (zh) 处理视频信号的方法和设备
US10129560B2 (en) Method and apparatus for processing video signal
JP2016519519A (ja) ビデオ信号処理方法及び装置
US20160050438A1 (en) Video signal processing method and device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190219

Termination date: 20210411