CN1084568C - 用于立体视频编码的优化的差异估算方法 - Google Patents

用于立体视频编码的优化的差异估算方法 Download PDF

Info

Publication number
CN1084568C
CN1084568C CN97118659A CN97118659A CN1084568C CN 1084568 C CN1084568 C CN 1084568C CN 97118659 A CN97118659 A CN 97118659A CN 97118659 A CN97118659 A CN 97118659A CN 1084568 C CN1084568 C CN 1084568C
Authority
CN
China
Prior art keywords
pixel
windows
enhancement layer
affine transformation
reference windows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN97118659A
Other languages
English (en)
Other versions
CN1179065A (zh
Inventor
陈学敏
刘承德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arris Technology Inc
Original Assignee
General Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Instrument Corp filed Critical General Instrument Corp
Publication of CN1179065A publication Critical patent/CN1179065A/zh
Application granted granted Critical
Publication of CN1084568C publication Critical patent/CN1084568C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

一种减少立体视频信号的增强层图象中的交叉信道亮度不平衡的方法，包括步骤：提供检索窗口，它至少包括所说增强层图象中的象素的一部分；提供参考窗口，它至少包括所说立体视频信号的基层的参考图象中的象素的一部分；确定所说参考窗口的仿射变换系数a，b，它使所说检索窗口和所说参考窗口的象素的亮度值之间的最小平方误差最小。该方法在使由于摄像机变换和场景在亮度或对比度上具有重大改变引起的交叉信道亮度不平衡的效果最小化方面特别有用。

Description

用于立体视频编码的优化的差异估算方法
本发明涉及立体数字视频信号的编码，以改善图象质量的方法。具体地，尤其是涉及优化左和右视野象素亮度值之间的差异估算的方法。
最近，已经建议了立体视频传输格式，比如运动图象专家组(MPEG)MPEG-2多视野廓(MVP)系统，这在1995年11月的名为″Proposed Draft Amendment No.3 to 13818-2(Multi-view Profile)″的文献ISO/IEC JTC1/SC29/WG11 N1088中描述了，在此作为参考。立体视频提供有轻微差异的相同图象，以组合具有场景深度的图象，因此产生三维(3D)效果。在这样的系统中，双摄像机距离两英寸之远，以两个分离的视频信号来记录一个事件。摄像机之间的间距相似于人眼左右眼之间的距离。而且对于某些立体视频摄录机，在一个摄录头中安装两个透镜，因此可同步运动，例如，在图象中扫换。该两个视频信号可被发射，并在接收机中组合，以产生与普通人眼所看到的场景相应的具有场景深度的图象。
MPEG MVP系统包括以多路复用信号发射的两个视频信号。首先，基层代表三维目标的左视野。其次，增强(即附加的)层代表目标的右视野。由于左和右视野具有相同的目标并只有轻微的差别，在基层和增强层的视频图象中通常具有很大程度的相关性。该相关性可用来压缩与基层相关的增强层的数据，因此，减少为获得给定的图象质量在增强层需要发射的数据量。
MPEG MVP系统包括三种视频图象；具体为帧内编码图象(I图象)，预测编码的图象(P图象)和双向预测编码图象(B图象)。I图象完全描述了单个视频图象，而不需参考任何其它图象。在基层，基于前面的I图象或P图象来预测P图象。B图象是从前面最近的I或P图象和后面最近的I或P图象来预测的。基层可以按照MPEG-2标准来编码，其细节可从1994年3月25日出版的，名为″Information Technology-generic Coding of MovingPictres and Associated Audio，Recommendation H.262，″的文献ISO/IECJTC1.SC29/WG11 NO702中找到，在此作为参考。
在增强层中，以显示次序，可以从增强层中最近解码的图象预测到P图象，而不管图象的类型，或者从最近的基层图象中预测，而不管图象的类型。而且，对于增强层中的B图象，以显示次序，向前的参考图象是增强层中最近解码的图象，向后的参考图象是基层中最近的图象。以公知为差异预测的交叉层预测方法，可以从基层的图象中预测增强层的图象。在一层中从一帧到另一帧的预测被公知为时间预测。
可是，对于增强层帧的差异预测，由于在基层与增强层象素亮度值之间的不平衡，经常会引入误差。这种不平衡可由基层和增强层摄像机之间的性能变化而引起，这使得差异估算和预测更困难。而且，该不平衡可由场景的消失或场景中亮度和/或对比度的重大变化比如强烈的闪光引起。该交叉信道亮度的不平衡的结果是图象质量会显著地损坏。
已经开发出某些用于减少交叉信道亮度不平衡效果技术的方案。例如，R.Franich等人在1996年3月在Firenze公开的，名为″balance Compensation for StereoscopicImage Sequence Sequences，″的文献ISO/IEC JTC1/SC29/WG11 MPEG 96中讨论了用于调整右视野图象序列的线性变换，以得到与左视野信道的相同的高密度中间值和偏差。A.Puri等人在1995年11月在Dallas公开的，名为″Gain Corrected StereoscopicCoding Using SEASIC for MPEG-4 Multiple Concurrent Streams，″文献ISO/IECJTC1/SC29/WG11 MPEG 95/0487中讨论了用增益和偏差来校正右视野。可是，这些方案不能使亮度不平衡的最小平方误差最小。
因此，为立体视频系统比如MPEG MVP系统提供差异估算方法是有益的，它使由于摄像机的变化和场景的亮度或对比度重大变化引起的交叉信道亮度不平衡的效果最小。而且，该方案将在图象水平整体实现或在宏块水平局部地实现。另外，该方案应与MPEG-2的视频序列的有效预测编码和类似的编码协议兼容。本发明提供上述和其它优点。
根据本发明的一个方面，提供一种减少立体视频信号的增强层图象中的交叉信道亮度不平衡的方法，其中提供一检索窗口，它至少包括所说增强层图象中的象素的一部分；及提供一参考窗口，它至少包括所说立体视频信号的基层的参考图象中的象素的一部分；其特征在于：确定所说参考窗口的仿射变换系数a，b，它使所说检索窗口和所说参考窗口的象素的亮度值之间的最小平方误差最小。
根据本发明的又一方面，提供一种减少立体视频信号的增强层图象中的交叉信道亮度不平衡的方法，其中提供多个窗口，它包括所说增强层图象中的象素的各个部分；及提供相应的多个参考窗口，它包括所说立体视频信号的基层的参考图象中的象素的各个部分；该方法还包括：确定仿射变换系数a，b，它使所说增强层图象窗口和所说相应参考窗口的象素的亮度值之间的最小平方误差之和最小。
根据本发明的另一方面，提供一种解码立体视频信号的方法，该立体视频信号带有减少的在该信号的增强层图象中的交叉信道亮度不平衡，其中：从所说立体视频信号检索仿射变换的系数a、b；通过使检索窗口和参考窗口的象素的亮度值之间的最小平方误差最小，来确定所说仿射变换系数，其中，所说检索窗口包括至少所说增强层图象中象素的一部分，所说参考窗口至少包括所说立体视频信号的基层的参考图象中象素的一部分；和用所说仿射变换系数来恢复所说检索窗口象素数据。
本发明的其它优点和特征可以从后面结合附图对实施例的具体说明中更加清楚。
图1是按照本发明的立体编码器的方框图。
图2显示了按照本发明的宏块水平优化方案。
图3图示了按照本发明的在解码器中使用的处理。
图4显示了按照本发明的图象电平优化方案。
图5显示了按照本发明的图象电平优化方案的另一个实施例。
提供一种优化立体视频信号中右和左视野象素亮度值之间的差异估算的方法。
图1是提供本发明的立体编码器的方框图。这种编码方案可用MPEG-2时间的可标度性算法来实现。该编码器整体用100来表示。在基层携带的左视野序列按照常规MPEG-2曲线编码。在增强层携带的右视野序列具有与MPEG-2时间增强层编码相同的算法。
编码器100的左视野帧缓冲器105接收由矢量X表示的基层象素数据，而右视野帧缓冲器130接收由矢量Y表示的增强层数据。左和右视野象素被提供到差异估算器115，以进行下面详细描述的处理。该差异估算器115提供差异矢量V＝(VX-VY)和差异估算参数a，b至预测器120。
具体地，差异估算器115进行仿射变换，a，b是仿射变换系数。在仿射变换中，一个有限点被影射到另一个有限点。另外，系数″a″指示对比度，系数″b″指示象素数据的亮度。该变换系数被携带在立体视频数据流中，用于在编码器125中重建增强层图象。差异矢量V＝(VX，VY)基层和增强层相应象素宏块之间的位置差，用于在编码器中重建差异预测的增强层图象。具体地，对于增强层中检索窗口宏块的象素座标为(XS，YS)，以及对于基层中相应参考窗口宏块的象索座标为(Xr，Yr)，差异矢量则为V＝(VX，VY)＝(XS-Xr，YS-Yr)。因此，差异矢量是检索窗口和参考窗口之间的位置或转换差。典型地，象素宏块的象素座标取块的最左最上的座标。差异矢量可以在右视野信道数据流中发射，该数据在编码器中用于重建差异预测的增强层图象。预测器120提供在加法器140处从增强层象素数据Y中提取的信号aX+b，以提供差异的右视野象素数据。该差异的右视野象素数据Y-(aX+b)然后被提供到端子142。
在基层，运动补偿(MC)和离散余弦变换(DCT)编码器110接收左视野象素数据X并进行常规编码。该MC/DCT编码器110然后输出运动矢量和DCT系数到编码器125。预测器120也接收来自MC/DCT编码器110的MC数据。编码器135接收右视野象素数据Y并进行运动补偿和/或I帧编码。然后编码器135输出I帧象素到端子143或输出运动矢量到编码器125。开关145给DCT编码器在端子142处提供差异的右视野象素数据Y-(aX+b)＝Y-aX-b，或在端子143处提供I帧编码的右视野象素数据。当选择端子143时，差异估算过程被旁通。这也是需要的，例如，当确定最小平方误差(LSE)大于给定值时，或当图象结构组需要I图象时。DCT编码器150处理该象素数据，以提供相应的变换系数到编码器125。
在编码器125，利用差分脉冲编码调制(DPCM)，行程长度编码和哈佛曼编码对左和右视野运动补偿矢量，DCT系数和差异矢量进行编码，以产生左视野信道和右视野信道数据流。随后，左和右视野信道在多路复用器(未显示)中与差异估算参数a，b一起多路复用，并被调制，以用合适的载频信号传输。
按照本发明，差异估算器115按照最小平均衰减标准使右视野象素亮度的误差最小。注意词″误差″的使用只意味着左视野数据被用作为基本线。因此，右视野数据的衰减相对于左视野数据简单地为非平衡的或差异的。具体地，差异估算器115使误差E＝(abs(Y-aX-b)2最小其中″abs″表示绝对值。差异估算器115使用优化仿射变换和块匹配过程，其中块匹配是以宏块水平进行的。例如，对于NTSC格式，视频帧可分成30片，每片具有44个宏块。因此，整个NTSC帧包括1320个宏块。对于PAL格式，则有1584个宏块。而且，典型地一个宏块由16×16象素块组成，在MPEG标准中由8×8象素块组成。
检索窗口被定义为右视野图象中的当前宏块，它要与左视野图象的参考窗口中的不同宏块比较。具体地，用于比较的左视野图象在显示次序中是下一个图象，或最近的图象。而且检索范围(即参考窗口的大小)是由立体摄像机的运动确定的。典型地，水平摄像机运动要大于垂直运动，因此参考窗口可设计成其宽度比其高度要大。例如，检索窗口可以是16×16整数个象素，而参考窗口可以在32×32至64×48范围中的某个整数象素。当然，也可以使用各种检索和参考窗口，不需要检索窗口与特定宏块大小对应。
图2显示了按照本发明的宏块电平优化方案。在该实施例中，差异估算器115的最小平方误差优化过程是在右视野图象的单个宏块上进行的。左视野图象200包括参考窗口210，右视野图象220包括检索窗口230。而只显示了一个参考窗口和检索窗口，为了使整个右视野图象上的交叉信道亮度的不平衡最小，整个右视野图象220可分解成多个检索窗口。在这种情况下，在左视野图象中将提供相应的附加参考窗口。而且参考窗口可以重叠。
对于i＝1-256，让Yi为16×16象素检索窗口230中256个象素的亮度值(即强度)，让Xj，i为参考窗口的第j个16×16宏块的强度。因此，下标″j″代表给定参考窗口的具体范围，下标″i″代表给定检索窗口中的具体象素。例如，对于16×16象素检索窗口和64×48象素参考窗口，检索窗口将相当于(64-16+1)×(48-16+1)＝49×33＝1617，不同于参考窗口中的16×16范围。
对于给定参考窗口的第j个范围，可以确定差异估算参数aj和bj，它使该数量最小 E j = Σ i = 1 256 ( y i - a j x j , i - b j ) 2 .
执行功能240的过程提供对比度，a，亮度，b设置，它使得仿射变换的Xj，i值具有从小的平方距离。当对应于aj和bj的局部微商为0时，出现最小的Ej，即 ∂ E j ∂ a j = - 2 Σ i = 1 256 x j , i ( y j - a j x j , i - b j ) = 0 , 和 ∂ E j ∂ b j = - 2 Σ i = 1 256 ( y j - a j x j , i - b j ) = 0 , 当满足下列条件时，它出现
Figure C9711865900091
上述的计算可以用已知的计算技术进行。在参考窗口中″最好的″仿射变换系数a*和b*(即使所有j个可能的参考窗口块上的误差最小的系数)和最好的匹配块X*，1，X*，2，…X*，256(即X*，i)由下述条件确定 E = min allj E j .
注意a＞0是需要的，要不设置a＝1。而且，对于一个16*16＝256象素块，在仿射变换后，如果象素X′＝aX+b＞255，则设置X′＝255，如果象素X′＝aX+b＜0，设X′＝0。如果出现这些情况的一个，将检查最小平方误差计算，以确保abs(Y-X′)2＜abs(Y-X)2，否则，如果abs(Y-X′)2≥abs(Y-X)2，则设a＝1，b＝0。
一旦发现给定检索窗口的a*和b*(其中″*″表示优化条件)。相应的差异矢量也可以象讨论的那样确定。在增强层图象中对于每个检索窗口重复该过程。例如，对于每图象具有1320宏块的NTSC格式，Ej对于1320个宏块的每个被最小化。因此，对于增强图象中的每个宏块，a*和b*，和(VX，VY)被存贮并在数据流中发射，该数据流在解码器中用于重建右视野图象。正如所见的，对于前面的最小化过程，为右视野图象中的每个检索窗口宏块获得优化的差异矢量(VX，VY)。另外，为每个宏块分别找到优化的对比度和亮度设置a*和b*。
该方法的缺点是实施起来很复杂。首先，由于需要进行附加的计算，检索算法比常规块匹配算法更复杂。其次，对于每个检索窗口宏块(见图1)在数据流中必须经常载为系数a*和b*。最后，该方法在MPEG-2图象水平句法或某些用户定义的句法中需要用户数据。
为了减少每个宏块计算的复杂性和数据的经常性，何以增加优化参数a*和b*。例如，可以对于一帧或一场的每个小块或对于各种大小的宏块一确定a*和b*。用这种方式，可减少在数据流中为每个增强层图象携带的整个系数数。而且在一个反馈方法中，a*和b*可重新计算，直到获得给定的标准，比如目标误差。
图3显示了按照本发明在编码器中使用的一种方法。在方块305中，通过立体视频信号接收的编码的左视野亮度象素数据被存贮在存贮器中。该编码的数据利用常规的方法(未显示)被反向定长编码和反向哈弗曼编码。变换的系数和象素数据被提供到方块315，以反向量化该编码的数据。反向量化功能块315使用由方块335提供的量化参数，比如它可以是来自一个查对表。在方块320，反向量化的差分右象素数据被存贮在存贮器中，而在方块325中，用反向DCT功能处理，以提供未校正的差分右视野象素数据。
在方块340中，从立体视频信号恢复之后，检测的左视野图象的参考数据X被存贮在存贮器中在方块345中，编码的参考数据X用于预测。方块345接收通过方块360提供的差异矢量。参考数据X然后在方块350中按照通过功能块365接收的仿射变换系数a，b进行仿射变换。在方块355中，预测的左视野参考数据被存贮在存贮器中，然后用未校正的差分右视野象素数据求和，以按照本发明提供到缓冲器的亮度校正的右视野象素数据，然后，在方块330，该数据输出到数据缓冲器，以便下面的处理和显示。
图4显示了按照本发明的图象电平优化方案，在该实施例中，上述的最小平方误差技术用于方块匹配中，如上所述，左视野图象200包括参考窗口210，而右视野图象220包括检索窗口230。而且只有一个检索窗口和参考窗口被显示，但应该理解到下面的过程可应用于多个检索窗口和参考窗口，以使右视野图象上的交叉信道亮度的不平衡最小。
首先在方块400中进行常规的方块匹配算法，以为右视野图象中的n个宏块的每个确定差异矢量(VX，VY)。例如，对于NTSC格式图象，n＝1320。在常规方块匹配算法中，要匹配的象素块与其它象素块比较，以确定谁与图象内容最相似。
然后，在方块410中，每个检索窗口的最小平方误差的和用于寻找左和右视野图象之间好的整体对比度和亮度(即系数a*，b*)。因此，对于给定的右视野图象，利用常规方块匹配算法可确定所有检索窗口宏块的差异矢量和补偿的方块。
让y1，y2，…yn(即yi，i＝1至n)为n个右视野宏块的相应值，并让为左视野图象200的相应差异补偿的数据。然后可确定使下面数值 E = Σ i = 1 n ( y i - a x i ^ - b ) 2 最小的系数a和b(即a*和b*)。因此，为整个图象提供一对系数a*和b*，而不是为检索窗口宏块提供一对系数。
该误差最小技术也提供了好的对比度和亮度设置，当满足下列式子时，它使与右视野图象相关的仿射变换的左视野图象的最小平方误差最小：而且， b j = 1 n ( Σ i = 1 n y i - a i Σ i = 1 n x i ^ )
如结合图2所讨论的，当每个单独的宏块被优化后，本发明实施例的编码复杂性和经常性大大减少了。具体地，由于参数a*和b*必须节省并只在图象电平用户数据中发射，经常性减少了。可是，用本编码过程，在确定系数a和b之前，需要缓冲器来存贮帧(或场)的编码信息，这是由于包括a和b的用户数据在本身的编码的图象数据之前要在数据流中发射。
还要注意，本技术，可对其它块尺寸提供图象电平优化，例如一小块或小块的一部分。
利用图3的解码方法可进行图4的优化方案的解码，其中X为预测的左视野参考数据 X ^ .
图5显示的按照本发明的图象电平优化方案的另一个实施例。右视野图象220包括与左视野图象200中参考区域215的位置相应的窗口235。窗口235并未定义为″检索″窗口，因为不存在检索过程。相反，窗口235是左视野图象200的参考区域215到右视野图象220的直接转换。在该实施例中，在功能块500中，通过使每个左视野窗口上的最小平方误差的和最小，从左视野图象X和右视野图象Y直接找到LSE优化参数a*和b*。接下来，在功能块510中，利用仿射变换的左视野图象aX+b(用505示出)与右视野图象Y之间的方块匹配来为Y中的每个宏块确定差异矢量(VX，VY)。本发明该实施例的优点在于不需要在传输之前用于存贮图象数据的缓冲器。
在获得差异矢量(VX，VY)和优化的参数a*和b*之后，以与运动估算相同的方式进行差异估算。可是，现在参考帧是来自于编码的左视野序列，而不是来自于右视野本身，并且最好的差异补偿的块是从相应的参考块的仿射变换而获得的。
利用图3的解码方法可实行图5的优化方案的解码。
因此，可以看到本发明提供了在立体视频编码器中优化差异估算的方法和装置。在一个实施例中，最小平方误差为右视野图象中的每个宏块单独地出现。相反，可以在右视野图象的块与左视野图象匹配之后提供优化。或在最小平方误差优化之后进行左视野图象和右视野图象的仿射变换之间的块匹配。
本发明也可能有其它变化。例如，用一种技术来优化图象的一部分，而用另一种技术来优化图象的其它部分。或者，按照图象的标准，比如图象类型，传输中图象的序列结构或显示次序，图象复杂性，图象质量，带宽要求和量化水平等来选择哪种技术。
在其它变化中，可以在闭环系统中实现LSE优化，以取得恒定的误差水平或目标误差范围。例如，在第一个替代中，可以使用较小的检索窗口。如果结果的误差小于预测的水平，可较大的宏块尺寸来重复该优化。在该方式中，当仍然能维持一个可接受的交叉信道亮度不平衡时，必须为每个图象而发射的估算系数的数量可减少。尽管结合各种特定实施例描述了本发明，但不脱离本发明的精神和范围，普通专业技术人员可作出各种变化和改型。本发明的范围由权利要求确定。

Claims (11)

1、一种减少立体视频信号的增强层图象中的交叉信道亮度不平衡的方法，其中提供一检索窗口，它至少包括所说增强层图象中的象素的一部分；及提供一参考窗口，它至少包括所说立体视频信号的基层的参考图象中的象素的一部分；
其特征在于：
确定所说参考窗口的仿射变换系数a，b，它使所说检索窗口和所说参考窗口的象素的亮度值之间的最小平方误差最小。
2、按照权利要求1的方法，进一步包括步骤：
利用所说的仿射变换系数a，b对所说参考窗口象素数据进行仿射变换；
利用所说变换的参考窗口象素数据对所说检索窗口象素数据进行差分编码；和与所说用于重建所说增强层图象的立体视频信号一起发射所说差分编码的检索窗口象素数据。
3、按照权利要求1或2的方法，进一步包括步骤：
调整所说检索窗口和所说参考窗口中至少一个的尺寸并重复所说最小化步骤，直到所说最小平方误差在目标误差范围内。
4、按照权利要求1或2的方法，进一步包括步骤：
发射用于重建所说增强层图象的所说立体视频信号中的所说仿射变换系数a，b。
5、按照权利要求1或2的方法，进一步包括步骤：
提供附加的检索窗口，它包括所说增强层图象中的象素的各个部分；
提供附加的相应的参考窗口，它包括所说参考图象中的象素的各个部分；和
为每个所说附加检索窗口，确定一组仿射变换系数a，b，它使所说检索窗口和相应参考窗口的象素的亮度值之间的最小平方误差最小。
6、一种减少立体视频信号的增强层图象中的交叉信道亮度不平衡的方法，其中提供多个窗口，它包括所说增强层图象中的象素的各个部分；及提供相应的多个参考窗口，它包括所说立体视频信号的基层的参考图象中的象素的各个部分；
其特征在于：
确定仿射变换系数a，b，它使所说增强层图象窗口和所说相应参考窗口的象素的亮度值之间的最小平方误差之和最小。
7、按照权利要求6的方法，其中，所说多个增强层图象窗口为检索窗口，进一步包括步骤：
在所说确定步骤之前，将所说多个检索窗口与所说相应多个参考窗口的各个区域匹配。
8、按照权利要求6或7的方法，进一步包括步骤：
按照所说仿射变换系数a，b变换所说相应的多个参考窗口，以提供多个变换的参考窗口；
将所说多个增强层图象窗口与所说变换的多个参考窗口的相应窗口的区域匹配，以提供匹配的多个增强层图象窗口；和
为每个所说匹配的多个增强层图象窗口确定差异矢量，它指示在匹配的增强层图象窗口和相应的变换的参考窗口之间的转换差别。
9、按照权利要求8的方法，进一步包括步骤：
发射在用于重建所说增强层图象的所说立体视频信号中的所说差异矢量。
10、一种解码立体视频信号的方法，该立体视频信号带有减少的在该信号的增强层图象中的交叉信道亮度不平衡，其特征在于：
从所说立体视频信号检索仿射变换的系数a、b；
通过使检索窗口和参考窗口的象素的亮度值之间的最小平方误差最小，来确定所说仿射变换系数，其中，所说检索窗口包括至少所说增强层图象中象素的一部分，所说参考窗口至少包括所说立体视频信号的基层的参考图象中象素的一部分；和
用所说仿射变换系数来恢复所说检索窗口象素数据。
11、按照权利要求10，其中所说检索窗口象素数据作为差分编码数据被携带在所说立体视频信号中，进一步包括步骤：
从所说立体视频信号中检索所说参考窗口象素数据；
利用所说参考窗口象素数据来提供参考窗口象素预测数据；
按照所说仿射变换系数来仿射变换所说参考窗口象素预测数据；和
将所说差分编码数据与所说仿射变换的参考窗口象素预测数据求和，以恢复所说检索窗口象素数据。
CN97118659A 1996-08-06 1997-08-06 用于立体视频编码的优化的差异估算方法 Expired - Fee Related CN1084568C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/692,630 1996-08-06
US08/692,630 US5652616A (en) 1996-08-06 1996-08-06 Optimal disparity estimation for stereoscopic video coding

Publications (2)

Publication Number Publication Date
CN1179065A CN1179065A (zh) 1998-04-15
CN1084568C true CN1084568C (zh) 2002-05-08

Family

ID=24781374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN97118659A Expired - Fee Related CN1084568C (zh) 1996-08-06 1997-08-06 用于立体视频编码的优化的差异估算方法

Country Status (10)

Country Link
US (1) US5652616A (zh)
EP (1) EP0823826B1 (zh)
JP (1) JPH10257527A (zh)
KR (1) KR19980018426A (zh)
CN (1) CN1084568C (zh)
CA (1) CA2212069C (zh)
DE (1) DE69726508T2 (zh)
HK (1) HK1010297A1 (zh)
NO (1) NO973602L (zh)
TW (1) TW404123B (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3539788B2 (ja) * 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
JP2001502504A (ja) * 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
US6693666B1 (en) * 1996-12-11 2004-02-17 Interval Research Corporation Moving imager camera for track and range capture
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JPH10320561A (ja) * 1997-05-21 1998-12-04 Oki Data:Kk 画像処理方法及びその装置
JP3931392B2 (ja) * 1997-08-25 2007-06-13 ソニー株式会社 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US6731811B1 (en) * 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
US6215825B1 (en) * 1998-07-09 2001-04-10 Canon Kabushiki Kaisha Stereographic image compression with image difference generation and lossy compression
US6275253B1 (en) 1998-07-09 2001-08-14 Canon Kabushiki Kaisha Stereographic image compression with image moment normalization
US6456340B1 (en) 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
US6151362A (en) * 1998-10-30 2000-11-21 Motorola, Inc. Joint rate control for stereoscopic video coding
JP3349121B2 (ja) * 1999-09-22 2002-11-20 富士重工業株式会社 ステレオカメラの取付構造
AUPQ887100A0 (en) * 2000-07-19 2000-08-10 Dynamic Digital Depth Research Pty Ltd Image processing and encoding techniques
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6965647B1 (en) * 2000-11-28 2005-11-15 Sony Corporation Robust time domain block decoding
KR100936635B1 (ko) * 2001-06-11 2010-01-14 톰슨 라이센싱 에스.에이. 미세 입자 스케일 가능한 비디오에 대한 움직임 보상
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
US7027515B2 (en) * 2002-10-15 2006-04-11 Red Rock Semiconductor Ltd. Sum-of-absolute-difference checking of macroblock borders for error detection in a corrupted MPEG-4 bitstream
AU2003264580B2 (en) * 2002-11-29 2006-08-10 Canon Kabushiki Kaisha Range Estimation Using Multi-dimensional Segmentation
US20040175057A1 (en) * 2003-03-04 2004-09-09 Thomas Tsao Affine transformation analysis system and method for image matching
KR100565791B1 (ko) * 2003-08-04 2006-03-29 삼성전자주식회사 모션백터 추정장치 및 모션백터 추정방법
KR100524077B1 (ko) * 2003-11-13 2005-10-26 삼성전자주식회사 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
JP2007525906A (ja) * 2004-02-27 2007-09-06 ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． 立体３ｄビデオイメージディジタルコーディングのシステムおよび方法
EP2544451A3 (en) * 2004-02-27 2014-01-08 Tdvision Corporation S.A. DE C.V. Method and system for digital decoding 3D stereoscopic video images
US8204133B2 (en) 2004-10-12 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
CN102263962A (zh) * 2004-12-10 2011-11-30 韩国电子通信研究院 对多视图视频进行统一编码的装置
KR100668073B1 (ko) * 2005-07-11 2007-01-11 (주)블루비스 다시점 영상의 왜곡 보정처리 방법
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
CN101166271B (zh) * 2006-10-16 2010-12-08 华为技术有限公司 一种多视点视频编码中的视点差补偿方法
US20080095464A1 (en) * 2006-10-20 2008-04-24 Quvis, Inc. System and Method for Representing Motion Imagery Data
EP2501137A3 (en) * 2007-06-11 2012-12-12 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
US8471893B2 (en) * 2007-06-26 2013-06-25 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image bitstream using block interleaved method
ES2727567T3 (es) * 2007-12-27 2019-10-17 Psholix Ag Procedimiento y dispositivo para la generación de imágenes multivista en tiempo real
WO2009101798A1 (ja) * 2008-02-12 2009-08-20 Panasonic Corporation 複眼撮像装置、測距装置、視差算出方法及び測距方法
US20100246675A1 (en) * 2009-03-30 2010-09-30 Sony Corporation Method and apparatus for intra-prediction in a video encoder
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8428122B2 (en) * 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
JP2013521686A (ja) * 2010-03-05 2013-06-10 ソニー株式会社 ３ｄｔｖのための視差分布推定
WO2013090923A1 (en) 2011-12-17 2013-06-20 Dolby Laboratories Licensing Corporation Multi-layer interlace frame-compatible enhanced resolution video delivery
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
KR101708331B1 (ko) * 2010-09-17 2017-02-20 삼성전자 주식회사 디스플레이장치 및 그 제어방법
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
CN102026013B (zh) * 2010-12-18 2012-05-23 浙江大学 基于仿射变换的立体视频匹配方法
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
ITTO20110414A1 (it) * 2011-05-11 2012-11-12 St Microelectronics Pvt Ltd Procedimento ed apparecchiatura per elaborare segnali video, prodotto informatico e segnale codificato relativi
TWI456975B (zh) 2011-08-23 2014-10-11 Acer Inc 立體影像處理裝置與方法
CN102984538B (zh) * 2011-09-05 2015-02-25 宏碁股份有限公司 立体图像处理装置与方法
TWI465105B (zh) * 2011-10-26 2014-12-11 Syntek Semiconductor Co Ltd 立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
WO2013170040A1 (en) 2012-05-11 2013-11-14 Intel Corporation Systems and methods for row causal scan-order optimization stereo matching
TW201409994A (zh) 2012-08-30 2014-03-01 Novatek Microelectronics Corp 立體視訊的編碼方法與編碼裝置
KR102062765B1 (ko) * 2012-09-18 2020-02-11 삼성전자주식회사 이미지 변환 메커니즘을 갖춘 3ｄ 이미지 캡쳐 시스템과 그 사용 방법
US10045014B2 (en) * 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
CN112087630B (zh) * 2014-09-30 2022-04-08 华为技术有限公司 图像预测方法、装置、解码器及存储介质
US10412412B1 (en) 2016-09-30 2019-09-10 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10553029B1 (en) 2016-09-30 2020-02-04 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10609356B1 (en) * 2017-01-23 2020-03-31 Amazon Technologies, Inc. Using a temporal enhancement layer to encode and decode stereoscopic video content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0588410A1 (en) * 1992-09-14 1994-03-23 Koninklijke KPN N.V. System comprising a first encoder for coding a first digital signal and a second encoder for coding a second digital signal (e.g. stereoscopic video signal)
CN1109247A (zh) * 1993-07-09 1995-09-27 Rca.汤姆森许可公司 立体视频信号的编码方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
JP3465988B2 (ja) * 1994-04-27 2003-11-10 松下電器産業株式会社 動き及び奥行き推定方法及びその装置
JP3242529B2 (ja) * 1994-06-07 2001-12-25 松下通信工業株式会社 ステレオ画像対応付け方法およびステレオ画像視差計測方法
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
JP2001502504A (ja) * 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0588410A1 (en) * 1992-09-14 1994-03-23 Koninklijke KPN N.V. System comprising a first encoder for coding a first digital signal and a second encoder for coding a second digital signal (e.g. stereoscopic video signal)
CN1109247A (zh) * 1993-07-09 1995-09-27 Rca.汤姆森许可公司 立体视频信号的编码方法和装置

Also Published As

Publication number Publication date
JPH10257527A (ja) 1998-09-25
EP0823826B1 (en) 2003-12-03
EP0823826A3 (en) 1999-04-14
HK1010297A1 (en) 1999-06-17
CN1179065A (zh) 1998-04-15
KR19980018426A (ko) 1998-06-05
CA2212069C (en) 2001-06-12
MX9705999A (es) 1998-07-31
DE69726508D1 (de) 2004-01-15
CA2212069A1 (en) 1998-02-06
EP0823826A2 (en) 1998-02-11
NO973602D0 (no) 1997-08-05
NO973602L (no) 1998-02-09
TW404123B (en) 2000-09-01
US5652616A (en) 1997-07-29
DE69726508T2 (de) 2004-09-23

Similar Documents

Publication Publication Date Title
CN1084568C (zh) 用于立体视频编码的优化的差异估算方法
Merkle et al. Efficient compression of multi-view video exploiting inter-view dependencies based on H. 264/MPEG4-AVC
KR100481732B1 (ko) 다 시점 동영상 부호화 장치
KR100667830B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
Martinian et al. Extensions of H. 264/AVC for multiview video compression
US8644386B2 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
EP2099226B1 (en) Video encoding method, decoding method, device thereof, program thereof, and storage medium containing the program
KR100856411B1 (ko) 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US8179969B2 (en) Method and apparatus for encoding or decoding frames of different views in multiview video using global disparity
US20070064799A1 (en) Apparatus and method for encoding and decoding multi-view video
EP1927249B1 (en) Apparatus and method for encoding and decoding multi-view video
CN1226786A (zh) 用于立体视频编码的视图偏移估算
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
KR20070033863A (ko) 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
US20130170763A1 (en) Image encoding method and apparatus, image decoding method and apparatus, and programs therefor
KR20120095611A (ko) 다시점 비디오 부호화/복호화 방법 및 장치
Yang et al. An MPEG-4-compatible stereoscopic/multiview video coding scheme
KR101187580B1 (ko) 조도 보상 방법 및 그 장치와 이를 이용한 동영상 부호화방법 및 그 장치
WO2006110007A1 (en) Method for coding in multiview video coding/decoding system
Kim et al. Efficient disparity vector coding for multiview sequences
US20060251168A1 (en) Video encoding and decoding methods and corresponding devices
JPH1028274A (ja) 立体画像符号化装置
KR20090078114A (ko) 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체
Brites et al. Correlation noise modeling for multiview transform domain Wyner-Ziv video coding
Belbel et al. Improved inter-view correlations for low complexity MV-HEVC

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: GENERAL INSTRUMENT CORP. OF DELAWARE TO: GENERAL INSTRUMENT CO.,LTD.

CP03 Change of name, title or address

Address after: American Pennsylvania

Applicant after: General Instrument Corporation

Address before: Illinois

Applicant before: General Instrument Corp. of Delaware

C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee