CN102833533A - 视频的解码装置/方法、编码装置/方法及存储介质 - Google Patents

视频的解码装置/方法、编码装置/方法及存储介质 Download PDF

Info

Publication number
CN102833533A
CN102833533A CN2012101740555A CN201210174055A CN102833533A CN 102833533 A CN102833533 A CN 102833533A CN 2012101740555 A CN2012101740555 A CN 2012101740555A CN 201210174055 A CN201210174055 A CN 201210174055A CN 102833533 A CN102833533 A CN 102833533A
Authority
CN
China
Prior art keywords
motion vector
unit
vector
predicted
predicted vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101740555A
Other languages
English (en)
Other versions
CN102833533B (zh
Inventor
岛田智史
中川章
数井君彦
小山纯平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46384134&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102833533(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201410806725.XA priority Critical patent/CN104539950B/zh
Priority to CN201410806148.4A priority patent/CN104539963B/zh
Priority to CN201410806736.8A priority patent/CN104539951B/zh
Publication of CN102833533A publication Critical patent/CN102833533A/zh
Application granted granted Critical
Publication of CN102833533B publication Critical patent/CN102833533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Abstract

一种视频的解码装置/方法、编码装置/方法及存储介质。该视频解码装置包括:参考图片列表存储单元,存储图片的图片信息;运动向量信息存储单元,存储运动向量信息,运动向量信息包括与要解码的目标块在空间上和时间上相邻的块的运动向量、以及表示运动向量所涉及的图片的参考图片标识符;以及预测向量生成单元,根据图片信息和运动向量信息,对目标块的运动向量的预测向量候选进行定标,以及以预定量朝向0对定标的预测向量候选进行校正。

Description

视频的解码装置/方法、编码装置/方法及存储介质
技术领域
本文中讨论的实施例涉及视频解码装置、视频编码装置、视频解码方法、视频编码方法及存储介质。
背景技术
目前的视频编码技术中,将图片划分成块,对块中的像素进行预测,并且预测的差分被编码以实现高的压缩比。根据待编码图片中的空间相邻像素来预测像素的预测模式被称为帧内预测模式。另外,使用运动补偿技术根据之前编码的参考图片来预测像素的预测模式被称为帧间预测模式。
在视频编码装置的帧间预测模式下,用来预测像素的参考区域用被称为运动向量的二维坐标数据来表示,并且对运动向量数据、以及原始像素与预测像素之间的差分像素数据进行编码,其中,该运动向量包括水平分量和垂直分量。为了减少编码量,根据与待编码目标块(可被称为编码目标块)相邻的块的运动向量生成预测向量,并且对目标块的运动向量与预测向量之间的差分向量进行编码。通过将较少量的编码分配给较小的差分向量,可以减少运动向量的编码量以及提高编码效率。
另外,在视频解码装置中,针对每个块确定与视频编码装置中生成的预测向量相同的预测向量,并且通过将编码差分向量和预测向量相加来恢复运动向量。为此,视频编码装置和视频解码装置包括具有基本上相同配置的向量预测单元。
在视频解码装置中,通常按照光栅扫描技术或z扫描技术的顺序从左上方至右下方对块进行解码。因此,只有在要在视频解码装置处被解码的目标块左侧或者上面的块的运动向量,即在目标块之前被解码的运动向量,可被视频编码装置和视频解码装置的运动向量预测单元用于预测。
另外,在MPEG(运动图片专家组)-4 AVC/H.264(下文中可被简单地称为H.264)中,可以取代要处理的目标图片的运动向量而使用之前编码/解码的参考图片的运动向量来确定预测向量(例如参见ISO/IEC14496-10(MPEG-4第10部分)/ITU-T Rec.H.264)。
此外,2011年3月JCT-VC第五次会议,JCTVC-E603,“WD3:Working Draft 3 of High-Efficiency Video Coding(高效视频编码的工作草案3)”中公开了一种确定预测向量的方法。高效视频编码(HEVC)是一种视频编码技术,其标准化由ISO/IEC和ITU-T联合讨论。HEVC测试模型(HM)软件(版本3.0)已经被提出作为参考软件。
下面描述HEVC的概要。在HEVC中,提供了用于列出参考图片的参考图片列表L0和L1。对于每个块,最多达两个参考图片的区域,即对应于参考图片列表L0和L1的运动向量可被用于帧间预测。
参考图片列表L0和L1一般对应于显示时间的方向。参考图片列表L0列出了相对于要处理的目标图片的先前图片,而参考图片列表L1列出了未来图片。参考图片列表L0和L1的每个条目包括像素数据的存储位置和相应图片的图片序列号(POC,picture order count)。
POC用整数表示,并且表示图片显示的顺序和图片的相对显示时间。假定在显示时间“0”处显示具有POC“0”的图片,则给定图片的显示时间可以通过将图片的POC乘以常数来获得。例如,当“fr”表示帧的显示周期(Hz)并且“p”表示图片的POC时,图片的显示时间可以用以下公式(1)来表示。
显示时间=p×(fr/2)......公式(1)
因此,可以说POC表示以常数为单位的图片的显示时间。
当参考图片列表包括两个或更多个条目时,运动向量所涉及的参考图片由参考图片列表中的索引号(参考索引)来指定。当参考图片列表仅包括一个条目(或者一个图片)时,与参考图片列表对应的运动向量的参考索引被自动设置为“0”。在这种情况下,不需要明确地指定参考索引。
块的运动向量包括L0/L1列表标识符、参考索引和向量数据(Vx,Vy)。参考图片用L0/L1列表标识符和参考索引来标识,而参考图片中的区域用向量数据(Vx,Vy)来标识。向量数据中的Vx和Vy分别表示水平轴和垂直轴上的参考区域的坐标与要处理的目标块(或当前块)的坐标之间的差分。例如,可以以四分之一像素为单位来表示Vx和Vy。L0/L1列表标识符和参考索引可以被共同地称为参考图片标识符,并且(0,0)可以别称为0向量。
下面描述确定HEVC中的预测向量的方法。针对由L0/L1列表标识符和参考索引标识的每个参考图片,确定预测向量。在参考由列表标识符LX和参考索引refidx标识的参考图片来确定运动向量的预测向量的向量数据mvp时,计算最多达三组向量数据作为预测向量候选。
在空间上和时间上与目标块相邻的块被分类成三组:目标块左侧的块(左侧组)、目标块上面的块(上部组)以及在时间上与目标块相邻的块(时间相邻组)。从三个组中的每个组中选择最多达一个预测向量候选。
以如下的组的优先权的顺序列出所选择的预测向量候选:时间相邻组、左侧组和上部组。该列表以阵列mvp_cand来布置。如果所有组中都没有出现预测向量候选,则向阵列mvp_cand增加0向量。
预测候选索引mvp_idx用来标识要被用作预测向量的、列表中的预测向量候选之一。即,位于阵列mvp_cand中第“mvp_idx”个位置处的预测向量候选的向量数据被用作预测向量的向量数据mvp。
当mv表示涉及由列表标识符LX和参考索引refidx标识的参考图片的编码目标块的运动向量时,视频编码装置搜索阵列mvp_cand以寻找与运动向量mv最接近的预测向量候选,并且将找到的预测向量候选的索引设定为预测候选索引mvp_idx。此外,视频编码装置使用以下公式(2)来计算差分向量mvd,并且将refidx、mvd和mvp_idex编码为列表LX的运动向量信息。
mvd=mv-mvp......公式(2)
视频解码装置对refidx、mvd和mvp_idex进行解码,根据refidx确定mvp_cand,以及将位于mvp_cand中第“mvp_idx”个位置处的预测向量候选用作预测向量mvp。视频解码装置根据以下公式(3)来恢复目标块的运动向量mv。
mv=mvd+mvp......公式(3)
接下来描述在空间上与目标块相邻的块。图1是示出在空间上与目标块相邻的块的图。参考图1,描述从目标块左侧的块和目标块上面的块中选择预测向量候选的示例性处理。
首先,描述从目标块左侧的块中选择预测向量候选的示例性处理。依次搜索目标块左侧的块I和H,直至找到具有列表标识符LX和参考索引refidx的运动向量1。如果找到了具有列表标识符LX和参考索引refidx的运动向量1,则选择运动向量1。
如果没有找到运动向量1,则搜索涉及如下参考图片的运动向量2,该参考图片在参考图片列表LY中并且与由参考图片列表LX的参考索引refidx表示的参考图片相同。如果找到运动向量2,则选择运动向量2。
如果没有找到运动向量2,则搜索用于帧间预测的运动向量3。如果找到了运动向量3,则选择运动向量3。如果该处理中选择的运动向量不涉及与由参考图片列表LX的参考索引refidx表示的参考图片相同的参考图片,则执行稍后描述的定标处理。
接下来,描述从目标块上面的块中选择预测向量候选的示例性处理。依次搜索目标块上面的块E、D和A,直至找到具有列表标识符LX和参考索引refidx的运动向量1。如果找到了具有列表标识符LX和参考索引refidx的运动向量1,则选择运动向量1。
如果没有找到运动向量1,则搜索涉及如下参考图片的运动向量2,该参考图片在参考图片列表LY中并且与由参考图片列表LX的参考索引refidx表示的参考图片相同。如果找到运动向量2,则选择运动向量2。
如果没有找到运动向量2,则搜索用于帧间预测的运动向量3。如果找到了运动向量3,则选择运动向量3。如果该处理中选择的运动向量不涉及与由参考图片列表LX的参考索引refidx表示的参考图片相同的参考图片,则执行稍后描述的定标处理。
接下来,描述在时间上与目标块相邻的块。图2是用来描述从在时间上与目标块相邻的块中选择预测向量候选的处理的图。
首先,选择包括时间相邻块并且被称为搭配图片(collocated picture,ColPic)的时间相邻参考图片20。ColPic 20是参考图片列表L0或L1中具有参考索引“0”的参考图片。通常,ColPic是参考图片列表L1中具有参考索引“0”的参考图片。
通过下面描述的定标方法,对如下mvCol 22进行定标以生成预测向量候选,该mvCol 22是位于ColPic 20中与目标块11相同位置处的块(Col块)21的运动向量。
下面描述对运动向量进行定标的示例性方法。在此,假定输入运动向量用mvc=(mvcx,mvcy)表示,输出向量(预测向量候选)用mvc’=(mvcx’,mvcy’)表示,以及mvc是mvCol。
此外,ColRefPic 23表示mvc所涉及的图片,ColPicPoc表示包括mvc的ColPic 20的POC,ColRefPoc表示ColRefPic 23的POC,CurrPoc表示当前目标图片10的POC,以及CurrRefPoc表示由RefPicList_LX和RefIdx标识的图片25的POC。
当要定标的运动向量是空间相邻块的运动向量时,ColPicPoc等于CurrPoc。当要定标的运动向量是时间相邻块的运动向量时,ColPicPoc等于ColPic的POC。
如以下公式(4)和(5)所示,根据图片的时间间隔之间的比率对mvc进行定标。
mvcx’=mvcx×(CurrPoc-CurrRefPoc)/(ColPicPoc-ColRefPoc)......公式(4)
mvcy’=mvcy×(CurrPoc-CurrRefPoc)/(ColPicPoc-ColRefPoc)......公式(5)
然而,由于除法需要大量的计算,所以例如可以通过使用以下公式进行乘法和移位来对mvc’进行近似。
DiffPocD=ColPicPoc-ColRefPoc......公式(6)
DiffPocB=CurrPoc-CurrRefPoc......公式(7)
TDB=Clip3(-128,127,DiffPocB)……公式(8)
TDD=Clip3(-128,127,DiffPocD)……公式(9)
iX=(0x4000+abs(TDD/2))/TDD......公式(10)
Scale=Clip3(-1024,1023,(TDB×iX+32)>>6)......公式(11)
abs():返回绝对值的函数
Clip3(x,y,z):返回x、y和z的中值的函数
>>:右算术移位
通过公式(11)获得的“Scale”用作定标因子。在该示例中,Scale=256表示系数为“1”,即,mv未定标。定标因子具有小数点之后8比特的精度。因而,当乘以定标因子时,运动向量的小数点之后的精度增加8比特。
根据定标因子Scale,使用以下公式来执行定标操作。
mvcx’=(Scale×mvcx+128)>>8......公式(12)
mvcy’=(Scale×mvcy+128)>>8......公式(13)
在公式(12)和(13)中,通过将2N-1加到被乘以定标因子的值上并且将加法结果向右移位N比特,来将小数点之后的N比特舍入为最接近的整数。ISO/IEC 14496-10(MPEG-4第10部分)/ITU-T Rec.H.264中公开了类似的定标处理。所获得的向量mvc’用作预测向量候选。
发明内容
实施例的一个方面的目的是提供一种使得可以改进预测向量的准确度的视频解码装置、视频编码装置、视频解码方法、视频编码方法及存储程序代码的存储介质。
根据本发明的一个方面,提供了一种视频解码装置,该视频解码装置包括:参考图片列表存储单元,存储图片的图片信息;运动向量信息存储单元,存储运动向量信息,其中,运动向量信息包括在空间上和时间上与要解码的目标块相邻的块的运动向量、以及指示运动向量所涉及的图片的参考图片标识符;以及预测向量生成单元,根据图片信息和运动向量信息,对目标块的运动向量的预测向量候选进行定标,以及以预定量朝向0对定标的预测向量候选进行校正。
附图说明
图1是图示在空间上与目标块相邻的块的图;
图2是用来描述从在时间上与目标块相邻的块中选择预测向量候选的处理的图;
图3是图示mvp’与mvCol之间的关系的图;
图4是图示当mvp’为正时mv的出现概率分布的图;
图5是图示当mvp’为负时mv的出现概率分布的图;
图6是图示根据第一实施例的视频解码装置的示例性配置的框图;
图7是图示根据第一实施例的预测向量生成单元的示例性配置的框图;
图8是图示根据第一实施例的定标操作单元的示例性配置的框图;
图9是图示定标操作单元的部件的示例性配置(1)的框图;
图10是图示定标操作单元的部件的示例性配置(2)的框图;
图11是用来描述定标操作单元的操作的图;
图12是图示定标操作单元的部件的示例性配置(3)的框图;
图13是图示由第一实施例的视频解码装置执行的示例性处理的流程图;
图14是图示由第一实施例的预测向量生成单元执行的示例性处理(1)的流程图;
图15是图示由第一实施例的预测向量生成单元执行的示例性处理(2)的流程图;
图16是图示根据第二实施例的预测向量生成单元的示例性配置的框图;
图17是图示由第二实施例的预测向量生成单元执行的示例性处理的流程图;
图18是图示根据第三实施例的预测向量生成单元的示例性配置的框图;
图19是图示由第三实施例的预测向量生成单元执行的示例性处理(1)的流程图;
图20是图示由第三实施例的预测向量生成单元执行的示例性处理(2)的流程图;
图21是图示根据第四实施例的预测向量生成单元的示例性配置的框图;
图22是图示由第四实施例的预测向量生成单元执行的示例性处理(1)的流程图;
图23是图示由第四实施例的预测向量生成单元执行的示例性处理(2)的流程图;
图24是图示根据第五实施例的视频编码装置的示例性配置的框图;
图25是图示由第五实施例的视频编码装置执行的示例性处理的流程图;以及
图26是图示图像处理装置的示例性配置的图。
具体实施例
在HEVC和H.264中,帧之间的移动由各个块的运动向量来表示。通常,当根据时间相邻块生成预测向量时,对时间相邻块的运动向量进行定标。在此,目标图片的显示时间与目标块的运动向量所涉及的图片的显示时间之间的差分T1不同于包括时间相邻块的图片的显示时间与时间相邻块的运动向量所涉及的图片的显示时间之间的差分T2。
所以,通过差分T1与差分T2之间的比率(T1/T2)来对时间相邻块的运动向量进行定标,使得每单位时间的运动量成为常量。然而,采用由公式(12)和(13)表示的方法,很难提高预测向量的准确度,其中,在由公式(12)和(13)表示的方法中,使用具有小数点之后的某个精度的定标向量来对运动向量进行定标,并且预测向量由与定标的运动向量最接近的整数来表示。
本公开内容的一个方面使得可以提高预测向量的准确度。
发明人研究了预测向量的准确度。图3是图示mvp’与mvCol之间的关系的图。在图3中,mvCol 22表示在时间上与要处理的目标块11相邻的块(Col块21)的运动向量,而mv表示目标块11的运动向量。
还是在图3中,mvp’表示通过以实数的无限精度用上述比率(T1/T2)对mvCol 22进行定标而获得的运动向量(预测向量候选)。即,mvp’由以下公式(14)来表示。
mvp’=mvCol×(T1/T2)......公式(14)
当等于mv的预测向量候选被选择为预测向量时,则差分向量变成“0”,因而提高了编码效率。所以,为了提高编码效率,重要的是使mvp’变成等于或接近于mv。发明人研究了mvp’与mv之间的差分。
图4是图示当mvp’为正时mv的出现概率分布的图。图4的概率分布基于向量的水平分量。图5是图示当mvp’为负时mv的出现概率分布的图。图5的概率分布也基于向量的水平分量。
如图4和图5所示,当将通过对mvCol 22进行定标而获得的mvp’与mv进行比较时,在与mvp’相比稍微更靠近0向量的位置处,mv的出现频率最高。为此,在以下描述的示例中,朝向0向量对通过定标因子定标的预测向量候选进行校正。
下面,参考附图来描述本发明的优选实施例。
《第一实施例》
<配置>
图6是图示根据第一实施例的视频解码装置100的示例性配置的框图。如图6所示,视频解码装置100可以包括:熵解码单元101、参考图片列表存储单元102、运动向量信息存储单元103、预测向量生成单元104、运动向量恢复单元105、预测像素生成单元106、逆量化单元107、逆正交变换单元108、解码像素生成单元109以及解码图像存储单元110。
熵解码单元101对压缩流进行熵解码,从而对正交变换系数、以及目标块的L0和L1的参考索引、差分向量和预测候选索引进行解码。
参考图片列表存储单元102存储包括图片的POC的图片信息,图片包括目标块可以涉及的参考图片,并且参考图片列表存储单元102还存储图像数据的存储位置。
运动向量信息存储单元103存储运动向量信息,运动向量信息包括在时间上和空间上与目标块相邻的块的运动向量、以及指示运动向量所涉及的图片的参考图片标识符。运动向量信息由运动向量恢复单元105生成。
预测向量生成单元104从熵解码单元101获得L0和L1的参考索引(参考图片标识符),并且生成目标块的运动向量的预测向量候选的列表。稍后描述预测向量生成单元104的细节。
运动向量恢复单元105从熵解码单元101获得L0和L1的差分向量以及预测候选索引,并且将由预测候选索引指示的预测向量候选加到相应的差分向量上以恢复运动向量。
预测像素生成单元106使用恢复的运动向量以及存储在解码图像存储单元110中的解码图像,来生成预测像素信号。
逆量化单元107对从熵解码单元101获得的正交变换系数进行逆量化。逆正交变换单元108通过对从逆量化单元107输出的逆量化信号进行逆正交变换,来生成预测误差信号。预测误差信号输出到解码像素生成单元109。
解码像素生成单元109将预测像素信号和预测误差信号相加,以生成解码像素。
解码图像存储单元110存储解码图像,解码图像包括由解码像素生成单元109生成的解码像素。存储在解码图像存储单元110中的解码图像输出到显示单元。
接下来,更加详细地描述预测向量生成单元104。图7是图示根据第一实施例的预测向量生成单元104的示例性配置的框图。如图7所示,预测向量生成单元104可以包括定标因子计算单元201、向量信息获得单元202以及定标操作单元203。
预测向量生成单元104接收目标块的参考图片标识符和目标图片的POC信息。在此,LX表示参考列表标识符,而refidx表示目标块的参考图片标识符中所包括的参考索引。
运动向量信息存储单元103存储之前处理的块的运动向量信息。运动向量的运动向量信息包括:包括运动向量的块所属的图片的标识符、运动向量所涉及的图片的标识符(参考图片标识符)、以及运动向量的水平分量和垂直分量的值。
向量信息获得单元202从运动向量信息存储单元103获得与目标块相邻的块的运动向量信息。运动向量信息包括:运动向量、包括运动向量的块所属的图片的标识符、以及运动向量所涉及的参考图片的参考图片标识符。
向量信息获得单元202依次获得在空间上和时间上与目标块相邻的块的运动向量信息。如上所述,首先搜索目标块左侧的块的运动向量。向量信息获得单元202搜索具有列表标识符LX和参考索引refidx的运动向量1,以及如果找到则选择运动向量1。
如果没有找到运动向量1,则向量信息获得单元202搜索涉及如下参考图片的运动向量2,该参考图片在参考图片列表LY中并且与由参考图片列表LX的参考索引refidx表示的参考图片相同。如果找到运动向量2,则向量信息获得单元202选择运动向量2。
如果没有找到运动向量2,则向量信息获得单元202搜索用于帧间预测的运动向量3。如果找到运动向量3,则向量信息获得单元202选择运动向量3。如果该处理中选择的运动向量不涉及与由参考图片列表LX的参考索引refidx表示的参考图片相同的参考图片,则执行定标处理。向量信息获得单元202将所选择的运动向量的所获得的运动向量信息输出到定标因子计算单元201。
定标因子计算单元201从向量信息获得单元202接收运动向量信息,从参考图片列表存储单元102获得相关图片的POC,以及计算定标因子。
在此,CurrPoc表示目标图片的POC。定标因子计算单元201从参考图片列表存储单元102获得目标块所涉及的图片的POC(CurrRefPoc)、要定标的运动向量所属的图片的POC(ColPicPoc)、以及运动向量所涉及的图片的POC(ColRefPoc)。
定标因子计算单元201使用以下公式来计算定标因子。
DiffPocD=ColPicPoc-ColRefPoc......公式(6)
DiffPocB=CurrPoc-CurrRefPoc......公式(7)
TDB=Clip3(-128,127,DiffPocB)......公式(8)
TDD=Clip3(-128,127,DiffPocD)......公式(9)
iX=(0x4000+abs(TDD/2))/TDD......公式(10)
Scale=Clip3(-1024,1023,(TDB×iX+32)>>6)......公式(11)
abs(x):返回x的绝对值的函数
Clip3(x,y,z):返回x、y和z的中值的函数
>>:右算术移位
计算出的定标因子Scale具有小数点之后的8比特的精度。定标因子计算单元201将计算出的定标因子Scale输出到定标操作单元203。
定标操作单元203根据从向量信息获得单元202接收到的运动向量信息和从定标因子计算单元201接收到的定标因子对运动向量进行定标。
图8是图示根据第一实施例的定标操作单元203的示例性配置的框图。定标操作单元203从定标因子计算单元201接收定标因子并且从向量信息获得单元202接收要定标的运动向量(mvcx,mvcy)。要定标的运动向量(mvcx,mvcy)可被称为预定标预测向量候选。定标操作单元204输出定标运动向量(mvcx’,mvcy’)。定标运动向量(mvcx’,mvcy’)可被称为定标预测向量候选。
如图8所示,定标操作单元203可以包括定标单元303、校正单元302和调整单元303。定标单元301将预定标预测向量候选乘以具有小数点之后的预定精度的定标因子,以获得定标预测向量候选。因此,定标预测向量候选的小数点之后的精度增大为定标因子的小数点之后的精度。
校正单元302以预定量朝向0(或者0向量)对定标预测向量候选进行校正(或者调整)。调整单元303将定标并且校正的预测向量候选舍入为最接近的整数。下面描述定标单元301、校正单元302和调整单元303的详细操作。
定标单元301将运动向量(mvcx,mvcy)乘以定标因子Scale。当定标因子具有小数点之后的N比特的精度时,相乘(或定标)的运动向量的小数点之后的精度增大至N比特。
校正单元302从定标运动向量的绝对值中减去预定量“a”,以朝向0对定标运动向量进行校正。调整单元303将2N-1加到校正运动向量的值(或者分量)上,并且将加法结果向右移位N比特以将值舍入到最接近的整数。然后,调整单元303将舍入后的值乘以定标运动向量的符号。
由定标操作单元203执行的以上定标操作由以下公式(15)和(16)来表示。
mvcx’=sign(Scale×mvcx)×{(abs(Scale×mvcx)-a+2N-1)>>N}......公式(15)
mvcy’=sign(Scale×mvcy)×{(abs(Scale×mvcy)-a+2N-1)>>N}......公式(16)
abs():返回绝对值的函数
sign():返回符号(1或者-1)的函数
在公式(15)和(16)中,在减去预定量“a”之前获得定标运动向量(Scale×mvcx,Scale×mvcy)的绝对值。这将朝向0对定标运动向量的值进行校正,而不管值是正还是负。采用公式(15)和(16),以预定量“a”朝向0向量对定标运动向量进行校正。以预定量“a”朝向0向量对定标运动向量进行校正使得可以使定标操作单元203输出的预测向量候选的平均值接近于0。
当N=8时,公式(15)和(16)可被改写为以下公式(17)和(18)。
mvcx’=sign(Scale×mvcx)×{(abs(Scale×mvcx)-a+128)>>N}......公式(17)
mvcy’=sign(Scale×mvcy)×{(abs(Scale×mvcy)-a+128)>>N}......公式(18)
通过实验,发明人发现,当预定量“a”在范围1≤a≤2N-2内时,编码效率提高。因此,例如当N=8时,预定量“a”优选地在范围1≤a≤64内。
预定量“a”可被设定为从范围1≤a≤2N-2中选择的固定值。可替选地,预定量“a”的最优值可以根据场景或者定标因子来动态地确定。稍后描述根据定标因子动态地改变预定量“a”的值的示例性方法。
图9是图示定标操作单元203的部件的示例性配置(1)的框图。下面,使用运动向量(mvcx,mvcy)中的mvcx来描述由定标操作单元203的部件执行的计算。也可以对mvcy执行类似的操作。在图9的示例中,定标单元301计算公式(15)中的(Scale×mvcx)。
校正单元302获得(Scale×mvcx)的绝对值abs(Scale×mvcx),并且从绝对值中减去预定量“a”。校正单元302还计算sign(Scale×mvcx),以获得(Scale×mvcx)的符号。
调整单元303将2N-1加到“abs(Scale×mvcx)-a”上,并且将“abs(Scale×mvcx)-a+2N-1”移位N比特。接下来,调整单元303将移位值乘以(Scale×mvcx)的符号以获得mvcx’。用类似的方式获得mvcy’。然后,调整单元303输出定标运动向量(mvcx’,mvcy’)作为预测向量候选。
图10是图示定标操作单元203的部件的示例性配置(2)的框图。在图10的示例中,校正单元304将“2N-1-a”加到abs(Scale×mvcx)上。
调整单元305将从校正单元304输出的“abs(Scale×mvcx)+(a+2N-1)”移位N比特,并且将移位值乘以(Scale×mvcx)的符号。图10的定标单元301的操作与图9的定标单元301的操作基本相同。
图11是用来描述由定标操作单元203执行的示例性处理的图。在图11的示例中,假定输入流是静止目标的压缩视频。即使视频中的目标是静止的,也存在由于图片上的噪音而选择非0的小运动向量的情况。
假定如下情况,在该情况中,尽管输入流是完全静止的并且期望0向量,但是时间上相邻的运动向量不为0。在本示例中,假定时间上相邻的运动向量(mvcx,mvcy)为(2,0)(即,2/4像素和0像素的运动),并且以定标因子Scale=64将时间上相邻的运动向量(mvcx,mvcy)定标为四分之一。在这种情况下,因为mvcx/4=0.5,所以对于要输出的预测向量候选,选择mvcx’=0或者mvcx’=1。
当使用公式(12)和(13)的定标操作方法时,选择mvcx’=1(图11中的预测向量候选2)。另外,在使用公式(15)和(16)的本实施例的定标操作单元203中,定标单元301输出2(mvcx)×64(Scale)=128。校正单元302计算128-a+128=256-a。当“a”在上述范围内时,调整单元303将“256-a”移位8比特,并且输出mvcx’=0(图11中的预测向量候选1)。
因此,本实施例的定标操作单元203能够获得(mvcx’,mvcy’)=(0,0),即期望的静止的预测向量候选。
在此,当指示mv由(0,0)来表示的次数的N0大于指示mv由(1,0)来表示的次数的N1(N0>N1)时,其表示与现有技术相比,本实施例使得可以增加预测向量由0向量来表示的次数。这又使得可以减少差分向量的编码量以及提高编码效率。
也可以使用以下描述的另外的定标操作方法。图12是图示定标操作单元203的部件的示例性配置(3)的框图。在图12的示例中,预定量“a”根据定标因子的大小来计算。在此,“2N-1-a”被称为偏移量。
在图12中,校正单元306包括偏移量计算单元361。偏移量计算单元361从定标单元301获得定标因子,根据定标因子的大小计算预定量“a”以及计算偏移量(2N-1-a)。例如,偏移量计算单元361使用以下公式(19)来计算预定量“a”。
a=MIN(2N-2,abs(Scale)>>3)......公式(19)
MIN(x,y):返回x和y中较小的一个的函数
采用公式(19),当定标因子Scale的绝对值变大时,预定量“a”也变大,并且以更大的程度朝向0向量对定标值进行校正。换言之,公式(19)表示,随着定标因子增加,预定量“a”最大增加至2N-2
如上所述,朝向0向量对定标预测向量候选进行校正使得可以提高预测向量的准确度。
<操作>
接下来,描述第一实施例的视频解码装置100的示例性操作。图13是图示由第一实施例的视频解码装置100执行的示例性处理的流程图。在图13的处理中,对作为处理的单元的一个块进行解码。
在步骤S101中,熵解码单元101对输入流数据进行熵解码,并且从而对目标块的L0的参考索引、差分向量和预测值候选索引进行解码;对目标块的L1的参考索引、差分向量和预测值候选索引进行解码;以及对正交变换系数进行解码。
在步骤S102中,预测向量生成单元104根据L0和L1的解码参考索引和运动向量信息生成L0和L1的预测向量候选的列表(预测向量候选列表)。
在步骤S103中,运动向量恢复单元105获得由熵解码单元101解码的L0和L1的差分向量以及预测候选索引。运动向量恢复单元105根据预测候选索引从预测向量候选列表中识别L0和L1的预测向量。然后,运动向量恢复单元105将识别的预测向量和差分向量相加,以恢复L0和L1的运动向量(L0和L1运动向量)。
在步骤S104中,运动向量恢复单元105将运动向量信息存储在运动向量信息存储单元103中,该运动向量信息包括L0和L1的恢复的运动向量的参考索引。存储的信息用于随后的块解码处理。
在步骤S105中,预测像素生成单元106获得L0运动向量和L1运动向量,从解码图像存储单元110中获得运动向量所涉及的区域的像素数据,以及生成预测像素信号。
在步骤S106中,逆量化单元107对由熵解码单元101解码的正交变换系数进行逆量化。
在步骤S107中,逆正交变换单元108通过对逆量化的信号进行逆正交变换来生成预测误差信号。
步骤S102至S104以及步骤S106和S107不必以上述顺序来执行,以及可以并行执行。
在步骤S108中,解码像素生成单元109将预测像素信号和预测误差信号相加,以生成解码像素。
在步骤S109中,解码图像存储单元110存储包括解码像素的解码图像。通过以上步骤完成了一个块的解码处理,以及重复这些步骤以解码下一个块。
接下来,进一步描述预测向量生成单元104的操作。
<空间相邻块的预测向量候选>
描述生成在空间上与目标块相邻的块的预测向量候选的示例性处理。图14是图示由第一实施例的预测向量生成单元104执行的示例性处理(1)的流程图。在图14的步骤S201中,向量信息获得单元202依次获得在空间上与目标块相邻的块(上部块和左侧块)的(所选择的运动向量的)运动向量信息。运动向量信息以上述方式来获得。
在步骤S202中,向量信息获得单元202确定是否已经选择了涉及与由参考图片列表LX的参考索引refidx表示的参考图片相同的参考图片的期望的运动向量。如果已经选择了期望的运动向量(步骤S202中的“是”),则处理前进至步骤S205。另外,如果没有选择期望的运动向量(步骤S202中的“否”),则处理前进至步骤S203。
在步骤S203中,定标因子计算单元201使用上述公式(6)至(11)来计算定标因子。
在步骤S204中,定标操作单元203使用计算出的定标因子对运动向量(运动向量由向量信息获得单元202选择并且不同于期望的运动向量)进行定标,以预定量朝向0向量对定标的运动向量进行校正,以及对校正的运动向量进行比特移位。
在步骤S205中,定标操作单元203输出定标且校正的运动向量作为预测向量候选。另外,当已经选择了期望的运动向量时,定标操作单元203输出期望的运动向量作为预测向量候选而不执行定标操作。<时间相邻块的预测向量候选>
接下来,描述生成在时间上与目标块相邻的块的预测向量候选的示例性处理。图15是图示由第一实施例的预测向量生成单元104执行的示例性处理(2)的流程图。
在图15的步骤S301中,向量信息获得单元202获得在时间上与目标块相邻的块(时间相邻块)的(所选择的运动向量的)运动向量信息。运动向量信息以上述方式来获得。
在步骤S302中,定标因子计算单元201使用上述公式(6)至(11)来计算定标因子Scale。
在步骤S303中,定标因子计算单元201确定计算出的定标因子Scale是否为1。如果定标因子不为1(步骤S303中的“否”),则处理前进至步骤S304。另外,如果定标因子为1(步骤S303中的“是”),则处理前进至步骤S305。
在步骤S304中,定标操作单元203使用计算出的定标因子对所选择的运动向量进行定标,以预定量朝向0向量对定标的运动向量进行校正,以及对校正的运动向量进行比特移位。
在步骤S305中,定标操作单元203输出定标且校正的运动向量作为预测向量候选。另外,当定标因子为1时,定标操作单元203输出所选择的运动向量作为预测向量候选而不执行定标操作。
因此,根据第一实施例,朝向0向量对预测向量候选进行校正。这种方法或配置使得可以提高预测向量的准确度,以减少差分向量的编码量,从而提高编码效率。
《第二实施例》
接下来,描述根据第二实施例的视频解码装置。在第二实施例中,根据包括用作预测向量候选的运动向量的图片是在空间上还是在时间上与目标块相邻来执行不同的定标操作。
<配置>
除了预测向量生成单元400之外,第二实施例的视频解码装置的部件与第一实施例的视频解码装置100的部件基本相同。因此,以下主要描述预测向量生成单元400。
图16是图示根据第二实施例的预测向量生成单元400的示例性配置的框图。在图16的示例性配置中,预测向量生成单元400可以包括定标因子计算单元201、向量信息获得单元202、块确定单元401以及自适应地切换的定标操作单元A402和B403。与第一实施例中的附图标记相同的附图标记被赋予图16中的相应的部件,并且在此省略了这些部件的描述。
块确定单元401确定包括用于生成预测向量候选的运动向量的块是在空间上还是在时间上与目标块相邻。当块在时间上与目标块相邻时,块确定单元401选择定标操作单元A402,以及当块在空间上与目标块相邻时,块确定单元401选择定标操作单元B403。
定标操作单元A402以与第一实施例的定标操作单元203基本相同的方式使用公式(15)和(16)来执行定标操作,从而对定标的预测向量候选进行校正。
另外,定标操作单元B403使用公式(12)和(13)对预测向量候选进行定标操作。因此,由定标操作单元A402和B403之一生成的运动向量被用作预测向量候选。
第二实施例的配置基于以下假设,其中,mv的出现概率分布的趋势取决于包括用于生成预测向量候选的运动向量的块与目标块是在空间上相邻还是在时间上相邻而不同。在此,表示块与目标块是在空间上相邻还是在时间上相邻的信息被称为相邻信息。
例如,当包括运动向量的块与目标块在时间上相邻时,运动向量被定标的可能性大。因此,在这种情况下,如第一实施例中所述地对运动向量进行校正优选地能够提高编码效率。另外,当包括运动向量的块与目标块在空间上相邻时,运动向量被定标的可能性小。因此,在这种情况下,使用公式(12)和(13)对运动向量进行定标不会导致问题。
虽然图16的示例中使用了多个定标操作单元,但是第二实施例也可以使用一个定标操作单元来实现。在这种情况下,块确定单元401将相邻信息发送到定标操作单元。
如果相邻信息表示块与目标块在时间上相邻,则定标操作单元使用公式(15)和(16)来执行定标操作,而如果相邻信息表示块与目标块在空间上相邻,则定标操作单元执行除公式(15)和(16)中的减去预定量“a”之外的定标操作。
因此,第二实施例还可以使用如下的一个定标操作单元来实现,该定标操作单元根据块确定单元401的确定结果确定是否从定标的运动向量中减去预定量“a”。
<操作>
下面描述第二实施例的视频解码装置的示例性操作。由第二实施例的视频解码装置执行的解码处理与图13所示的解码处理基本相同,因此在此省略其描述。
图17是图示由第二实施例的预测向量生成单元400执行的示例性处理的流程图。
在步骤S401中,预测向量生成单元400确定包括用于预测向量候选的运动向量的块与目标块是在空间上相邻还是在时间上相邻。例如,可以根据参考图片标识符来确定块与目标块是在空间上相邻还是在时间上相邻。如果块与目标块在时间上相邻(步骤S401中的“是”),则处理前进至步骤S402。另外,如果块与目标块在空间上相邻(步骤S401中的“否”),则处理前进至步骤S407。
由于步骤S402至S406与图15的步骤S301至S305基本相同,所以在此省略其描述。步骤S405中的定标操作A由定标操作单元A402使用公式(15)和(16)来执行。
类似地,由于步骤S407至S409和步骤S411与图14的步骤S201至S203和步骤S205基本相同,所以在此省略其描述。
在步骤S410中,定标操作单元B403使用公式(12)和(13)来执行定标操作B。
如上所述,第二实施例使得可以根据包括用作预测向量候选的运动向量的块的相邻信息来自适应地切换定标操作,从而使得可以提高预测向量的准确度。
《第三实施例》
接下来,描述根据第三实施例的视频解码装置。在第三实施例中,根据用作预测向量候选的运动向量的大小来执行不同的定标操作。
<配置>
除了预测向量生成单元500之外,第三实施例的视频解码装置的部件与第一实施例的视频解码装置100的部件基本相同。因此,下面主要描述预测向量生成单元500。
图18是图示根据第三实施例的预测向量生成单元500的示例性配置的框图。在图18的示例性配置中,预测向量生成单元500可以包括定标因子计算单元201、向量信息获得单元202、运动向量确定单元501以及自适应地切换的定标操作单元A502和B503。与第一实施例中的附图标记相同的附图标记被赋予图18中的相应的部件,并且在此省略了这些部件的描述。
运动向量确定单元501根据定标之前的输入运动向量(或者预定标预测向量候选)的大小来切换定标操作单元A502和B503。例如,运动向量确定单元501确定输入运动向量的大小是否小于或等于预定值(例如,16)。
如果运动向量的大小小于或等于预定值,则运动向量确定单元501选择定标操作单元A502,而如果运动向量的大小大于预定值,则运动向量确定单元501选择定标操作单元B503。
定标操作单元A502以与第一实施例的定标操作单元203基本相同的方式使用公式(15)和(16)来执行定标操作,从而对定标的预测向量候选进行校正。
另外,定标操作单元B503使用公式(12)和(13)对预测向量候选执行定标操作。因此,由定标操作单元A502和B503之一生成的运动向量被用作预测向量候选。
第三实施例的配置基于以下假设,其中,mv的出现概率分布的趋势取决于预定标运动向量(或者预定标预测向量候选)的大小而不同。随着运动向量的绝对值变得更小,预测向量的误差的影响增大。为此,在第三实施例中,当运动向量的绝对值小时,如第一实施例中那样校正运动向量。
虽然图18的示例中使用了多个定标操作单元,但是第三实施例也可以使用一个定标单元来实现。在这种情况下,运动向量确定单元501向定标操作单元发送表示运动向量的大小是否小于或等于预定值的信息。
如果运动向量的大小小于或等于预定值,则定标操作单元使用公式(15)和(16)执行定标操作,而如果运动向量的大小大于预定值,则定标操作单元执行除公式(15)和(16)中的减去预定量“a”之外的定标操作。
因此,第三实施例还可以使用如下的一个定标操作单元来实现,该定标操作单元根据运动向量确定单元501的确定结果确定是否从定标的运动向量中减去预定量“a”。
<操作>
下面描述第三实施例的视频解码装置的示例性操作。由第三实施例的视频解码装置执行的解码处理与图13所示的解码处理基本相同,因此在此省略其描述。下面描述由预测向量生成单元500执行的示例性处理。
<空间相邻块的预测向量候选>
图19是图示由第三实施例的预测向量生成单元500执行的示例性处理(1)的流程图。图19的步骤S501至S503与图14的步骤S201至S203基本相同。
在步骤S504中,运动向量确定单元501确定运动向量(预测向量候选)的大小是否小于或等于预定值。如果运动向量的大小小于或等于预定值(步骤S504中的“是”),则处理前进至步骤S505。另外,如果运动向量的大小大于预定值(步骤S504中的“否”),则处理前进至步骤S506。
在步骤S505中,定标操作单元A502使用公式(15)和(16)来执行定标操作,其中,以预定量“a”对定标的预测向量候选进行校正。
在步骤S506中,定标操作单元B503使用公式(12)和(13)来执行定标操作。
在步骤S507中,预测向量生成单元500输出由定标操作单元A502或B503计算的运动向量作为预测向量候选。另外,当已经选择了期望的运动向量时,预测向量生成单元500输出期望的运动向量作为预测向量候选而不执行定标操作。
<时间相邻块的预测向量候选>
图20是图示由第三实施例的预测向量生成单元500执行的示例性处理(2)的流程图。
图20的步骤S601至S603与图15的步骤S301至S303基本相同。
在步骤S604中,运动向量确定单元501确定运动向量(预测向量候选)的大小是否小于或等于预定值。如果运动向量的大小小于或等于预定值(步骤S604中的“是”),则处理前进至步骤S605。另外,如果运动向量的大小大于预定值(步骤S604中的“否”),则处理前进至步骤S606。
在步骤S605中,定标操作单元A502使用公式(15)和(16)来执行定标操作,其中,以预定量“a”对定标的预测向量候选进行校正。
在步骤S606中,定标操作单元B503使用公式(12)和(13)来执行定标操作。
在步骤S607中,预测向量生成单元500输出由定标操作单元A502或B503计算的运动向量作为预测向量候选。另外,当定标因子为1时,预测向量生成单元500输出运动向量作为预测向量候选而不执行定标操作。
如上所述,第三实施例使得可以根据用作预测向量候选的运动向量的大小来自适应性切换定标操作,从而使得可以提高预测向量的准确度。
《第四实施例》
接下来,描述根据第四实施例的视频解码装置。在第四实施例中,根据包括预定标运动向量(预测向量候选)的图片的显示时间与预定标运动向量所涉及的图片的显示时间之间的差分来执行不同的定标操作。
<配置>
除了预测向量生成单元600之外,第四实施例的视频解码装置的部件与第一实施例的视频解码装置100的部件基本相同。因此,下面主要描述预测向量生成单元600。
图21是图示根据第四实施例的预测向量生成单元600的示例性配置的框图。在图21的示例性配置中,预测向量生成单元600可以包括定标因子计算单元201、向量信息获得单元202、时间差分确定单元601以及自适应地切换的定标操作单元A602和B603。与第一实施例中的附图标记相同的附图标记被赋予图21中的相应的部件,并且在此省略了这些部件的描述。
时间差分确定单元601根据包括预定标运动向量(预测向量候选)的图片的显示时间与预定标运动向量所涉及的图片的显示时间之间的差分来切换定标操作单元A602和B603。
例如,时间差分确定单元601获得目标图片的POC和目标块的参考图片标识符。此外,时间差分确定单元601还获得预定标运动向量所涉及的图片和包括由向量信息获得单元202选择的预定标运动向量(预测向量候选)的图片的标识符。
时间差分确定单元601从参考图片列表存储单元102中获得包括预定标运动向量(预测向量候选)的图片的POC和预定标运动向量所涉及的图片的POC,以及计算POC之间的时间差分。然后,时间差分确定单元601确定POC之间的时间差分(或者图片之间的间隔)是否小于或等于预定值(例如,4)。
如果时间差分小于或等于预定值,则时间差分确定单元601选择定标操作单元A602,而如果时间差分大于预定值,则时间差分确定单元601选择定标操作单元B603。
定标操作单元A602以与第一实施例的定标操作单元203基本相同的方式使用公式(15)和(16)来执行定标操作,从而对定标的预测向量候选进行校正。
另外,定标操作单元B603使用公式(12)和(13)对预测向量候选执行定标操作。因此,由定标操作单元A602和B603之一生成的运动向量被用作预测向量候选。
第四实施例的配置基于以下假设,其中,mv的出现概率分布的趋势取决于包括预定标运动向量(预测向量候选)的图片的显示时间与预定标运动向量所涉及的图片的显示时间之间的差分而不同。
虽然图21的示例中使用了多个定标操作单元,但是第四实施例也可以使用一个定标单元来实现。在这种情况下,时间差分确定单元601向定标操作单元发送表示计算出的时间差分是否小于或等于预定值的信息。
如果时间差分小于或等于预定值,则定标操作单元使用公式(15)和(16)来执行定标操作,而如果时间差分大于预定值,则定标操作单元执行除公式(15)和(16)中的减去预定量“a”之外的定标操作。
因此,第四实施例还可以使用如下的一个定标操作单元来实现,该定标操作单元根据时间差分确定单元601的确定结果确定是否从定标的运动向量中减去预定量“a”。
<操作>
下面描述第四实施例的视频解码装置的示例性操作。由第四实施例的视频解码装置执行的解码处理与图13所示的解码处理基本相同,因此在此省略其描述。下面描述由预测向量生成单元600执行的示例性处理。
<空间相邻块的预测向量候选>
图22是图示由第四实施例的预测向量生成单元600执行的示例性处理(1)的流程图。图22的步骤S701至S703与图14的步骤S201至S203基本相同。
在步骤S704中,时间差分确定单元601计算包括预定标运动向量(预测向量候选)的图片的显示时间与预定标运动向量所涉及的图片的显示时间之间的时间差分,并且确定时间差分是否小于或等于预定值。如果时间差分小于或等于预定值(步骤S704中的“是”),则处理前进至步骤S705。另外,如果时间差分大于预定值(步骤S704中的“否”),则处理前进至步骤S706。
在步骤S705中,定标操作单元A602使用公式(15)和(16)来执行定标操作,其中,以预定量“a”对定标的预测向量候选进行校正。
在步骤S706中,定标操作单元B603使用公式(12)和(13)来执行定标操作。
在步骤S507中,预测向量生成单元600输出由定标操作单元A602或B603计算的运动向量作为预测向量候选。另外,如果已经选择了期望的运动向量,则预测向量生成单元600输出期望的运动向量作为预测向量候选而不执行定标操作。
<时间相邻块的预测向量候选>
图23是图示由第四实施例的预测向量生成单元600执行的示例性处理(2)的流程图。
图23的步骤S801至S803与图15的步骤S301至S303基本相同。
在步骤S804中,时间差分确定单元601计算包括预定标运动向量(预测向量候选)的图片的显示时间与预定标运动向量所涉及的图片的显示时间之间的时间差分,并且确定时间差分是否小于或等于预定值。如果时间差分小于或等于预定值(步骤S804中的“是”),则处理前进至步骤S805。另外,如果时间差分大于预定值(步骤S804中的“否”),则处理前进至步骤S806。
在步骤S805中,定标操作单元A602使用公式(15)和(16)来执行定标操作,其中,以预定量“a”对定标的预测向量候选进行校正。
在步骤S806中,定标操作单元B603使用公式(12)和(13)来执行定标操作。
在步骤S807中,预测向量生成单元600输出由定标操作单元A602或B603计算的运动向量作为预测向量候选。另外,当定标因子为1时,则预测向量生成单元600输出运动向量作为预测向量候选而不执行定标操作。
因此,第四实施例使得可以根据包括预定标运动向量(预测向量候选)的图片的显示时间与预定标运动向量所涉及的图片的显示时间之间的差分来自适应地切换定标操作,并且从而使得可以提高预测向量的准确度。《第五实施例》
接下来,描述根据第五实施例的视频编码装置700。第五实施例的视频编码装置700可以包括第一实施例至第四实施例中的任一个实施例的预测向量生成单元。
<配置>
图24是图示根据第五实施例的视频编码装置700的示例性配置的框图。如图24所示,视频编码装置700可以包括运动向量检测单元701、参考图片列表存储单元702、解码图像存储单元703、运动向量信息存储单元704、预测向量生成单元705和差分向量计算单元706。
视频编码装置700还可以包括预测像素生成单元707、预测误差生成单元708、正交变换单元709、量化单元710、逆量化单元711、逆正交变换单元712、解码像素生成单元713和熵编码单元714。
运动向量检测单元701获得原始图像,从参考图片列表存储单元702中获得参考图片的存储位置,以及从解码图像存储单元703中获得参考图片的像素数据。运动向量检测单元701检测L0和L1的运动向量以及参考索引。然后,运动向量检测单元701将检测到的运动向量所涉及的参考图片的区域位置信息输出到预测像素生成单元707。
参考图片列表存储单元702存储图片信息,图片信息包括参考图片的存储位置以及目标块可涉及的参考图片的POC。
解码图像存储单元703将之前已编码并且本地解码的图片存储在视频编码装置700中,作为用于运动补偿的参考图片。
运动向量信息存储单元704存储运动向量信息,运动向量信息包括由运动向量检测单元701检测到的运动向量以及L0和L1的参考索引。例如,运动向量存储单元704存储如下运动向量信息,该运动向量信息包括与目标块在时间和空间上相邻的块的运动向量以及表示运动向量所涉及的图片的参考图片标识符。
预测向量生成单元705生成L0和L1的预测向量候选列表。预测向量候选可以如第一实施例至第四实施例中描述的那样来生成。
差分向量计算单元706从运动向量检测单元701获得L0和L1的运动向量,从预测向量生成单元705获得L0和L1的预测向量候选列表,以及计算差分向量。
例如,差分向量计算单元706从预测向量候选列表中选择与L0和L1的运动向量(L0和L1运动向量)最接近的预测向量,从而确定L0和L1的预测候选索引和预测向量(L0和L1预测向量)。
然后,差分向量计算单元706从L0运动向量中减去L0预测向量,以生成L0差分向量,并且从L1运动向量中减去L0预测向量,以生成L1差分向量。
预测像素生成单元707根据从运动向量检测单元701输入的参考图片的区域位置信息,从解码图像存储单元703中获得参考像素,并且生成预测像素信号。
预测误差生成单元708获得原始图像和预测像素信号,并且计算原始图像与预测像素信号之间的差分以生成预测误差信号。
正交变换单元709对预测误差信号进行正交变换,例如离散余弦变换,并且将正交变换系数输出到量化单元710。量化单元710将正交变换系数量化。
逆量化单元711对量化的正交变换系数进行逆量化。逆正交变换单元712对逆量化的系数进行逆正交变换。
解码像素生成单元713将预测误差信号和预测像素信号相加以生成解码像素。包括生成的解码像素的解码图像存储在解码图像存储单元703中。
熵编码单元714对L0和L1的参考索引、差分向量和预测候选索引、以及从差分向量计算单元706和量化单元710获得的量化的正交变换系数进行熵编码。然后,熵编码单元714将熵编码的数据输出为流。
<操作>
接下来,描述第五实施例的视频编码装置700的示例性操作。图25是图示由视频编码装置700执行的示例性处理的流程图。在图25的处理中,对作为处理的单元的一个块进行编码。
在步骤S901中,运动向量检测单元701获得参考图片的像素数据和原始图像,并且检测L0和L1的运动向量和参考索引。
在步骤S902中,预测向量生成单元705生成L0和L1的预测向量候选列表。在本步骤中,预测向量生成单元705以预定量“a”朝向0向量对定标的预测向量候选进行校正。
在步骤S903中,差分向量计算单元706从预测向量候选列表中选择与L0和L1的运动向量(L0和L1运动向量)最接近的预测向量,从而确定L0和L1的预测候选索引和预测向量(L0和L1预测向量)。
然后,差分向量计算单元706从L0运动向量中减去L0预测向量,以生成L0差分向量,并且从L1运动向量中减去L1预测向量,以生成L1差分向量。
在步骤S904中,预测像素生成单元707根据从运动向量检测单元701输入的参考图片的区域位置信息,从解码图像存储单元703中获得参考像素,并且生成预测像素信号。
在步骤S905中,预测误差生成单元708接收原始图像和预测像素信号,并且计算原始图像与预测像素信号之间的差分以生成预测误差信号。
在步骤S906中,正交变换单元709对预测误差信号进行正交变换,以生成正交变换系数。
在步骤S907中,量化单元710将正交变换系数量化。
在步骤S908中,运动向量信息存储单元704存储运动向量信息,运动向量信息包括从运动向量检测单元701输出的L0和L1的运动向量和参考索引。存储的信息用于随后的块编码处理。
步骤S902和S903、步骤S904至S907以及步骤S908不必以上述顺序来执行,以及可以并行执行。
在步骤S909中,逆量化单元711对量化的正交变换系数进行逆量化,以生成正交变换系数。此外,在本步骤中,逆正交变换单元712通过对逆量化的系数进行逆正交变换来生成预测误差信号。
在步骤S910中,解码像素生成单元713将预测误差信号和预测像素信号相加以生成解码像素。
在步骤S911中,解码图像存储单元703存储包括解码像素的解码图像。解码图像用于随后的块编码处理。
在步骤S912中,熵编码单元714对L0和L1的参考索引、差分向量和预测候选索引、以及量化的正交变换系数进行熵编码,并且将熵编码的数据输出为流。
因此,第五实施例使得可以提高预测向量的准确度以及提供具有提高的编码效率的视频编码装置。第一实施例至第四实施例中的任一个实施例的预测向量生成单元都可以用于视频编码装置700的预测向量生成单元705。
通过实验,发明人发现,通过使用以上实施例的预测向量生成单元来计算预测向量候选可以将编码效率提高大约1%至2%。
《示例》
图26是图示图像处理装置800的示例性配置的图。图像处理装置800是以上实施例的视频解码装置或视频编码装置的示例性实现。如图26所示,图像处理装置800可以包括控制单元801、存储器802、辅助存储单元803、驱动单元804、网络接口(I/F)806、输入单元807以及显示单元808。这些部件通过总线彼此连接以使得能够进行数据的发送和接收。
控制单元801是中央处理单元(CPU),其控制图像处理装置800的其他部件并且执行计算和数据处理。例如,控制单元801执行存储在存储器802和辅助存储单元803中的程序,处理从输入单元807和辅助存储单元803接收到的数据,以及将经处理的数据输出到显示单元808和辅助存储单元803。
存储器802例如可以用只读存储器(ROM)或随机存取存储器(RAM)来实现,并且保持或者暂时存储数据和程序,例如要由控制单元801执行的基本软件(操作系统(OS))和应用软件。
辅助存储单元803可以用硬盘驱动器(HDD)来实现,并且存储例如与应用软件有关的数据。
驱动单元804从存储介质805中读取程序并且将程序安装在辅助存储单元803中。
存储介质805存储程序。存储在存储介质805中的程序经由驱动单元804安装在图像处理装置800中。安装的程序可以由图像处理装置800来执行。
网络I/F 806使得图像处理装置800能够与经由网络连接的其他设备通信,网络例如是局域网(LAN)或广域网(WAN),由有线和/或无线数据通信通道实现。
输入单元807可以包括:包括光标键、数字键和功能键的键盘;以及用于选择显示在显示单元808的屏幕上的项目的鼠标或跟踪板(trackpad)。因此,输入单元807是使得用户能够向控制单元801输入例如指令和数据的用户接口。
显示单元808例如包括液晶显示器(LCD),并且显示从控制单元801接收到的数据。显示单元808可以设置在图像处理装置800的外部。在这种情况下,图像处理装置808可以包括显示控制单元。
以上实施例中描述的视频编码和解码方法(或者处理)可以由计算机执行的程序来实现。这样的程序可以从服务器下载并且安装在计算机中。
可替选地,用于实现以上实施例中描述的视频编码和解码方法(或者处理)的程序可以存储在非暂时性的计算机可读存储介质中,例如存储介质805,并且可以从存储介质读取到计算机或者便携式装置中。
例如,可以使用如下存储介质作为存储介质805,例如光盘只读存储器(CD-ROM);软磁盘;以光、电或磁的方式记录信息的磁光盘;以及半导体存储器,例如以电的方式记录信息的ROM和闪存。此外,以上实施例中描述的视频编码和解码方法(或处理)可以由一个或更多个集成电路来实现。

Claims (14)

1.一种视频解码装置,包括:
参考图片列表存储单元,存储图片的图片信息;
运动向量信息存储单元,存储运动向量信息,所述运动向量信息包括与要解码的目标块在空间上和时间上相邻的块的运动向量、以及表示所述运动向量所涉及的图片的参考图片标识符;以及
预测向量生成单元,根据所述图片信息和所述运动向量信息,对所述目标块的运动向量的预测向量候选进行定标,以及以预定量朝向0对定标的预测向量候选进行校正。
2.根据权利要求1所述的视频解码装置,其中,所述预测向量生成单元包括:
定标因子计算单元,根据所述图片信息和所述运动向量信息计算定标因子;以及
定标操作单元,以所述定标因子对所述预测向量候选进行定标,以及以所述预定量对定标的预测向量候选进行校正。
3.根据权利要求2所述的视频解码装置,其中,
所述定标因子具有小数点之后的预定精度;以及
所述定标操作单元包括:
定标单元,将所述预测向量候选乘以所述定标因子以对所述预测向量候选进行定标,以及将所述定标的预测向量候选的小数点之后的精度增加至所述小数点之后的所述预定精度,
校正单元,以所述预定量朝向0对所述定标的预测向量候选进行校正;以及
调整单元,将定标并且校正的预测向量候选舍入为最接近的整数。
4.根据权利要求3所述的视频解码装置,其中,所述校正单元根据所述定标因子的大小来计算所述预定量。
5.根据权利要求3所述的视频解码装置,其中,当所述小数点之后的所述预定精度是N比特时,所述调整单元将2N-1加到所述定标并且校正的预测向量候选上,以及将所述加的结果向右移位N比特。
6.根据权利要求1至5中任一项所述的视频解码装置,其中,所述预测向量生成单元在所述预测向量候选属于与所述目标块在时间上相邻的块时,对定标的预测向量候选进行校正。
7.根据权利要求1至5中任一项所述的视频解码装置,其中,所述预测向量生成单元在所述预测向量候选的大小小于或等于预定值时,对定标的预测向量候选进行校正。
8.根据权利要求1至5中任一项所述的视频解码装置,其中,所述预测向量生成单元在包括所述预测向量候选的图片与所述预测向量候选所涉及的图片之间的间隔小于或等于预定值时,对定标的预测向量候选进行校正。
9.根据权利要求4所述的视频解码装置,其中,当所述小数点之后的所述预定精度是N比特时,所述校正单元计算大于或等于1并且小于或等于2N-2的预定量。
10.一种视频编码装置,包括:
参考图片列表存储单元,存储图片的图片信息;
运动向量信息存储单元,存储运动向量信息,所述运动向量信息包括与要编码的目标块在空间上和时间上相邻的块的运动向量、以及表示所述运动向量所涉及的图片的参考图片标识符;以及
预测向量生成单元,根据所述图片信息和所述运动向量信息,对所述目标块的运动向量的预测向量候选进行定标,以及以预定量朝向0对定标的预测向量候选进行校正。
11.一种由视频解码装置执行的方法,所述方法包括:
根据图片的图片信息和运动向量信息,对要解码的目标块的运动向量的预测向量候选进行定标,所述运动向量信息包括与所述目标块在空间上和时间上相邻的块的运动向量、以及表示所述运动向量所涉及的图片的参考图片标识符;以及
以预定量朝向0对定标的预测向量候选进行校正。
12.一种由视频编码装置执行的方法,所述方法包括:
根据图片的图片信息和运动向量信息,对要编码的目标块的运动向量的预测向量候选进行定标,所述运动向量信息包括与所述目标块在空间上和时间上相邻的块的运动向量、以及表示所述运动向量所涉及的图片的参考图片标识符;以及
以预定量朝向0对定标的预测向量候选进行校正。
13.一种存储程序代码的非暂时性的计算机可读存储介质,所述程序代码使得视频解码装置执行如权利要求11所述的方法。
14.一种存储程序代码的非暂时性的计算机可读存储介质,所述程序代码使得视频编码装置执行如权利要求12所述的方法。
CN201210174055.5A 2011-06-15 2012-05-30 视频解码装置和视频解码方法 Active CN102833533B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410806725.XA CN104539950B (zh) 2011-06-15 2012-05-30 视频编码装置和视频编码方法
CN201410806148.4A CN104539963B (zh) 2011-06-15 2012-05-30 由视频解码装置执行的方法
CN201410806736.8A CN104539951B (zh) 2011-06-15 2012-05-30 由视频编码装置执行的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-133383 2011-06-15
JP2011133383A JP5786478B2 (ja) 2011-06-15 2011-06-15 動画像復号装置、動画像復号方法、及び動画像復号プログラム

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN201410806736.8A Division CN104539951B (zh) 2011-06-15 2012-05-30 由视频编码装置执行的方法
CN201410806725.XA Division CN104539950B (zh) 2011-06-15 2012-05-30 视频编码装置和视频编码方法
CN201410806148.4A Division CN104539963B (zh) 2011-06-15 2012-05-30 由视频解码装置执行的方法

Publications (2)

Publication Number Publication Date
CN102833533A true CN102833533A (zh) 2012-12-19
CN102833533B CN102833533B (zh) 2015-05-13

Family

ID=46384134

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201210174055.5A Active CN102833533B (zh) 2011-06-15 2012-05-30 视频解码装置和视频解码方法
CN201410806725.XA Active CN104539950B (zh) 2011-06-15 2012-05-30 视频编码装置和视频编码方法
CN201410806736.8A Active CN104539951B (zh) 2011-06-15 2012-05-30 由视频编码装置执行的方法
CN201410806148.4A Active CN104539963B (zh) 2011-06-15 2012-05-30 由视频解码装置执行的方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201410806725.XA Active CN104539950B (zh) 2011-06-15 2012-05-30 视频编码装置和视频编码方法
CN201410806736.8A Active CN104539951B (zh) 2011-06-15 2012-05-30 由视频编码装置执行的方法
CN201410806148.4A Active CN104539963B (zh) 2011-06-15 2012-05-30 由视频解码装置执行的方法

Country Status (10)

Country Link
US (5) US9247267B2 (zh)
EP (5) EP2536146B1 (zh)
JP (1) JP5786478B2 (zh)
KR (4) KR101377789B1 (zh)
CN (4) CN102833533B (zh)
AU (2) AU2012203337B2 (zh)
CA (5) CA2883125C (zh)
ES (5) ES2721498T3 (zh)
MX (1) MX2012007139A (zh)
TW (5) TWI565306B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611887B (zh) * 2011-01-21 2015-08-05 华为技术有限公司 非整像素位置运动矢量的坐标值取整方法和装置
US20130107962A1 (en) * 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
US9185428B2 (en) 2011-11-04 2015-11-10 Google Technology Holdings LLC Motion vector scaling for non-uniform motion vector grid
CN110830797B (zh) * 2012-01-18 2023-09-15 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
WO2014050675A1 (ja) 2012-09-28 2014-04-03 ソニー株式会社 画像処理装置および方法
US9883180B2 (en) * 2012-10-03 2018-01-30 Avago Technologies General Ip (Singapore) Pte. Ltd. Bounded rate near-lossless and lossless image compression
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
JP5890794B2 (ja) * 2013-02-28 2016-03-22 株式会社東芝 画像処理装置
BR112016017201B1 (pt) * 2014-01-29 2023-09-26 Hfi Innovation Inc Método de codificação e decodificação para precisão adaptativa de vetor de movimento de um bloco de dados de vídeo
CN109804626B (zh) * 2016-10-04 2023-10-10 英迪股份有限公司 用于对图像进行编码和解码的方法和设备以及用于存储比特流的记录介质
KR102559063B1 (ko) * 2017-02-24 2023-07-24 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11272207B2 (en) 2017-06-12 2022-03-08 Futurewei Technologies, Inc. Selection and signaling of motion vector (MV) precisions
US10911769B2 (en) * 2017-06-23 2021-02-02 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding
CN117294837A (zh) 2018-04-02 2023-12-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
CN112055967B (zh) * 2018-04-02 2024-03-26 Lg电子株式会社 基于运动矢量的图像编码方法及其设备
BR112020024142A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
TWI744661B (zh) 2018-06-29 2021-11-01 大陸商北京字節跳動網絡技術有限公司 要根據模式檢查的查找表中的運動候選的數量
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
KR102648120B1 (ko) 2018-06-29 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 슬라이스/타일/lcu 행마다의 룩업 테이블 리셋
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
KR20240005239A (ko) 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut와 amvp 사이의 상호작용
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新:fifo、约束的fifo
CN110662056B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 哪个查找表需要更新或不更新
CN114885173A (zh) 2018-06-29 2022-08-09 抖音视界(北京)有限公司 Lut中的运动候选的检查顺序
TWI731364B (zh) 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 Hmvp+非相鄰運動
WO2020031061A2 (en) 2018-08-04 2020-02-13 Beijing Bytedance Network Technology Co., Ltd. Mvd precision for affine
WO2020031057A1 (en) * 2018-08-04 2020-02-13 Beijing Bytedance Network Technology Co., Ltd. Mv precision in bio
GB2590310B (en) 2018-09-12 2023-03-22 Beijing Bytedance Network Tech Co Ltd Conditions for starting checking HMVP candidates depend on total number minus K
CN111010569B (zh) 2018-10-06 2023-02-28 北京字节跳动网络技术有限公司 Bio中的时间梯度计算的改善
KR20240010576A (ko) 2019-01-10 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
CN112954334A (zh) 2019-03-11 2021-06-11 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685369A (zh) * 2002-09-26 2005-10-19 美国多科摩通讯研究所股份有限公司 视频编码的低复杂性和统一标准的变换
CN101218829A (zh) * 2005-07-05 2008-07-09 株式会社Ntt都科摩 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序
CN101228794A (zh) * 2005-07-21 2008-07-23 汤姆森许可贸易公司 针对加权预测的可分级视频编码方法及设备
CN101631241A (zh) * 2008-07-14 2010-01-20 晨星软件研发(深圳)有限公司 影像处理方法及装置
CN101669370A (zh) * 2007-04-25 2010-03-10 汤姆逊许可证公司 具有下采样参考图片的视角间预测
WO2010035733A1 (ja) * 2008-09-24 2010-04-01 ソニー株式会社 画像処理装置および方法
WO2010035734A1 (ja) * 2008-09-24 2010-04-01 ソニー株式会社 画像処理装置および方法
CN101902627A (zh) * 2009-05-29 2010-12-01 汤姆森许可贸易公司 在比特流中插入水印辅助数据的方法和包括水印辅助数据的比特流
CN102017637A (zh) * 2008-04-24 2011-04-13 株式会社Ntt都科摩 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2725577B1 (fr) 1994-10-10 1996-11-29 Thomson Consumer Electronics Procede de codage ou de decodage de vecteurs mouvement et dispositif de codage ou de decodage mettant en oeuvre ledit procede
DE69718799T2 (de) 1996-09-02 2003-11-13 St Microelectronics Nv Verbesserungen in, oder in bezug auf mehrträgerübertragungssysteme
US6404813B1 (en) 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
JP2001197501A (ja) 2000-01-07 2001-07-19 Fujitsu Ltd 動きベクトル探索器及び動きベクトル探索方法並びに動画像符号化装置
JP3611507B2 (ja) * 2000-05-30 2005-01-19 松下電器産業株式会社 動きベクトル検出装置
JP2004088722A (ja) * 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
EP3525467B1 (en) * 2002-04-19 2021-02-24 Panasonic Intellectual Property Corporation of America Bitstream decoding method and apparatus
JP2004208258A (ja) * 2002-04-19 2004-07-22 Matsushita Electric Ind Co Ltd 動きベクトル計算方法
PT3525465T (pt) * 2002-04-19 2021-05-10 Panasonic Ip Corp America Método e aparelho de descodificação de imagens
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US20040001547A1 (en) * 2002-06-26 2004-01-01 Debargha Mukherjee Scalable robust video compression
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
JP4373702B2 (ja) * 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
KR100579542B1 (ko) * 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
CN1213613C (zh) * 2003-09-12 2005-08-03 浙江大学 视频编解码中运动矢量的预测方法和装置
US7400681B2 (en) 2003-11-28 2008-07-15 Scientific-Atlanta, Inc. Low-complexity motion vector prediction for video codec with two lists of reference pictures
US7586924B2 (en) 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
US8913660B2 (en) * 2005-04-14 2014-12-16 Fastvdo, Llc Device and method for fast block-matching motion estimation in video encoders
US7660354B2 (en) * 2005-05-11 2010-02-09 Fang Shi Temporal error concealment for bi-directionally predicted frames
JP4389866B2 (ja) 2005-12-12 2009-12-24 セイコーエプソン株式会社 画像処理方法、画像処理装置、表示装置およびプログラム
WO2008140656A2 (en) 2007-04-03 2008-11-20 Gary Demos Flowfield motion compensation for video compression
TWI499304B (zh) * 2007-07-02 2015-09-01 Nippon Telegraph & Telephone 動畫像可縮放編碼方法及解碼方法、其裝置、其程式及記錄程式之記錄媒體
KR101946376B1 (ko) * 2007-10-16 2019-02-11 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101442608B1 (ko) 2008-02-05 2014-09-25 삼성전자주식회사 영상을 효율적으로 부호화/복호화하는 방법 및 장치
CN101540902B (zh) * 2008-03-20 2011-02-02 华为技术有限公司 运动矢量的缩放方法和装置、编解码方法和系统
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
CN102160382A (zh) * 2008-09-24 2011-08-17 索尼公司 图像处理设备和图像处理方法
US8724707B2 (en) * 2009-05-07 2014-05-13 Qualcomm Incorporated Video decoding using temporally constrained spatial dependency
US9161057B2 (en) 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
KR101671460B1 (ko) * 2009-09-10 2016-11-02 에스케이 텔레콤주식회사 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
EP2536147A4 (en) * 2010-02-09 2017-03-15 Nippon Telegraph And Telephone Corporation Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685369A (zh) * 2002-09-26 2005-10-19 美国多科摩通讯研究所股份有限公司 视频编码的低复杂性和统一标准的变换
CN101218829A (zh) * 2005-07-05 2008-07-09 株式会社Ntt都科摩 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序
CN101228794A (zh) * 2005-07-21 2008-07-23 汤姆森许可贸易公司 针对加权预测的可分级视频编码方法及设备
CN101669370A (zh) * 2007-04-25 2010-03-10 汤姆逊许可证公司 具有下采样参考图片的视角间预测
CN102017637A (zh) * 2008-04-24 2011-04-13 株式会社Ntt都科摩 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序
CN101631241A (zh) * 2008-07-14 2010-01-20 晨星软件研发(深圳)有限公司 影像处理方法及装置
WO2010035733A1 (ja) * 2008-09-24 2010-04-01 ソニー株式会社 画像処理装置および方法
WO2010035734A1 (ja) * 2008-09-24 2010-04-01 ソニー株式会社 画像処理装置および方法
CN101902627A (zh) * 2009-05-29 2010-12-01 汤姆森许可贸易公司 在比特流中插入水印辅助数据的方法和包括水印辅助数据的比特流

Also Published As

Publication number Publication date
CN104539963A (zh) 2015-04-22
JP5786478B2 (ja) 2015-09-30
EP3148191A1 (en) 2017-03-29
MX2012007139A (es) 2012-12-17
EP2536146B1 (en) 2019-02-20
TWI523502B (zh) 2016-02-21
US20150208085A1 (en) 2015-07-23
TWI556633B (zh) 2016-11-01
US9426489B2 (en) 2016-08-23
AU2012203337B2 (en) 2014-10-09
BR102012013152A2 (pt) 2013-06-25
AU2012203337A1 (en) 2013-01-10
CN104539951A (zh) 2015-04-22
KR20140029344A (ko) 2014-03-10
TW201251470A (en) 2012-12-16
CA2883251A1 (en) 2012-12-15
CA2778486C (en) 2017-09-19
EP3151556B1 (en) 2019-02-13
KR101377789B1 (ko) 2014-03-26
CA2883125C (en) 2018-01-23
TW201541947A (zh) 2015-11-01
ES2718830T3 (es) 2019-07-04
KR101429407B1 (ko) 2014-08-14
KR20140029345A (ko) 2014-03-10
TWI565306B (zh) 2017-01-01
CN104539950B (zh) 2018-10-12
TW201543874A (zh) 2015-11-16
US9491481B2 (en) 2016-11-08
EP2536146A2 (en) 2012-12-19
US20150189313A1 (en) 2015-07-02
US20150189312A1 (en) 2015-07-02
ES2721157T3 (es) 2019-07-29
CN104539951B (zh) 2017-09-29
US9426488B2 (en) 2016-08-23
KR20120138645A (ko) 2012-12-26
US9247267B2 (en) 2016-01-26
EP3151557A1 (en) 2017-04-05
TWI538488B (zh) 2016-06-11
KR101429408B1 (ko) 2014-08-14
KR101429409B1 (ko) 2014-08-14
CA2883244A1 (en) 2012-12-15
EP3151557B1 (en) 2019-02-27
EP3151556A1 (en) 2017-04-05
US20120320981A1 (en) 2012-12-20
CA2778486A1 (en) 2012-12-15
TWI555387B (zh) 2016-10-21
CA2883244C (en) 2016-08-02
ES2718575T3 (es) 2019-07-02
CN102833533B (zh) 2015-05-13
ES2721498T3 (es) 2019-08-01
AU2014210570A1 (en) 2014-08-28
ES2721499T3 (es) 2019-08-01
EP3151555A1 (en) 2017-04-05
KR20140029343A (ko) 2014-03-10
TW201543875A (zh) 2015-11-16
CN104539963B (zh) 2017-09-29
US9973774B2 (en) 2018-05-15
TW201541946A (zh) 2015-11-01
CA2918034C (en) 2018-01-23
CN104539950A (zh) 2015-04-22
EP3148191B1 (en) 2019-02-13
AU2014210570B2 (en) 2015-10-01
EP2536146A3 (en) 2016-05-11
CA2918034A1 (en) 2012-12-15
EP3151555B1 (en) 2019-03-20
CA2883125A1 (en) 2012-12-15
US20160014408A1 (en) 2016-01-14
JP2013005168A (ja) 2013-01-07
CA2883251C (en) 2017-11-28

Similar Documents

Publication Publication Date Title
CN102833533A (zh) 视频的解码装置/方法、编码装置/方法及存储介质
JP5786988B2 (ja) 動画像復号方法、動画像復号装置、及び動画像復号プログラム
JP5786989B2 (ja) 動画像符号化方法、動画像符号化装置、及び動画像符号化プログラム
AU2015272009B2 (en) Video decoding apparatus, video coding apparatus, video decoding method, video coding method, and storage medium
AU2014210568B2 (en) Video decoding apparatus, video coding apparatus, video decoding method, video coding method, and storage medium
JP5786987B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant