CN105681811B - 解码装置、编码装置和解码方法 - Google Patents
解码装置、编码装置和解码方法 Download PDFInfo
- Publication number
- CN105681811B CN105681811B CN201610166618.4A CN201610166618A CN105681811B CN 105681811 B CN105681811 B CN 105681811B CN 201610166618 A CN201610166618 A CN 201610166618A CN 105681811 B CN105681811 B CN 105681811B
- Authority
- CN
- China
- Prior art keywords
- prediction mode
- prediction
- mode
- mentioned
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 43
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 241000132179 Eurotium medium Species 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 26
- 239000000203 mixture Substances 0.000 description 24
- 238000012545 processing Methods 0.000 description 20
- 238000013139 quantization Methods 0.000 description 20
- 239000013598 vector Substances 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 101001136140 Pinus strobus Putative oxygen-evolving enhancer protein 2 Proteins 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 101000837456 Homo sapiens Transducin beta-like protein 3 Proteins 0.000 description 6
- 102100028683 Transducin beta-like protein 3 Human genes 0.000 description 6
- 102100026338 F-box-like/WD repeat-containing protein TBL1Y Human genes 0.000 description 5
- 101000835691 Homo sapiens F-box-like/WD repeat-containing protein TBL1X Proteins 0.000 description 5
- 101000835690 Homo sapiens F-box-like/WD repeat-containing protein TBL1Y Proteins 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 101000800590 Homo sapiens Transducin beta-like protein 2 Proteins 0.000 description 3
- 102100033248 Transducin beta-like protein 2 Human genes 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 101001033697 Homo sapiens Interphotoreceptor matrix proteoglycan 2 Proteins 0.000 description 2
- 102100039092 Interphotoreceptor matrix proteoglycan 2 Human genes 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000446313 Lamella Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
在运动图像解码装置(1)中,构成为具备:中间估计预测模式导出部(124),其将各相邻分区的预测模式变换成预测集(PS)的并集即中间预测集中所含的中间预测模式;以及估计预测模式导出部(125),其基于通过上述变换而得到的各相邻分区的中间预测模式,进行对象分区中的预测模式的估计,由此导出估计预测模式。
Description
本申请是国际申请日为2011年7月14日、国家申请号为201180034166.X的发明申请的分案申请,该申请的发明创造名称为解码装置、编码装置。
技术领域
本发明涉及对图像进行编码的编码装置以及对编码后的图像进行解码的解码装置。
背景技术
为了高效地传输或记录运动图像,使用了通过对运动图像进行编码来生成编码数据的运动图像编码装置、以及通过对该编码数据进行解码来生成解码图像的运动图像解码装置。作为具体的运动图像编码方式,例如可列举H.264/MPEG-4.AVC(非专利文献1)、以及VCEG(Video Coding Expert Group;视频编码专家组)中的共同开发用编码器即KTA软件所采用的方式等。
在这样的编码方式中,构成运动图像的图像(图片)由通过对图像进行分割而得到的切片(slice)、通过对切片进行分割而得到的宏块(macroblock)、以及通过对宏块进行分割而得到的块(block)组成的分层结构来进行管理,并按每块进行编码。
另外,在这样的编码方式中,通常基于通过对输入图像进行编码/解码而得到的局部解码图像来生成预测图像,并对该预测图像与输入图像之间的差分数据进行编码。另外,作为预测图像的生成方法,公知有称为画面间预测(帧间预测)、以及画面内预测(帧内预测)的方法。
在帧内预测中,基于同一帧内的局部解码图像来顺次生成该帧中的预测图像。具体而言,在帧内预测中,通常,按每个预测单位(例如,块)从预先规定的预测方向(预测模式)群中所包括的预测方向之中选择任一预测方向,而且将局部解码图像中的参照像素的像素值外插至所选出的预测方向,由此来生成预测对象区域上的预测像素值。另外,在帧间预测中,对解码了帧全体后的参照帧(解码图像)内的参照图像应用使用了运动矢量的运动补偿,由此按每个预测单位(例如,块)来生成预测对象帧内的预测图像。
进而,近年,在帧内预测中,为了能根据局部的图像的性质来进行精度高的预测,提出了各种方式来作为测试模型的候补(非专利文献2)。
例如,在非专利文献2中,公开了ADI(Arbitrary Directional Intra;任意方向帧内预测)、DC预测、Angular Prediction、Edge Based Prediction这样的方式的帧内预测方法。
ADI包括平面预测以及方向预测。作为平面预测,包含有DC(Direct Current;直流)预测、平面(Plane)预测、双线性(Bi-linear)预测,另外,作为方向预测,定义了水平方向、垂直方向、以及其他28个方向。
另外,在Angular Prediction中定义了DC预测、以及33个方向的方向预测。而且,在Edge Based Prediction中,定义了利用相邻像素值进行估计的方向预测。
通过根据局部的图像的性质来选择适当的帧内预测方法(以下,仅称为预测模式),编码效率得以提高。
另外,在非专利文献3中,与非专利文献2同样,含有与ADI相关的记载。特别提到了通过根据对象块的块尺寸来切换可应用的预测模式从而使编码效率得以提高这一点。
现有技术文献
非专利文献
非专利文献1:“Recommendation ITU-T H.264”,TelecommunicationStandardization Sector of ITU,03/2009(2009年3月公开)
非专利文献2:“JCTVCA-A205(draft002)”,Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11,1st Meeting:Dresden,DE,04/2010(2010年4月公开)
非专利文献3:“JCTVCA-A124”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,1st Meeting:Dresden,DE,04/2010(2010年4月公开)
发明要解决的课题
然而,在帧内预测中,在预测模式的编码之际,进行预测模式的估计,并基于估计出的估计预测模式来进行编码。
但由于存在可应用的预测模式按每个区域而不同的情况,因此存在所估计的估计预测模式的精度不够这样的课题。
也就是,尽管在估计预测模式的导出中,将与作为帧内预测的预测对象的块的左侧相邻的块以及与上侧相邻的块用作相邻块,但在各相邻块中可应用的预测模式不同,因此存在根据相邻块估计出的预测模式不适合在对象块中可应用的预测模式的情况。
在此,在非专利文献2中,提出了将具有类似的性质的预测模式分为1组、并将代表各组的预测模式导出为估计预测模式的方法。
具体而言,在非专利文献2中,将各预测模式分类为9组(关于平面预测为1组,关于方向预测为8组),通过PredGroup函数,取得了其预测模式(mode)所在的组(pred_group)(pred_group=PredGroup(mode))。
另外,在各组中设定了代表该组的预测模式,取得了通过MostProbableInGroup函数来代表组的预测模式(MostProbableInGroup(Pred_group))。
而且,在非专利文献2中,估计预测模式estimated_mode通过下式来导出。
estimated_mode=MostProbableInGroup(Min(PredGroup(modeA),PredGroup(modeB)))
在此,modeA是左块的预测模式,modeB是上块的预测模式。另外,MostProbableInGroup函数从左块以及上块当中任一者的预测模式中使用该预测模式所属的组的代表性的预测模式,导出了估计预测模式estimated_mode。
使用图22~图24,如下概略性地说明非专利文献2以及非专利文献3中所记载的称为ADI的帧内编码方式。图22的(a)~(c)例示了在各自的块尺寸中可应用的预测模式的集合,即预测集。
图22的(a)例示了在块尺寸为32×32或16×16的情况下的预测集PS100。预测集PS100中含有:15种方向预测(预测模式IPM100~IPM114)、DC预测(预测模式IPM115)、平面预测(预测模式IPM116)、以及双线性(Bilenear)预测(预测模式IPM117)。
另外,图22的(b)例示了在块尺寸为8×8或4×4的情况下的预测集PS200。预测集PS200中含有:8种方向预测(预测模式IPM200~IPM207)、以及DC预测(预测模式IPM208)。
而且,图22的(c)例示了在块尺寸为128×128或64×64的情况下的预测集PS300。预测集PS300中含有:3种方向预测(预测模式IPM300~IPM302)、DC预测(预测模式IPM303)、以及平面预测(预测模式IPM304)。
此外,在图22的(a)~(c)中,将预测模式IPM100~IPM114、预测模式IPM200~IPM207、以及预测模式IPM300~IPM302表示为箭头,这是由于它们是方向预测的缘故。也就是,这些箭头的方向表示了其预测方向。
上述的PredGroup函数将在预测模式的估计时参照的相邻块的预测模式例如映射至图23所示的9种预测组G1~G9。另外,如同图所示,9种预测组G1~G9各自具有代表组的预测模式。
此外,代表预测组G1~G8的预测模式分别是方向预测。也就是,预测组G1~G8的箭头示出了代表各组的预测模式的预测方向。另外,代表预测组G9的预测模式是DC预测。
由此,例如在将图22的(a)所示的预测集PS100的预测模式IMP100与预测组G1对应关联的情况下,在预测模式的估计之际,预测模式IMP100被变换成代表预测组G1的预测模式。
但在该手法中,会产生与图23所示的预测方向F1对应的预测模式不被作为估计预测模式导出的问题。
使用图24,具体说明如下。该图所示的预测集PS400包含8种方向预测(预测模式IMP400~IMP407)。如该图所示,预测集的预测模式IMP400~IMP406的预测方向集中在水平方向。
另外,预测集PS400中所含的IMP401的预测模式(在该图中以粗线表示)的预测方向与图23所示的方向F1对应。也就是,预测集PS400中所含的预测模式IMP401的预测方向与代表预测组G1~G8的预测模式的预测方向的每一个均不一致。
故而,在图24所示的预测集PS400是相邻块的预测集的情况下,还产生在预测模式的估计之际不能使用以方向F1为预测方向的预测模式(预测集PS400的预测模式IMP401的预测模式)的问题。
也就是,在非专利文献2的技术中,存在被导出为估计预测模式的预测模式不局限于上述的代表性的预测模式的问题。
发明内容
本发明鉴于上述的问题而提出,其目的在于,提供在相邻区域间可应用的预测模式不同的情况下能使对预测模式进行估计的精度得以提高的解码装置以及编码装置。
用于解决课题的方法
为了解决上述的课题,本发明所涉及的解码装置根据与作为进行画面内预测的对象的对象区域相邻的1个或多个区域即相邻区域的预测模式,进行上述对象区域中的预测模式的估计,对编码后的图像数据进行解码,所述解码装置的特征在于,在进行画面内预测的多个区域的各区域中可应用的预测模式的集合的并集与任一种预测模式的集合一致,所述解码装置具备:估计预测模式导出单元,该估计预测模式导出单元基于上述并集中所包括的上述相邻区域的预测模式进行上述对象区域中的预测模式的估计,来导出估计预测模式。
另外,为了解决上述的课题,本发明所涉及的编码装置根据与作为进行画面内预测的对象的对象区域相邻的1个或多个区域即相邻区域的预测模式,进行上述对象区域中的预测模式的估计,并对图像数据进行编码,所述编码装置的特征在于,在进行画面内预测的多个区域的各区域中可应用的预测模式的集合的并集与任一种预测模式的集合一致,所述编码装置具备估计预测模式导出单元,该估计预测模式导出单元通过基于上述并集中所包括的上述相邻区域的预测模式进行上述对象区域中的预测模式的估计,来导出估计预测模式。
根据上述构成,进行画面内预测的多个区域的各区域中可应用的预测模式的集合的并集与每种预测模式的集合一致,基于上述并集中所含的上述相邻区域的预测模式,进行上述对象区域中的预测模式的估计,来导出估计预测模式。
根据上述构成,即使在区域间可应用的预测模式不同的情况下,也能将相邻区域的预测模式直接用于对象区域的预测模式的估计。由此,例如,能防止被导出为估计预测模式的预测模式被限定为分组后的代表性的预测模式。
其结果是,能起到对对象区域的预测模式进行估计的精度得以提高这样的效果。
为了解决上述的课题,本发明所涉及的解码装置根据与作为进行画面内预测的对象的对象区域相邻的1个或多个区域即相邻区域的预测模式,进行上述对象区域中的预测模式的估计,对编码后的图像数据进行解码,所述解码装置的特征在于,具备:中间变换单元,其将上述相邻区域的预测模式变换成中间预测模式,该中间预测模式是在进行画面内预测的多个区域的每个区域中可应用的预测模式的集合的并集即中间预测集中所包括的预测模式;以及估计预测模式导出单元,其基于通过上述变换而得到的各相邻区域的中间预测模式,进行上述对象区域中的预测模式的估计,由此导出估计预测模式。
另外,为了解决上述的课题,本发明所涉及的编码装置根据与作为进行画面内预测的对象的对象区域相邻的1个或多个区域即相邻区域的预测模式,进行上述对象区域中的预测模式的估计,并对图像数据进行编码,所述编码装置的特征在于,具备:中间变换单元,其将上述相邻区域的预测模式变换成中间预测模式,该中间预测模式是在进行画面内预测的多个区域的每个区域中可应用的预测模式的集合的并集即中间预测集中所包括的预测模式;以及估计预测模式导出单元,其基于通过上述变换而得到的各相邻区域的中间预测模式,进行上述对象区域中的预测模式的估计,由此导出估计预测模式。
根据上述构成,在对对象区域的预测模式进行估计之际,能将相邻区域的预测模式变换成各相邻区域中可应用的预测模式的集合的并集即中间预测集中所含的中间预测模式,并能基于通过该变换而得到的中间预测模式来对对象区域的预测模式进行估计。
在此,中间预测集包含各相邻区域中可应用的预测模式全部。另外,从相邻区域的预测模式变换至中间预测模式的定时不受特别限制,既可以在相邻区域中估计预测模式时预先进行,也可以在每次进行对象区域中的预测模式的估计时进行。
根据上述构成,即使在区域间可应用的预测模式不同的情况下,也能将相邻区域的预测模式直接用于对象区域的预测模式的估计。由此,例如,能防止被导出为估计预测模式的预测模式被限定为分组后的代表性的预测模式。
其结果是,能起到对对象区域的预测模式进行估计的精度得以提高这样的效果。
发明效果
本发明所涉及的解码装置构成为:根据与作为进行画面内预测的对象的对象区域相邻的1个或多个区域即相邻区域的预测模式,进行上述对象区域中的预测模式的估计,对编码后的图像数据进行解码,其中,在进行画面内预测的多个区域的各区域中可应用的预测模式的集合的并集与每种预测模式的集合一致,所述解码装置具备:估计预测模式导出单元,其通过基于上述并集中所含的上述相邻区域的预测模式进行上述对象区域中的预测模式的估计,来导出估计预测模式。
本发明所涉及的编码装置构成为:根据与作为进行画面内预测的对象的对象区域相邻的1个或多个区域即相邻区域的预测模式,进行上述对象区域中的预测模式的估计,对图像数据进行编码,其中,在进行画面内预测的多个区域的各区域中可应用的预测模式的集合的并集与每种预测模式的集合一致,所述编码装置具备:估计预测模式导出单元,其通过基于上述并集中所含的上述相邻区域的预测模式进行上述对象区域中的预测模式的估计,来导出估计预测模式。
本发明所涉及的解码装置构成为具备:中间变换单元,其将相邻区域的预测模式变换成中间预测模式,该中间预测模式是在进行画面内预测的多个区域的各区域中可应用的预测模式的集合的并集即中间预测集中所含的预测模式;以及估计预测模式导出单元,其基于通过上述变换而得到的各相邻区域的中间预测模式,进行上述对象区域中的预测模式的估计,由此导出估计预测模式。
本发明所涉及的编码装置构成为具备:中间变换单元,其将相邻区域的预测模式变换成中间预测模式,该中间预测模式是在进行画面内预测的多个区域的各区域中可应用的预测模式的集合的并集即中间预测集中所含的预测模式;以及估计预测模式导出单元,其基于通过上述变换而得到的各相邻区域的中间预测模式,进行上述对象区域中的预测模式的估计,由此导出估计预测模式。
由此,能起到对对象区域的预测模式进行估计的精度得以提高这样的效果。
附图说明
图1是表示本发明的一实施方式所涉及的运动图像解码装置中的预测信息解码部的概略性的构成的功能框图。
图2是表示由本发明的一实施方式所涉及的运动图像编码装置以及运动图像解码装置组成的运动图像编码系统的概略性的构成的框图。
图3是表示由上述运动图像编码装置生成、且由上述运动图像解码装置解码的编码数据的构成例的图,(a)是表示编码数据的图片层的构成的图,(b)是表示图片层中所含的切片层的构成的图,(c)是表示切片层中所含的LCU层的构成的图,(d)是表示LCU中所含的LCU报头的构成的图。
图4是表示上述运动图像解码装置所具备的LCU解码部的概略性的构成的功能框图。
图5是对预测集进行例示的图,(a)~(c)是对3种预测集进行表示的图。
图6是以表形式来表现预测集的图,(a)~(c)是表示对3种预测集进行表征的表的图。
图7是对方向预测的角度参数(θ)进行表示的图。
图8是对对应表的一例进行表示的图,(a)~(c)是表示与上述3种预测集对应的对应表的图。
图9是表示根据上述3种预测集生成的中间预测集的一例的图。
图10是表示对上述中间预测集进行表征的表的图。
图11是对导出中间估计预测模式的手法进行表示的图。
图12是对预测模式解码部所进行的解码处理的内容进行表示的表。
图13是对上述运动图像解码装置中的预测信息解码处理的流程进行了表示的流程图。
图14是表示上述运动图像编码装置所具备的LCU编码部的概略性的构成的功能框图。
图15是表示上述运动图像编码装置中的预测信息编码部的概略性的构成的功能框图。
图16是对预测模式编码部所进行的编码处理的内容进行表示的表。
图17是对运动图像编码装置中的预测信息编码处理的流程进行表示的流程图。
图18是对预测集的其他的例子进行表示的图,(a)~(c)是对3种预测集进行表示的图。
图19是对根据上述3种预测集生成的中间预测集进行例示的图。
图20是将预测集的标识符的表现改写成矢量表现的图。
图21是对以矢量表现来表征预测集的标识符的情况进行例示的图。
图22是对现有的预测集进行例示的图,(a)~(c)是对3种预测集进行表示的图。
图23是对现有的预测组进行表示的图。
图24是对现有的预测集的其他的例子进行表示的图。
具体实施方式
以下,参照图1~图21来说明本发明的一实施方式。
首先,使用图2,来说明本实施方式所涉及的运动图像编码装置(编码装置)2以及运动图像解码装置(解码装置)1的概要。图2是表示由运动图像编码装置2以及运动图像解码装置1组成的运动图像编码系统100的概略性的构成的框图。
图2所示的运动图像编码装置2以及运动图像解码装置1分别包含H.264/MPEG一4.AVC、以及KTA软件中所采用的技术。
运动图像编码装置2以运动图像#10为输入,运动图像编码装置2是通过将运动图像#10在编码部20中进行编码来生成编码数据#1的装置。运动图像编码装置2将所生成的编码数据#1提供给运动图像解码装置1。
运动图像解码装置1是通过将从运动图像编码装置2接收到的编码数据#1在解码部10中进行解码来生成运动图像#2的装置。
(编码数据的数据结构)
在此,使用图3,针对由运动图像编码装置2生成、且由运动图像解码装置1解码的编码数据#1的数据结构的说明如下。
编码数据#1具有由序列层、GOP(Group OfPictures;图片组)层、图片层、切片层、以及最大编码单位(LCU:Largest Coding Unit)层构成的分层结构。
编码数据#1中的图片层以下的分层的结构如图3所示。图3的(a)~(d)分别是表示图片层P、切片层S、LCU层LCU、LCU报头LCUH的结构的图。
[图片层]
图片层P是运动图像解码装置1为了对对象图片进行解码而参照的数据的集合。图片层P如图3的(a)所示,含有:图片报头PH、以及切片层S1~SNs(Ns是图片层P中所含的切片层的总数)。
在图片报头PH中,含有运动图像解码装置1为了决定对象图片的解码方法而参照的编码参数群。例如,对在运动图像编码装置2进行编码之际使用的可变长编码的模式进行表示的编码模式信息(entoropy_coding_mode_flag)是图片报头PH中所含的编码参数的一例。
[切片层]
图片层P中所含的各切片层S是运动图像解码装置1为了对对象切片进行解码而参照的数据的集合。切片层S如图3的(b)所示,含有:切片报头SH、以及LCU层LCU1~LCUNc(Nc是切片S中所含的LCU的总数)。
在切片报头SH中,含有运动图像解码装置1为了决定对象切片的解码方法而参照的编码参数群。(1)对切片类型进行指定的切片类型指定信息(slice_type)、(2)对包含对象切片的图片的显示顺序(POC:Picture Order Count)进行指定的POC指定信息(pic_order_cnt_lbs或delta_pic_order_cnt等)、以及(3)对由运动图像编码装置2进行编码之际使用的权重系数进行指定的权重系数指定信息(pred_weight_table)是切片报头SH中所含的编码参数的一例。另外,在运动图像编码装置2以及运动图像解码装置1具备自适应滤波器的情况下,在切片报头SH中,含有由该自适应滤波器使用的滤波器参数FP。
此外,作为能由切片类型指定信息进行指定的切片类型,可列举:(1)在编码之际仅使用帧内预测的I切片、(2)在编码之际使用单向预测、或者使用帧内预测的P切片、(3)在编码之际使用单向预测、双向预测、或者帧内预测的B切片等。
[LCU层]
切片层S中所含的各LCU层LCU是运动图像解码装置1为了对对象LCU进行解码而参照的数据的集合。各LCU以4叉树的方式被分割成多个编码单位(CU:Coding Unit)。各CU可取的尺寸通过编码数据#1的序列参数集SPS中所含的、LCU的尺寸以及最大分层深度(hierarchial depth)来规定。
例如,在LCU的尺寸为128×128像素、且最大分层深度为5的情况下,该LCU中所含的CU能取5种尺寸,即128×128像素、64×64像素、32×32像素、16×16像素、以及8×8像素当中的任一者。
[关于预测单位(PU)]
特定的LCU的4叉树分割通过对是否将各分层的CU进一步4分割进行表示的标志(split_coding_unit_flag)来确定。相当于4叉树分割中的叶子的CU(CU的叶子)作为预测单位(PU:Prediction Unit)进行处理。关于各PU,对预测类型、以及到分区的分割(PUSplitting)进行规定,预测图像按每个分区而生成。另外,作为预测类型,能选择帧内预测以及帧间预测当中的任一者,到各PU的分区的分割根据针对该PU所选择的预测类型来确定。以下,将应用帧内预测的PU也称为帧内PU,将应用帧间预测的PU也称为帧间PU。
帧内PU能分割成2N×2N像素、以及N×N像素的2种分区。另一方面,帧间PU能通过2N×2N像素、2N×N像素、N×2N像素、以及N×N像素的4种对称的分割(symmetricsplittings)、以及2N×nU像素、2N×nD像素、nL×2N像素、以及nR×2N像素的4种非对称的分割(asymmetric splittings),来分割成合计8种分区。在此,N的具体的值根据该PU所属的CU的尺寸来规定,nU、nD、nL以及nR的具体的值根据N的值而确定。
例如,128×128像素的CU能分割成128×128像素、以及64×64像素的帧内预测分区,而且能分割成128×128像素、128×64像素、64×128像素、64×64像素、128×32像素、128×96像素、32×128像素、以及96×128像素的帧间预测分区。
[关于变换单位(TU)]
另外,CU的叶子能分割成1或多个变换单位(TU:Transform Unit)。在此,变换单位是指频率变换(例如后述的DCT变换)以及量化的单位。CU的叶子通过4叉树分割被分割成TU。对TU能取得的最大的尺寸、以及该4叉树分割的最大深度(maximum depth)进行表示的信息包含在编码数据#1中。各TU例如能取64×64像素至2×2像素为止的尺寸。
如图3的(c)所示,LCU层LCU含有:(1)跳过标志SKIP、(2)LCU报头LCUH、(3)分配给各分区的预测参数PP1~PPNp、以及(4)分配给各TU的量化预测误差QD1~QDNr。在此,Np表征对象LCU中所含的分区的总数,Nr表征对象LCU中所含的TU的总数。在跳过标志SKIP的值为1的情况下,即,对对象LCU应用了跳过模式的情况下,省略该LCU层中的LCU报头LCUH、预测参数PP1~PPNp、以及量化预测误差QD1~QDNr。
[LCU报头]
在LCU报头LCUH中含有运动图像解码装置1为了决定对象LCU的解码方法而参照的编码参数。具体而言,如图3的(d)所示,对对象LCU的LCU类型进行指定的LCU类型指定信息LCUT(mb_type)、对编码块图案进行指定的CBP(coded_block_pattern)、对量化步长的大小进行指定的量化参数差分Δqp(mb_qp_delta)。LCU类型指定信息LCUT包含预测单位指定信息PT和变换单位指定信息TT。
预测单位指定信息PT对到对象LCU的分区的分割图案(即,对象LCU中所含的各分区的尺寸、以及对象LCU内的位置)、以及运动图像编码装置2在生成各分区中的预测图像之际使用的预测方法(LO单向预测、L1单向预测、双向预测、帧内预测等)进行指定。
另一方面,变换单位指定信息TT对到对象LCU的TU的分割图案(即,对象LCU中所含的各TU的尺寸、以及对象LCU内的位置)进行指定。此外,以下,将TU也称为块。
量化参数差分Δqp是对象LCU中的量化参数qp、紧接着该LCU之前被编码的LCU中的量化参数qp’之间的差分qp-qp’。
[量化预测残差以及预测参数]
LCU层LCU中所含的各量化预测残差QDn是通过由运动图像编码装置2对对象块实施以下的处理1~3而生成的编码数据。处理1:对从编码对象图像中减去预测图像后的预测残差进行DCT变换(Discrete Cosine Transform;离散余弦变换)。处理2:对通过处理1而得到的DCT系数进行量化。处理3:对通过处理2而量化后的DCT系数进行可变长编码。上述的量化参数qp对由运动图像编码装置2在量化DCT系数之际使用的量化步长QP的大小进行表征(QP=2qp/6)。
在LCU层LCU中所含的预测参数PP1~PPNp(以下,在无需特别区分PP1~PPNp的情况下,仅记载为预测参数PP)中,存在:与通过帧间预测来生成预测图像的帧间预测分区相关的预测参数、以及与通过帧内预测来生成预测图像的帧内预测分区相关的预测参数这两种。
以下,针对预测参数PP当中与通过帧内预测来生成预测图像的帧内预测分区相关的预测参数进行说明。另外,只要不特别明确表示,表记为“预测参数PP”时,表示与通过帧内预测来生成预测图像的帧内预测分区相关的预测参数。此外,关于帧内预测中能使用的预测模式的细节将后述。
预测参数PP包括用于对针对对象分区的帧内预测模式进行指定的索引即预测索引。此外,生成编码数据#1的运动图像编码装置2可以构成为:基于对象分区的周边的分区的预测索引,计算针对该对象分区的预测索引的估计值,并将表示该估计值与针对该对象分区的预测索引是否相同的标志包含在编码数据#1中。通过设为这样的构成,在该估计值与针对该对象分区的预测索引相同的情况下,能省略针对该对象分区的预测索引的编码。
此外,对象分区中可应用的预测模式的集合即预测集PS(细节将后述)既可以在预测参数PP中被编码,又可以在LCU报头LCUH中被编码。另外,预测集PS可以基于对象分区的尺寸,从既定的多个预测集、或图片报头PH或切片报头SH内所传输的多个预测集之中进行选择。
(运动图像解码装置的细节)
接下来,使用图2以及图4来说明运动图像解码装置1的概略性的构成。运动图像解码装置1是具备解码部10的构成这一点已经使用图2进行过说明。若进一步参照图2来说明细节,则解码部10具备用于以LCU层LCU单位来对图像进行解码的LCU解码部11。
此外,以下,为了说明方便,设LCU层的LCU的尺寸与PU一致。另外,设PU由1个分区组成。但不限于此,还能将PU分割为2个以上的分区。
解码部10将编码数据#1以LCU单位提供给LCU解码部11。另外,解码部10取得由LCU解码部11以LCU单位而解码出的LCU解码图像,生成运动图像#2,并将生成的运动图像#2进行输出。
以下,一边参照图4一边详细说明LCU解码部11的构成。如该图所示,LCU解码部11具备:LCU编码数据解复用部110、预测残差解码部112、预测图像生成部114、加法器116、以及预测信息解码部120。
LCU编码数据解复用部110对在从解码部10提供的LCU编码数据LCU中所复用的量化预测残差编码数据QD以及预测信息编码数据PD进行解复用(inverse-multiplexe)。预测信息编码数据PD是包含对象分区的预测模式m以及预测集PS在内的数据。关于预测集PS的细节将后述。LCU编码数据解复用部110将通过解复用而得到的量化预测残差编码数据QD提供给预测残差解码部112,并将预测信息编码数据PD提供给预测信息解码部120。
预测残差解码部112按变换单位指定信息TT中所指定的每一个变换单位,对量化预测残差编码数据QD进行解码,生成预测残差,并将生成的预测残差提供给加法器116。
此外,若针对预测残差解码部112的预测残差的解码处理进一步说明细节,则如下所示。即,预测残差解码部112使用量化步长QP来对量化预测残差编码数据QD进行逆量化,而且对通过逆量化而得到的DCT系数进行逆DCT(Discrete Cosine Transform)变换,由此对预测残差进行解码。
另外,在对量化预测残差QD进行逆量化之际,预测残差解码部112从LCU编码数据LCU的LCU报头LCUH中所含的量化参数差分Δqp导出量化步长QP。量化参数qp能通过对与刚经逆量化/逆DCT变换而得到的TU相关的量化参数qp’加上量化参数差分Δqp来导出,量化步长QP能根据量化参数qp通过QP=2qp/6来导出。
预测信息解码部120通过对从LCU编码数据解复用部110提供的预测信息编码数据PD进行解码,生成预测模式m以及预测集PS,并提供给预测图像生成部114。关于预测信息解码部120,在后详细说明。
预测图像生成部114按照在预测单位指定信息PT中所指定的每一个分区单位,使用从预测信息解码部120提供的预测模式m以及预测集PS,通过帧内预测来生成并输出预测图像Pred。此外,尽管以下针对基于帧内预测的预测图像Pred的生成处理来进行说明,但不限于此,预测图像生成部114可以通过帧间预测来生成预测图像Pred。此外,尽管帧内预测也称为画面内预测或空间预测,但以下统一为帧内预测这样的表现。
加法器116通过对从预测图像生成部114提供的预测图像Pred加上从预测残差解码部112提供的预测残差,来生成LCU解码图像LCUP。
(预测集)
在此,在进行预测信息解码部120的详细的说明前,使用图5~图7来说明预测集。
使用图5,如下说明预测集的例子。在图5的(a)~(c)中,例示了3种预测集。
可应用的预测模式根据分区的性质、分区的尺寸而不同。图5的(a)~(c)分别例示了对4×4的尺寸的分区中可应用的预测模式进行表示的预测集PS1、对8×8的尺寸的分区中可应用的预测模式进行表示的预测集PS2、以及对32×32(或16×16)的尺寸的分区中可应用的预测模式进行表示的预测集PS3。此外,图5的(a)~(c)中所示的数字示出了预测索引,即预测模式的ID。另外,箭头示出了方向预测中的预测方向。
如图5的(a)所示,预测集PS1包含:3种方向预测(ID:0~2)、DC预测(ID:3)、以及平面(plane)预测(ID:4)。
如图5的(b)所示,预测集PS2包含:8种方向预测(ID:0~7)、以及DC预测(ID:8)。
如图5的(c)所示,预测集PS3包含:15种方向预测(ID:0~14)、DC预测(ID:15)、以及平面预测(ID:16)。
若将图5的(a)所示的预测集PS1、(b)所示的预测集PS2、以及(c)所示的预测集PS3分别以表形式来进行表现,则分别如图6的(a)、(b)、以及(c)所示。各表包含ID以及预测模式的项目。“ID示出了对该预测集中所含的各预测模式所分配的预测索引,“预测模式”示出了各预测模式的名称。
在图6中,方向预测以“angle(θ)”这样的名称来表示。在此,对“θ”指定对应的角度。θ如图7所示,通过预测方向Dir与X轴之间形成的角度来表现。
另外,在图6中,DC预测以“DC”,平面预测以“Plane”这样的名称来表示。
如以上所示,预测模式可以是相同种类,也可以按每个预测集,对该预测模式所分配的预测索引不同。例如,预测集PS1、PS2以及PS3分别包含DC预测,但在每一个中,分配给DC预测的预测索引是ID:3、ID:8以及ID:15。
(预测信息解码部的细节)
接下来,使用图1来说明预测信息解码部120的细节。图1是对预测信息解码部120的概略性的构成进行表示的功能框图。
如图1所示,预测信息解码部120构成为具备:预测集解码部121、中间预测模式导出部122、以及预测模式记录部123、中间估计预测模式导出部(中间变换单元)124、估计预测模式导出部(估计预测模式导出单元)125、以及预测模式解码部126。
[预测集解码部]
预测集解码部121根据预测信息编码数据PD对表示作为预测的对象的分区中可应用的预测模式的种类的预测集进行解码。
[中间预测模式导出部]
中间预测模式导出部122导出将从预测模式解码部126提供的预测模式变换成中间预测集的预测模式的模式即中间预测模式。换言之,将对象分区的预测集中所含的预测模式映射至中间预测集的中间预测模式。
具体而言,中间预测模式导出部122进行如下处理:生成各分区的预测集的并集即中间预测集,并使用已生成的中间预测集来进行变换处理(映射处理)。
使用图8以及图9,关于到由中间预测模式导出部122生成的中间预测集以及对中间预测集的映射处理,说明如下。以下,说明根据图5所示的各预测集PS1~PS3生成中间预测集M1的情况。
首先,中间预测模式导出部122从预测集PS1~PS3中确定同种的预测模式。然后,中间预测模式导出部122对同种的预测模式分配相同的中间预测模式ID,对不同的预测模式分配不同的中间预测模式ID,并针对预测集PS1~PS3,分别生成对预测集中所含的预测模式的ID、与分配的ID之间的对应关系进行表示的对应表TBL1~TBL3。
图8示出了对应表的一例。首先,图8的(a)示出了对预测集PS1中所含的预测模式的ID:0~4、与中间预测模式ID之间的对应关系进行表示的对应表TBL1的一例。
另外,图8的(b)示出了对预测集PS2中所含的预测模式的ID:0~8、与分配的中间预测模式ID之间的对应关系进行表示的对应表TBL2的一例。而且,图8的(c)示出了对预测集PS3中所含的预测模式的ID:0~16、与中间预测模式ID之间的对应关系进行表示的对应表TBL3的一例。
此外,在图8的(c)所示的对应表TBL3中,对预测模式ID、以及中间预测模式ID分别指定“k”这一点表示预测模式ID与中间预测模式ID一致。换言之,“k”的指定示出了,预测集PS3中所含的预测模式与中间预测集M1中所含的预测模式一致。
中间预测模式导出部122将以上述的要领而分配的中间预测模式ID、与预测模式建立对应来生成中间预测集M1。图9示出了由中间预测模式导出部122使用预测集PS1~PS3而生成的中间预测集M1的一例。如该图所示,包含:15种方向预测(ID:0~14)、DC预测(ID:15)、以及平面预测(ID:16)。
另外,图10示出在以表形式来表现由中间预测模式导出部122生成的中间预测集M1的情况下的一例。
如图10所示,中间预测集M1包含ID以及中间预测模式的项目。ID是由中间预测模式导出部122在对应表TBL1~TBL3以及中间预测集M1的生成中分配给各预测模式的ID。此外,如图8以及图9所示,中间预测集M1与预测集PS3一致。
中间预测模式导出部122使用上述那样的中间预测集M1将从预测模式解码部126提供的预测模式变换成中间预测模式,并将变换后的中间预测模式提供至预测模式记录部123。
[预测模式记录部]
预测模式记录部123记录由中间预测模式导出部122针对对象分区而导出的中间预测模式。
[中间估计预测模式导出部]
中间估计预测模式导出部124基于预测模式记录部123中所记录的相邻分区的中间预测模式,来导出中间性地估计对象分区的预测模式的模式即中间估计预测模式。中间估计预测模式导出部124将导出的中间估计预测模式提供至估计预测模式导出部125。
在此,表现为“中间性地估计”是由于存在如下情况:如上所述,由于可应用的预测模式按每个分区而不同,因此从相邻分区预测出的预测模式在对象分区中不成为可应用的预测模式。最终地导出估计预测模式的是后述的估计预测模式导出部125。
使用图11,更具体地说明中间估计预测模式导出部124导出中间估计预测模式的手法。
若使用图11来说明对象分区T的相邻分区,则是指对象分区T的左相邻分区NA以及上相邻分区NB。此外,在图11中,中间预测模式p’A表征左相邻分区NA的中间预测模式,中间预测模式p’B表征上相邻分区NB的中间预测模式。另外,为了说明方便,在图11中,中间预测模式p’A以及中间预测模式p’B设想了方向预测,以箭头来示出了其预测方向。
中间估计预测模式导出部124将左相邻分区的中间预测模式以及上相邻分区的中间预测模式当中发生频度(发生概率)高的一者导出为对象分区的中间估计预测模式。
若更详细地说明,则中间估计预测模式导出部124中的中间估计预测模式p’的导出过程能通过下面的式(1)来表现。
【数1】
在式(1)中,PN是以对象分区T的相邻分区各自的中间预测模式为要素的集合。即,PN≡{p’A,p’B}。
也就是,p’x是相邻分区Nx的中间预测模式,在x中加入A或B。
另外,rankorder函数是对将中间预测集中所含的预测模式以发生频度顺序排列的位次列表中的p’x的位次进行返回的函数。关于rankorder函数,发生频度越高,返回越小的位次,发生频度越低,返回越大的位次。
而且,min函数是将自变量的最小的值返回的函数。arg函数是在上述位次列表的位次被指定时返回该位次的中间预测模式的函数。
也就是,在式(1)中进行如下运算。首先,rankorder函数针对左相邻分区NA以及上相邻分区NB分别返回中间预测模式的发生频度的位次。接着,min函数返回左相邻分区NA的中间预测模式p’A的位次以及上相邻分区NB的中间预测模式p’B的位次当中较小的一者的位次。而且,arg函数将从min函数返回的位次的中间预测模式导出为中间估计预测模式p’。换言之,通过式(1),从多个相邻分区中的中间预测模式中选择发生频度最高的中间预测模式。
此外,rankorder函数返回位次所使用的位次列表例如能通过事先调查各中间预测模式来创建。
另外,该位次列表像H.264/AVC那样,能预先在运动图像编码装置2以及运动图像解码装置1之间共有。例如,可以构成为:在运动图像编码装置2以及运动图像解码装置1中设有对位次列表进行记录的位次列表记录部(未图示),rankorder函数能参照该位次列表记录部中所记录的位次列表。
另外,可以在运动图像编码装置2中,对各中间预测模式的发生频度进行编码,作为编码数据而传输至运动图像解码装置1,在运动图像解码装置1中,将该传输的发生频度用作位次列表。换言之,可以在运动图像解码装置1中设置对由运动图像编码装置2提供的编码数据#1中所含的位次列表进行取得的位次列表取得部(取得单元)。
另外,表示该发生频度的信息例如可以基于先解码出的预测模式的统计信息而适当更新。例如,能在对象帧中利用比对象图片先解码出的图片中的中间预测模式的发生频度。另外,能利用与对象分区为同一切片中所含的分区即比对象分区先解码出的分区中的中间预测模式的发生频度。
[估计预测模式导出部]
估计预测模式导出部125根据由中间估计预测模式导出部124导出的中间估计预测模式p’来导出估计预测模式,并将导出的估计预测模式提供给预测模式解码部126。
具体而言,首先,在中间估计预测模式p’包含在对象分区的预测集中的情况下,估计预测模式导出部125将中间估计预测模式p’导出为估计预测模式。换言之,在中间估计预测模式p’是在对象分区中可应用的预测模式的情况下,估计预测模式导出部125将中间估计预测模式p’直接导出为估计预测模式。
另一方面,在中间估计预测模式p’未包含在对象分区的预测集中的情况下,估计预测模式导出部125将对象分区的预测集中所含的、具有与中间估计预测模式p’类似的性质的预测模式导出为估计预测模式。
换言之,在中间估计预测模式p’不包含在对象分区的预测集中的情况下,估计预测模式导出部125遵照给定的规则,将中间估计预测模式p’变换成对象分区的预测集中所含的预测模式。该规则例如可以作为将变换前的中间估计预测模式与变换后的估计预测模式建立对应的变换表而存储在运动图像解码装置1中。
估计预测模式导出部125以以下为基准来判定某预测模式是否具有与其他的预测模式类似的性质。
首先,在某预测模式是方向预测的情况下,估计预测模式导出部125判定该某预测模式的预测方向与该其他的预测模式的预测方向所形成的角度是否处于给定范围内。
另外,在上述角度处于给定范围内的情况下,估计预测模式导出部125认为该某预测模式具有与该其他的预测模式类似的性质。此外,在符合该基准的预测模式有多个的情况下,使预测方向比水平方向或垂直方向近的预测模式优先。
另外,在某预测模式是平面预测(DC或Plane)的情况下,使发生概率最高的预测模式优先。
[预测模式解码部]
预测模式解码部126基于从预测集PS以及估计预测模式导出部125提供的估计预测模式来对预测模式m进行解码。
在此,使用图12,对预测模式解码部126所进行的解码处理更具体地说明如下。图12是对预测模式解码部126所进行的解码处理的内容进行表示的表。
图12是对预测模式解码部126所进行的解码处理的内容进行表示的表。此外,在该图中,m表示对象分区的预测模式,p表示估计预测模式。
另外,decimal(x,n)是将n位的比特串变换成10进制的函数。在此,n是根据“n=ceil(log2(a-1))”而导出的数值。另外,a是预测集中所含的预测模式的数目,ceil函数是返回对自变量的小数部分进位后的数的函数。
如图12所示,预测模式解码部126进行与编码成编码数据的flag_bit以及rem_bits的设定相应的解码处理。
此外,flag_bit是表示从相邻块预测出的预测模式与对象分区的预测模式是否相同的标志,rem_bits是在预测出的预测模式与对象分区的预测模式不同的情况下对象分区的预测模式实际表示哪一个预测模式的信息。
预测模式解码部126根据flag_bit的设定值来设定m。首先,在对flag_bit设定成“1”时,预测模式解码部126对于m设定p。
另外,在对flag_bit设定成“0”时,预测模式解码部126取得rem_bits上所设定的“k”,判定decimal(k,n)是否小于p。
在此,在decimal(k,n)小于p时(“decimal(k,n)<p”为真),预测模式解码部126对于m设定decimal(k,n)。另一方面,在decimal(k,n)为p以上时(“decimal(k,n)<p”为假),预测模式解码部126对于m设定decimal(k,n)+1。
此外,在将预测集PS中所含的预测模式的数目设为了Nm的情况下,以上述的过程所解码的预测模式的值是位于[0,Nm一1]的范围内的Nm个整数当中的任一个。一般而言,为了以少的码量来表现预测模式值,按照满足上述条件的方式来限制预测模式值可取的值。在此情况下,在前述的中间预测模式导出部122中,进行将位于[0,Nm-1]的范围内的整数值变换成中间预测模式的处理。另外,反过来在估计预测模式导出部125中,进行将中间预测模式变换成位于[0,Nm-1]的范围内的整数值的处理。
(处理的流程)
接下来,使用图13来说明运动图像解码装置1的预测信息解码部120所执行的预测信息解码处理的流程。图13是对运动图像解码装置1中的预测信息解码处理的流程进行表示的流程图。
预测信息解码部120通过取得预测信息编码数据PD来使处理开始,由预测集解码部121进行预测集的解码(S101)。
接着,中间估计预测模式导出部124使用预测模式记录部123中所记录的、相邻分区的中间预测模式,来导出该对象分区的中间估计预测模式(S102)。
接下来,估计预测模式导出部125根据由中间估计预测模式导出部124导出的中间估计预测模式,来导出与对象分区的预测集相应的估计预测模式(S103)。
然后,预测模式解码部126使用由预测集解码部121解码出的预测集以及预测信息编码数据PD中所含的flag_bit以及rem_bits,来对对象分区的预测模式进行解码(S104)。
在此,中间预测模式导出部122使用中间预测集、解码出的预测模式以及预测集来导出对象分区的中间预测模式(S105),预测模式记录部123对由中间预测模式导出部122导出的中间预测模式进行记录(S106)。由预测模式记录部123记录的、对象分区的中间预测模式在该对象分区被参照为在后作为预测对象的对象分区的相邻分区时进行使用。
对S101~S106的预测信息解码处理进行了执行而得到的结果由预测模式m以及预测集PS从预测信息解码部120输出,且处理结束。
(作用以及效果)
如上所述,运动图像解码装置1根据作为进行帧内预测的对象的对象分区T的相邻分区NA、NB的预测模式,来进行对象分区T中的预测模式的估计,并在对编码后的图像数据#1进行解码的运动图像解码装置1中构成为具备:中间估计预测模式导出部124,其将相邻分区NA、NB的预测模式变换成预测集PS的并集即中间预测集M1的中间预测模式;以及估计预测模式导出部125,其基于通过上述变换而得到的各相邻分区NA、NB的预测模式p’A、p’B来进行对象分区T中的预测模式的估计,由此导出估计预测模式p’。
根据上述构成,能起到对对象分区的预测模式进行估计的精度得以提高这样的效果。
(运动图像编码装置的细节)
接下来,使用图2以及图14来说明运动图像编码装置的概略性的构成。运动图像编码装置2具备编码部20的构成已使用图2进行过说明。若进一步参照图2来说明细节,则编码部20具备用于以LCU层LCU单位来对图像进行编码的LCU编码部21。
编码部20将运动图像#10分割成LCU单位。然后,编码部20将分割运动图像#10后的结果所得到的LCU输入图像#5(图14)提供给LCU编码部21。在此,编码部20分别对预测单位指定信息PT以及变换单位指定信息TT指定运动图像#10的分割单位来作为预测单位(PU)以及变换单位(TU)。
此外,在以下的说明中,与运动图像解码装置1同样,将LCU层的LCU的尺寸设为与PU一致。另外,PU由1个分区组成。但不限于此,还能将PU分割成2个以上的分区。
另外,编码部20从LCU编码部21取得LCU编码数据#6,生成编码数据#1,并将生成的编码数据#1提供给运动图像解码装置1。
以下,一边参照图14,一边详细说明LCU编码部21的构成。如该图所示,LCU编码部21具备:预测信息决定部210、预测图像生成部211、减法器212、预测残差编码部213、LCU编码数据复用部214以及预测信息编码部220。
预测信息决定部210根据针对LCU输入图像#5而指定的分区的尺寸来决定预测模式以及预测集,并将决定的预测模式以及预测集提供给预测信息编码部220。
预测信息编码部220通过将从预测信息决定部210提供的预测模式以及预测集一起编码来生成预测信息编码数据PD。预测信息编码部220将生成的预测信息编码数据PD提供给预测图像生成部211以及LCU编码数据复用部214。关于预测信息编码部220将在后详细说明。
预测图像生成部211使用从预测信息编码部220提供的预测信息编码数据PD来生成预测图像,并提供给减法器212。
减法器212从LCU输入图像中减去预测图像来生成预测残差,并将生成的预测残差提供给预测残差编码部213。
预测残差编码部213按在变换单位指定信息TT中所指定的每一个变换单位,对从减法器212提供的预测残差进行编码,并将编码后的预测残差作为量化预测残差符号数据而提供给LCU编码数据复用部214。
此外,若进一步详细说明,则基于预测残差编码部213的预测残差的编码处理如下进行。即,预测残差编码部213按每个变换单位(块)来对预测残差进行DCT变换(DiscreteCosine Transform),并对通过DCT变换而得到的DCT系数进行量化,由此来对预测残差进行编码。
LCU编码数据复用部214对从预测残差编码部213提供的量化预测残差符号数据、与从预测信息编码部220提供的预测信息编码数据PD进行复用,来生成LCU编码数据#6。
(预测信息编码部的细节)
接下来,使用图15来说明预测信息编码部220的细节。图15是表示预测信息编码部220的概略性的构成的功能框图。
如图15所示,预测信息编码部220构成为具备:预测集编码部221、中间预测模式导出部222、预测模式记录部223、中间估计预测模式导出部(中间变换单元)224、估计预测模式导出部(估计预测模式导出单元)225、预测模式编码部226、以及加法器227。
此外,关于中间预测模式导出部222、预测模式记录部223、中间估计预测模式导出部224、以及估计预测模式导出部225的功能,与分别使用图1而说明的运动图像解码装置1中的预测信息解码部120的中间预测模式导出部122、预测模式记录部123、中间估计预测模式导出部124、以及估计预测模式导出部125相同,故以下省略其具体的说明。
预测集编码部221对对象分区的预测集PS进行编码,并提供给加法器227。
中间预测模式导出部222将对象分区的预测模式m变换成中间预测集的预测模式即中间预测模式。
预测模式记录部223记录由中间预测模式导出部222针对对象分区而导出的中间预测模式。
中间估计预测模式导出部224基于预测模式记录部223中所记录的相邻分区的中间预测模式,来导出中间性地估计对象分区的预测模式的模式即中间估计预测模式。中间估计预测模式导出部224将导出的中间估计预测模式提供给估计预测模式导出部225。
估计预测模式导出部225根据由中间估计预测模式导出部224导出的中间估计预测模式p’来导出估计预测模式,并将导出的估计预测模式提供给预测模式编码部226。
预测模式编码部226基于从对象分区的预测模式m以及估计预测模式导出部225提供的估计预测模式来对预测模式进行编码,并提供给加法器227。
在此,使用图16来对预测模式编码部226所进行的编码处理更具体的说明如下。图16是对预测模式编码部226所进行的编码处理的内容进行表示的表。
此外,在图16中,m表示对象分区的预测模式,p表示估计预测模式。另外,binary(x,n)是将x变换成2进制表现形式的n位的比特串的函数。在此,n是根据“n=ceil(log2(a-1))”而导出的数值。另外,a是预测集中所含的预测模式的数目,ceil函数是返回对自变量的小数部分进位后所得到的数的函数。
如图16所示,预测模式编码部226基于从对象分区的预测模式m以及估计预测模式导出部225提供的估计预测模式p,来对flag_bit以及rem_bits进行编码。若预测模式m与估计预测模式p一致(m=p),则预测模式编码部226对于flag_bit设定“1”来进行编码,并省略rem_bits的编码。即,在flag_bit为“1”时,表示对象分区的预测模式与从相邻分区推测出的估计预测模式相同。
另外,当预测模式m小于估计预测模式p时(m<p),预测模式编码部226对于flag_bit设定“0”,对于rem_bits设定binary(m,n),来对flag_bit以及rem_bits进行编码。
另一方面,在预测模式m大于估计预测模式p时(m>p),预测模式编码部226对于flag_bit设定“0”,且对于rem_bits设定binary(m-1,n),来对flag_bit以及rem_bits进行编码。
(处理的流程)
接下来,使用图17来说明运动图像编码装置2的预测信息编码部220所执行的预测信息编码处理的流程。图17是对运动图像编码装置2中的预测信息编码处理的流程进行表示的流程图。
若预测信息编码处理开始,则中间估计预测模式导出部224使用预测模式记录部223中所记录的、相邻分区的中间预测模式,来导出该对象分区的中间估计预测模式(S201)。
接下来,估计预测模式导出部225根据由中间估计预测模式导出部224导出的中间估计预测模式,来导出与对象分区的预测集相应的估计预测模式(S202)。
接着,预测模式编码部226使用对象分区的预测模式m、以及由估计预测模式导出部125导出的估计预测模式p,来对flag_bit以及rem_bits进行编码(S203),由预测集编码部221对预测集PS进行编码(S204)。
然后,加法器227生成包含由预测模式编码部226编码后的预测模式以及由预测集编码部221编码后的预测集在内的预测信息编码数据PD(S205)。
在此,中间预测模式导出部222使用中间预测集、以及预测模式m与预测集PS来导出对象分区的中间预测模式(S206),预测模式记录部223对由中间预测模式导出部222导出的中间预测模式进行记录(S207)。
(作用以及效果)
如上所述,运动图像编码装置2根据与作为进行帧内预测的对象的对象分区相邻的分区即相邻分区的预测模式,进行上述对象分区中的预测模式的估计,来对运动图像#10进行编码,该运动图像编码装置2构成为具备:中间估计预测模式导出部224,其将上述相邻分区中的预测模式变换成进行帧内预测的各分区的预测集PS的并集即中间预测集的中间预测模式;以及估计预测模式导出部225,其基于通过上述变换而得到的各相邻分区的中间预测模式,进行上述对象分区中的预测模式的估计,由此导出估计预测模式。
根据上述构成,能起到对对象分区的预测模式进行估计的精度得以提高这样的效果。
(变形例)
接下来,针对以上说明的运动图像解码装置1以及运动图像编码装置2的优选的变形例进行说明。
[估计预测模式导出部的变形例]
尽管以上说明了运动图像解码装置1的估计预测模式导出部125遵照给定的规则来变换中间估计预测模式p’从而导出估计预测模式p。但不限于此,估计预测模式导出部125还可以通过给定的运算来导出估计预测模式。
在各预测集满足以下的(1)以及(2)的关键条件的情况下,估计预测模式导出部125根据中间估计预测模式p’的ID并通过运算来求取估计预测模式p的ID。
该关键条件是指,(1)各预测集中所含的预测模式的顺序呈角度的升序、且(2)若预测集的编号增加则可应用的预测方向的数目变为2倍那样的情况。
(2)的条件也就是指,相对于第n个预测集,在第n+1个预测集中可应用的预测方向的数目为2倍。
反过来说,在第n个预测集中,该预测集中所含的预测模式的数目为第n+1个预测集中所含的预测方向的数目的一半。
另外,进一步说,还能在第n+1个预测集中所含的预测模式之中,从顺序为最后的预测模式起依次适当省略。由此,在第n个预测集中,预测集中所含的预测模式的数目还能为第n+1个预测集中所含的预测方向的数目的一半。
另外,在此情况下,中间估计预测模式是方向预测,中间预测集由方向预测的预测模式构成。
在各预测集满足上述(1)以及(2)的关键条件的情况下,估计预测模式导出部125通过以下的运算来导出估计预测模式。
在此,针对将中间预测集M1变换成已说明的预测集PS1~PS3的手法,具体例示如下。此外,以下,忽略中间预测集M1、预测集PS1~PS3中所含的平面预测。
首先,在求取预测集PS3的预测模式的情况下,p=p’。预测集PS3与中间预测集M1一致,因此将中间估计预测模式p’直接导出为估计预测模式p。
在求取预测集PS2的预测模式的情况下,计算p=p’>>1。在此,“>>”表示右移位运算。也就是,在该运算中,将具有中间预测集M1当中偶数号ID的中间预测模式(ID:0、2、4、6、8、10、12、14)通过移位运算而映射至预测集PS2(ID:0~7)。
另外,在求取预测集PS1的预测模式的情况下,计算p=(p’-2)>>2。也就是,在该运算中,将从中间预测集M1中去除了最末尾的位次即ID:14、以及第二低的位次的ID:13后的集合通过移位运算而映射至预测集PS1(ID:0~2)。
如以上所述,估计预测模式导出部125通过对中间估计预测模式p’进行运算来导出估计预测模式p。
此外,运动图像编码装置2的估计预测模式导出部225也能通过进行以上说明的运算来导出估计预测模式p。
[从平面预测向方向预测的变换]
运动图像解码装置1的估计预测模式导出部125可以在预测模式的变换之际,通过以下所示的手法将平面预测变换成方向预测。
这例如设想中间估计预测模式p’是平面预测、对象分区的预测集不包含平面预测、而包含方向预测的场景。
此外,若对平面预测进行补充,则如下所示。即,平面预测是在对象分区为16×16像素的情况下可选择的预测模式,是使用与对象分区相邻的解码完的参照像素的像素值来将该对象分区的各像素值通过平面性的预测而生成的预测模式。
具体而言,在平面预测中,基于与对象分区的上侧相邻的分区中所含的参照像素(以下,称为上侧参照像素)的斜率gx、以及与对象分区的左侧相邻的分区中所含的参照像素(以下,称为左侧相邻像素)的斜率gy,来生成预测图像。
使用图21,来说明估计预测模式导出部125将平面预测变换成方向预测的手法。此外,以下,设处于16×16像素的对象分区的各像素由座标(x,y)(x=0~15,y=0~15)进行指定。
在图21中,x、y是对对象分区中的像素的位置(座标)进行表征的轴,z是对修正像素值(亮度值)进行表征的轴,各座标的修正像素值是从该座标的亮度值中减去座标(0,0)的亮度值后的值。在此,座标(x0,y0)的修正像素值能表征为由矢量(x0,0,x0*gx)以及矢量(0,y0,y0*gy)展开的平面也就是由矢量(1,0,gx)以及矢量(0,1,gy)展开的平面上的点。
进而,预测方向是像素值不变化的方向(即,像素值的等高线方向),因此对预测方向进行表征的矢量v是xy平面上的矢量,且与由矢量(1,0,gx)以及矢量(0,1,gy)展开的平面的法线矢量正交。
根据以上来对预测方向进行表征的矢量v能表征为v=(gy,-gx,0)。
估计预测模式导出部125通过如此根据斜率gx、gy来求取对预测方向进行表征的矢量v,从而将平面预测变换成方向预测。
此外,上述的手法能在运动图像编码装置2的估计预测模式导出部225中应用。
[关于中间预测集]
尽管使用图9而说明的中间预测集M1是与预测集PS3一致的构成,但不限于此,中间预测集可以与各分区的预测集当中的任一个不一致。
如上所述,中间预测集只要是各分区的预测集的并集即可。使用图18以及图19,针对这样的中间预测集的例子说明如下。
图18的(a)~(c)表示了3种预测集,即预测集PS11、PS11以及PS31的例子。如图18的(a)所示,预测集PS11与图5的(b)所示的预测集PS2同样,包含8种方向预测(ID:0~7)、以及DC预测(ID:8)。
如图18(b)所示,预测集PS21与预测集PS11同样,包含8种方向预测(ID:0~7)、以及DC预测(ID:8),但ID:0~6的预测方向集中在水平方向。也就是预测集PS21是重视水平方向的预测的预测集。
如图18(c)所示,预测集PS31与预测集PS11同样,包含8种方向预测(ID:0~7)、以及DC预测(ID:8),但ID:1~7的预测方向集中在垂直方向。也就是,预测集PS31是重视垂直方向的预测的预测集。
可以对这样的预测集PS 11、PS21、PS31来生成图19所示的中间预测集M11。
即,中间预测集M11成为预测集PS11、PS21、PS31的并集,包含15种方向预测(ID:0~7)、以及DC预测(ID:8)。尽管预测集PS11、PS21、PS31均与中间预测集M11不一致,但均是中间预测集M1I的子集。也就是,各预测集中所含的预测模式必定包含在中间预测集M11中。
如此,中间预测集M11只要是各分区的预测集的并集即可,不必与每一个预测集一致。
[关于中间预测模式的标识符]
在图10所示的中间预测集M1中,作为中间预测集M1中所含的预测模式的标识符,采用了中间预测模式ID(ID:0~16)。对于中间预测集ID采用了连号,即逐次增加1的整数的索引。但中间预测模式的标识符可以是矢量。
例如,可以以由“预测分类”以及“预测特性参数”的2成分组成的矢量来表现中间预测模式的标识符。
在此情况下,还能将作为中间预测模式的标识符的矢量表现为(预测分类,预测特性参数)≡(et,ep)。
对于预测分类,指定:表示中间预测模式的种类是“方向预测”的“方向”、或表示是“平面预测”的“平面”。
另外,预测特性参数是用于最终确定中间预测模式的参数,根据预测分类而确定。
在预测分类为“方向”时,对预测特性参数指定确定其预测方向的参数。例如,对预测特性参数指定表示预测方向的角度的参数。
另外,在预测分类为“平面”时,对预测特性参数指定被分类至平面预测的预测模式的发生概率的位次(秩(rank))。
在此,针对在使用图20对中间预测模式的标识符进行矢量表现的情况下的具体的例子,说明如下。以下,例示以矢量表现来表现图9所示那样的中间预测集M1的标识符的情况。在图10中,示出了以ID表现来表征中间预测集M1的标识符的例子,与此相对,在图20中,示出了以矢量表现来表征中间预测集M1的标识符的情况。
即,在图10中赋予了ID:0~14的中间预测模式“angle(22.5)”~“angle(-135)”是方向预测,因此对于预测分类(et)指定“方向”。另外,此时,对于预测特性参数(ep)指定对各个预测方向的角度进行表示的“22.5”~“-135”。
而且,在图10中赋予了ID:15以及16的中间预测模式“DC”以及“Plane”是平面预测,因此对于预测分类(et)指定“平面”。另外,对于预测特性参数(ep)指定对中间预测模式“DC”以及“Plane”各自的发生概率的位次进行表示的“0”以及“1”。
此外,在如此进行了构成变更的情况下,运动图像解码装置1的中间估计预测模式导出部124可以根据在相邻分区中所导出的中间预测模式,通过如下手法来导出中间估计预测模式。
首先,在对象分区的左相邻分区以及上相邻分区中导出了不同的预测分类的中间预测模式的情况下,中间估计预测模式导出部124设中间估计预测模式p’=(平面,0)。换言之,在对象分区的左相邻分区以及上相邻分区当中的一者为平面预测、另一者为方向预测的情况下,中间估计预测模式导出部124将DC预测导出为中间估计预测模式p’。
另外,在对象分区的左相邻分区以及上相邻分区的两者中,在对作为中间预测模式而被分类至平面预测的预测模式进行了导出的情况下,中间估计预测模式导出部124设中间估计预测模式p’=(平面,min(ep,x))。在此,ep,x是在相邻分区中所导出的中间预测模式的预测特性参数的集合。
也就是,在此情况下,中间估计预测模式导出部124将在相邻分区中所导出的中间预测模式当中指定了最小预测特性参数的模式,即发生概率的位次最高的模式导出为中间估计预测模式p’。
另外,在对象分区的左相邻分区以及上相邻分区的两者中,在对作为中间预测模式而分类至方向预测的预测模式进行了导出的情况下,中间估计预测模式导出部124设中间估计预测模式p’=(平面,avg(ep,x))。在此,avg函数是返回自变量的平均值的函数。也就是,在此情况下,中间估计预测模式导出部124将具有在相邻分区中所导出的中间预测模式的角度的平均值的中间预测模式导出为中间估计预测模式p’。
此外,在不存在具有平均值的中间预测模式的情况下,中间估计预测模式导出部124能将具有更接近的值的中间预测模式导出为中间估计预测模式p’。
此外,上述的手法还能在运动图像编码装置2的中间估计预测模式导出部224中进行应用。
(总结)
本发明不限于上述的各实施方式,能在权利要求所示的范围内进行各种变更,而对不同的实施方式分别公开的技术方法进行适当组合而得到的实施方式也包含在本发明的技术的范围内。
最后,上述的运动图像解码装置1以及运动图像编码装置2的各块既可以通过形成于集成电路(IC芯片)上的逻辑电路来在硬件上实现,也可以使用CPU(Central ProcessingUnit;中央处理器)来在软件上实现。
在后者的情况下,上述各装置具备:对实现各功能的程序的命令进行执行的CPU、容纳有上述程序的ROM(Read Only Memory;只读存储器)、对上述程序进行展开的RAM(Random Access Memory:随机存取存储器)、以及容纳有上述程序以及各种数据的存储器等的存储装置(记录介质)等。而且,本发明的目的还在于,将以计算机可读取的方式记录有实现上述的功能的软件即上述各装置的控制程序的程序代码(执行格式程序、中间代码程序、源程序)的记录介质提供给上述各装置,由该计算机(或CPU或MPU)读出并执行记录在记录介质中的程序代码,从而得以实现。
作为上述记录介质,例如能使用:磁带或盒式磁带等的带类;包含软(注册商标)盘/硬盘等的磁盘或CD-ROM/MO/MD/DVD/CD-R/蓝光盘(注册商标)等的光盘在内的盘类;IC卡(包括存储卡)/光卡等的卡类;掩模ROM/EPROM/EEPROM/闪速ROM等的半导体存储器类;或者PLD(Programmable logic device:可编程逻辑器件)或FPGA(Field Programmable GateArray:现场可编程门阵列)等的逻辑电路类等。
另外,还可以构成为能将上述各装置与通信网络进行连接,并经由通信网络来提供上述程序代码。该通信网络只要能传输程序代码即可,不特别限定。例如能利用互联网、内联网、外联网、LAN、ISDN、VAN、CATV通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。另外,构成该通信网络的传输介质只要是能传输程序代码的介质即可,不限于特定的构成或种类。例如,既能以IEEE1394、USB、电力线输送、电缆TV线路、电话线、ADSL(Asymmetric Digital Subscriber Line;非对称数字用户线路)线路等的有线,也能以IrDA或远程那样的红外线、Bluetooth(注册商标)、IEEE802.11无线、HDR(High Data Rate;高数据速率)、NFC(Near Field Communication;近场通信)、DLNA(Digital Living Network Alliance;数字生活网络联盟)、便携式电话网、卫星线路、地面电波数字网等的无线来进行利用。
(附记事项1:关于预测模式ID以及中间预测模式ID的对应关联)
以上,针对预测模式ID与中间预测模式ID不必一致的例子进行了说明。
例如,在图8的(a)所示的对应表TBL1中,对预测模式ID:0分配了中间预测模式ID:2。
另外,在图8的(b)所示的对应表TBL2中,对预测模式ID:0分配了中间预测模式ID:0,预测模式ID与中间预测模式ID一致,而对预测模式ID:1分配了中间预测模式ID:1,预测模式ID与中间预测模式ID不一致。
另一方面,在图8的(c)所示的对应表TBL3中,预测模式ID与中间预测模式ID全部一致。
但不限于此,在预测集之一与各分区的预测集的并集即中间预测集一致的情况下,还能将各预测集中所含的预测模式ID与中间预测模式ID构成为相同的值。
也就是,在对应表TBL1以及对应表TBL2中,能进行对应表TBL3那样的指定。
例如,图6的(a)~(c)所示的预测集按如下方式构成。即,在该图的(a)所示的预测集PS1以及(b)所示的预测集PS2中,分配与(c)所示的预测集PS3对应的预测模式为相同的预测模式ID。
具体例列举如下。在预测集PS3中,对于右水平方向的预测模式分配“2”来作为预测模式ID。
在此,若预测集PS1的右水平方向的预测模式ID:0为“2”、且预测集PS2的右水平方向的预测模式ID:1为“2”,则能构成为:针对右水平方向的预测模式,中间预测模式ID与预测模式ID相同。
在此情况下,由中间估计预测模式导出部124执行的中间预测模式ID与预测模式ID之间的变换成为相同数值间的变换。
(附记事项2)
本发明能按如下表现。即,本发明所涉及的解码装置根据与作为进行画面内预测的对象的对象区域相邻的1或多个区域即相邻区域的预测模式,进行上述对象区域中的预测模式的估计,对编码后的图像数据进行解码,上述解码装置构成为具备:中间变换单元,其将上述相邻区域的预测模式变换成中间预测模式,该中间预测模式是在进行画面内预测的多个区域的各区域中可应用的预测模式的集合的并集即中间预测集中所含的预测模式;以及估计预测模式导出单元,其基于通过上述变换而得到的各相邻区域的中间预测模式,进行上述对象区域中的预测模式的估计,由此导出估计预测模式。
另外,本发明所涉及的编码装置根据与作为进行画面内预测的对象的对象区域相邻的1或多个区域即相邻区域的预测模式,进行上述对象区域中的预测模式的估计,对图像数据进行编码,上述编码装置具备:中间变换单元,其将上述相邻区域的预测模式变换成中间预测模式,该中间预测模式是在进行画面内预测的多个区域的各区域中可应用的预测模式的集合的并集即中间预测集中所含的预测模式;以及估计预测模式导出单元,其基于通过上述变换而得到的各相邻区域的中间预测模式,进行上述对象区域中的预测模式的估计,由此导出估计预测模式。
根据上述构成,在对对象区域的预测模式进行估计之际,能将相邻区域的预测模式变换成在各相邻区域中可应用的预测模式的集合的并集即中间预测集中所含的中间预测模式,并能基于通过该变换而得到的中间预测模式来对对象区域的预测模式进行估计。
在此,中间预测集包含各相邻区域中可应用的预测模式全部。另外,在从相邻区域的预测模式向中间预测模式的变换的定时,只要不特别限制,既可以在相邻区域中估计预测模式时预先进行,也可以在每次进行对象区域中的预测模式的估计时进行。
根据上述构成,即使在区域间可应用的预测模式不同的情况下,也能将相邻区域的预测模式直接用于对象区域的预测模式的估计。由此,例如能防止被导出为估计预测模式的预测模式被限定为分组后的代表性的预测模式。
其结果是,能起到对对象区域的预测模式进行估计的精度得以提高这样的效果。
优选地,在本发明所涉及的解码装置中,上述估计预测模式导出单元根据上述各相邻区域的中间预测模式来导出上述对象区域的上述中间预测模式,并将导出的该对象区域的中间预测模式变换成上述对象区域中可应用的预测模式,由此来导出估计预测模式。
根据上述构成,能将针对对象区域而导出的中间预测模式适当变换成上述对象区域中可应用的预测模式。若不进行变换,则得不到估计预测模式,因此不能应用基于估计预测模式的预测模式的编码,故码量增加。另一方面,若进行变换,则始终得到估计预测模式,故码量不增加。
优选地,在本发明所涉及的解码装置中,上述估计预测模式导出单元将上述各相邻区域的中间预测模式当中发生频度的估计值高的中间预测模式导出为上述对象区域的上述中间预测模式。
根据上述构成,即使在上述各相邻区域的中间预测模式中,也将发生频度的估计值高的中间预测模式导出为上述对象区域的上述中间预测模式,因此由解码装置导出的估计预测模式与对象区域的预测模式匹配的概率得以提高。
由此,能减少图像数据中用于编码预测模式的码量,因此能减少解码装置处理的数据的量。
优选地,在本发明所涉及的解码装置中,具备对预先计算出的上述发生频度的估计值进行记录的记录部。
根据上述构成,发生频度的估计值是预先计算出的,能在解码装置中进行记录。该发生频度的估计值可以在解码装置以及编码装置中共有。
由此,在编码数据中,可以不将上述发生频度的估计值作为边(side)信息进行编码。也就是,能减少在编码装置以及解码装置之间所交互的编码数据的量。
优选地,在本发明所涉及的解码装置中,具备取得单元,其取得从提供上述编码后的图像数据的编码装置所提供的上述发生频度的估计值。
根据上述构成,能从提供编码数据的编码装置取得发生频度的估计值。该发生频度的估计值可以在从编码装置提供的编码数据的报头中被编码。
由此,即使在预测模式的发生频度以帧单位或区域单位进行变动的情况下,也能正确地掌握发生频度的估计值,从而导出的估计预测模式的精度得以提高。
另外,由此能减少解码装置所处理的数据的量。
优选地,在本发明所涉及的解码装置中,在针对上述对象区域而导出的上述中间预测模式是在上述对象区域中可应用的预测模式的情况下,上述估计预测模式导出单元将针对上述对象区域而导出的上述中间预测模式导出为估计预测模式。
根据上述构成,在相邻区域的中间预测模式能作为对象区域的预测模式进行应用的情况下,将已导出的中间预测模式直接导出为估计预测模式。由此能不经由变换处理地得到估计预测模式。也就是,在此情况下,能起到能减少变换的次数这样的效果。
优选地,在本发明所涉及的解码装置中,在针对上述对象区域而导出的上述中间预测模式被分类至方向预测的情况下,上述估计预测模式导出单元将被分类至上述对象区域中可应用的方向预测的、具有与针对上述对象区域而导出的上述中间预测模式的预测方向的角度之差处于给定范围的角度的预测模式导出为估计预测模式。
根据上述构成,在针对对象区域而导出的中间预测模式被分类至方向预测的情况下,能将被分类至上述对象区域中可应用的方向预测的预测模式当中具有与该中间预测模式的预测方向的角度之差处于给定范围的角度的预测模式导出为估计预测模式。
在2个平面预测的预测模式之间预测方向的角度之差为给定范围的情况下,该2个预测模式的性质相近。
由此,例如,即使中间预测模式不是对象区域中可应用的方向预测的预测模式,也能将对象区域中可应用的方向预测的预测模式当中性质相近的预测模式导出为估计预测模式。
由此,起到能使被分类至方向预测的预测模式的估计精度得以提高这样的效果。
优选地,在本发明所涉及的解码装置中,在针对上述对象区域而导出的上述中间预测模式被分类至平面预测的情况下,上述估计预测模式导出单元将被分类至上述对象区域中可应用的平面预测的预测模式当中发生频度的估计值高的预测模式导出为估计预测模式。
根据上述构成,在针对对象区域而导出的中间预测模式被分类至平面预测的情况下,能将上述对象区域中可应用的平面预测当中发生频度的估计值高的预测模式导出为估计预测模式。
如此,即使中间预测模式不是对象区域中可应用的平面预测的预测模式,也将对象区域中可应用的平面预测当中发生频度高的预测模式作为估计预测模式,因此能使估计精度得以提高。
优选地,在本发明所涉及的解码装置中,上述中间预测模式通过预测模式的分类以及表示该分类中的特性的参数来进行识别,上述估计预测模式导出单元根据上述分类以及上述参数来导出上述对象区域的上述中间预测模式。
根据上述构成,即使在针对各相邻区域而变换后的中间预测模式的分类不同的情况下,也能在对象区域中根据上述分类以及上述参数来导出最佳的中间预测模式。
由此,起到预测模式的估计精度得以提高这样的效果。
(附记事项3)
上述实施方式中的宏块相当于作为H.264/MPEG-4AVC的后续规格而被提出的HEVC(High Efficiency Video Coding;高效率视频编码)的LCU(最大编码单元:LargestCoding Unit、编码树(有时也被称为Coding Tree)的root),宏块以及块相当于HEVC的CU(编码单元:Coding Unit,有时也被称为编码数的叶子)、PU(Prediction Unit;预测单位)、或TU(Transformation Unit;变形单位)。另外,LCU有时被称为树块。
(附记事项4)
尽管以上参照附图详述了本发明的实施方式,但具体的构成不限于该实施方式,不脱离本发明的主旨的范围的设计等也包含在权利要求的范围内。
工业实用性
本发明优选利用在具备对运动图像进行编码的运动图像编码装置、以及对编码后的运动图像进行解码的运动图像解码装置的运动图像处理系统,例如,数字电视广播系统、或运动图像分发系统等中。
标号说明
1 运动图像解码装置(解码装置)
2 运动图像编码装置(编码装置)
120 预测信息解码部
122 中间预测模式导出部
123 预测模式记录部
124 中间估计预测模式导出部(中间变换单元)
125 估计预测模式导出部(估计预测模式导出单元)
220 预测信息编码部
222 中间预测模式导出部
223 预测模式记录部
224 中间估计预测模式导出部(中间变换单元)
225 估计预测模式导出部(估计预测模式导出单元)
Claims (5)
1.一种解码装置,根据与作为进行画面内预测的对象的对象区域相邻的1个以上的相邻区域的预测模式,估计该对象区域中的预测模式,对编码后的图像数据进行解码,
所述解码装置的特征在于,具备:
变换部,其将上述相邻区域的预测模式变换成第一预测模式,该第一预测模式包括在能适用于进行画面内预测的各区域的预测模式的集合中;和
估计预测模式导出部,其基于上述第一预测模式,导出上述对象区域中的估计预测模式,
上述估计预测模式导出部使用变换后的上述相邻区域的第一预测模式来导出上述对象区域的第一预测模式,并使用该对象区域的第一预测模式来导出能适用于上述对象区域的上述估计预测模式。
2.根据权利要求1所述的解码装置,其特征在于,
上述预测模式的集合包括能在与上述对象区域相邻的至少两个相邻区域中分别适用的帧内预测模式。
3.根据权利要求1或2所述的解码装置,其特征在于,
上述第一预测模式为能适用于与上述对象区域相邻的相邻区域的预测模式,并且为发生频率高的预测模式。
4.一种编码装置,根据与作为进行画面内预测的对象的对象区域相邻的1个以上的相邻区域的预测模式,估计该对象区域中的预测模式,并对图像数据进行编码,
所述编码装置的特征在于,具备:
变换部,其将上述相邻区域的预测模式变换成第一预测模式,该第一预测模式包括在能适用于进行画面内预测的各区域的预测模式的集合中;和
估计预测模式导出部,其基于上述第一预测模式,导出上述对象区域中的估计预测模式,
上述估计预测模式导出部使用变换后的上述相邻区域的第一预测模式来导出上述对象区域的第一预测模式,并使用该对象区域的第一预测模式来导出能适用于上述对象区域的上述估计预测模式。
5.一种解码方法,根据与作为进行画面内预测的对象的对象区域相邻的1个以上的相邻区域的预测模式,估计该对象区域中的预测模式,对编码后的图像数据进行解码,
所述解码方法的特征在于,至少包括以下步骤:
将上述相邻区域的预测模式变换成第一预测模式,该第一预测模式包括在能适用于进行画面内预测的各区域的预测模式的集合中;和
基于上述第一预测模式,导出上述对象区域中的估计预测模式,
导出上述估计预测模式的步骤使用变换后的上述相邻区域的第一预测模式来导出上述对象区域的第一预测模式,并使用该对象区域的第一预测模式来导出能适用于上述对象区域的上述估计预测模式。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-160861 | 2010-07-15 | ||
JP2010160861 | 2010-07-15 | ||
CN201180034166.XA CN102986227B (zh) | 2010-07-15 | 2011-07-14 | 解码装置、编码装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180034166.XA Division CN102986227B (zh) | 2010-07-15 | 2011-07-14 | 解码装置、编码装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105681811A CN105681811A (zh) | 2016-06-15 |
CN105681811B true CN105681811B (zh) | 2018-11-30 |
Family
ID=45469511
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610166618.4A Active CN105681811B (zh) | 2010-07-15 | 2011-07-14 | 解码装置、编码装置和解码方法 |
CN201180034166.XA Active CN102986227B (zh) | 2010-07-15 | 2011-07-14 | 解码装置、编码装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180034166.XA Active CN102986227B (zh) | 2010-07-15 | 2011-07-14 | 解码装置、编码装置 |
Country Status (5)
Country | Link |
---|---|
US (4) | US9930331B2 (zh) |
JP (2) | JP5798556B2 (zh) |
CN (2) | CN105681811B (zh) |
HK (1) | HK1225885B (zh) |
WO (1) | WO2012008515A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105681811B (zh) * | 2010-07-15 | 2018-11-30 | 夏普株式会社 | 解码装置、编码装置和解码方法 |
KR20120070479A (ko) * | 2010-12-21 | 2012-06-29 | 한국전자통신연구원 | 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치 |
CN107087179B (zh) * | 2011-03-10 | 2021-04-27 | 夏普株式会社 | 图像解码装置及方法、以及记录介质 |
US9210438B2 (en) | 2012-01-20 | 2015-12-08 | Sony Corporation | Logical intra mode naming in HEVC video coding |
CN109413429B (zh) | 2012-01-20 | 2022-05-17 | 杜比实验室特许公司 | 解码方法、视频解码设备及编码方法 |
JP6212890B2 (ja) * | 2013-03-22 | 2017-10-18 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム |
US10715833B2 (en) * | 2014-05-28 | 2020-07-14 | Apple Inc. | Adaptive syntax grouping and compression in video data using a default value and an exception value |
CN108933941A (zh) * | 2017-05-26 | 2018-12-04 | 富士通株式会社 | 图像编码方法和装置以及图像解码方法和装置 |
US10284844B1 (en) | 2018-07-02 | 2019-05-07 | Tencent America LLC | Method and apparatus for video coding |
CN110213594A (zh) * | 2018-12-29 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 用于帧内编码的方法、装置、帧编码器、帧编码系统以及计算机可读存储媒体 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1674680A (zh) * | 2005-03-31 | 2005-09-28 | 华中科技大学 | 一种增强型帧内预测模式编码方法 |
CN101039432A (zh) * | 2006-03-16 | 2007-09-19 | 华为技术有限公司 | 在编码过程中实现自适应量化的方法及装置 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1113671A3 (en) * | 1999-12-28 | 2007-04-11 | Matsushita Electric Industrial Co., Ltd. | Image decoding apparatus and image coding apparatus |
JP2001266158A (ja) * | 2000-01-11 | 2001-09-28 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
US7289672B2 (en) * | 2002-05-28 | 2007-10-30 | Sharp Laboratories Of America, Inc. | Methods and systems for image intra-prediction mode estimation |
EP2860978B1 (en) | 2002-05-28 | 2020-04-08 | Dolby International AB | Method and systems for image intra-prediction mode estimation, communication, and organization |
US7386048B2 (en) * | 2002-05-28 | 2008-06-10 | Sharp Laboratories Of America, Inc. | Methods and systems for image intra-prediction mode organization |
US7236524B2 (en) * | 2002-05-28 | 2007-06-26 | Sharp Laboratories Of America, Inc. | Methods and systems for image intra-prediction mode communication |
US20030231795A1 (en) * | 2002-06-12 | 2003-12-18 | Nokia Corporation | Spatial prediction based intra-coding |
DE10343220B3 (de) * | 2003-09-18 | 2005-05-25 | Siemens Ag | Verfahren und Vorrichtung zur Transcodierung eines Datenstroms, der ein oder mehrere codierte digitalisierte Bilder umfasst |
KR100543611B1 (ko) * | 2004-03-02 | 2006-01-20 | 엘지전자 주식회사 | 인트라 압축 방법 |
US8213508B2 (en) * | 2004-04-02 | 2012-07-03 | Thomson Licensing | Complexity scalable video encoding |
EP1779673A1 (en) * | 2004-07-15 | 2007-05-02 | Qualcomm Incorporated | H.264 spatial error concealment based on the intra-prediction direction |
RU2496252C2 (ru) * | 2007-06-29 | 2013-10-20 | Шарп Кабусики Кайся | Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения, способ декодирования изображения, программа и запоминающий носитель |
US20090161757A1 (en) * | 2007-12-21 | 2009-06-25 | General Instrument Corporation | Method and Apparatus for Selecting a Coding Mode for a Block |
WO2009080133A1 (en) * | 2007-12-21 | 2009-07-02 | Telefonaktiebolaget Lm Ericsson (Publ) | Adaptive intra mode selection |
KR20090095316A (ko) | 2008-03-05 | 2009-09-09 | 삼성전자주식회사 | 영상 인트라 예측 방법 및 장치 |
US20090236339A1 (en) | 2008-03-20 | 2009-09-24 | Seaquist Closures L.L.C. | Dispensing closure with orifice external seal |
US20090245371A1 (en) * | 2008-03-28 | 2009-10-01 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding/decoding information about intra-prediction mode of video |
JP5114273B2 (ja) | 2008-04-02 | 2013-01-09 | 株式会社古川製作所 | 包袋の保管装置 |
JP2009284275A (ja) * | 2008-05-23 | 2009-12-03 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
CN105681811B (zh) * | 2010-07-15 | 2018-11-30 | 夏普株式会社 | 解码装置、编码装置和解码方法 |
-
2011
- 2011-07-14 CN CN201610166618.4A patent/CN105681811B/zh active Active
- 2011-07-14 CN CN201180034166.XA patent/CN102986227B/zh active Active
- 2011-07-14 US US13/809,272 patent/US9930331B2/en active Active
- 2011-07-14 JP JP2012524588A patent/JP5798556B2/ja active Active
- 2011-07-14 WO PCT/JP2011/066056 patent/WO2012008515A1/ja active Application Filing
-
2015
- 2015-08-20 JP JP2015162368A patent/JP6114787B2/ja active Active
-
2016
- 2016-12-09 HK HK16114076A patent/HK1225885B/zh unknown
-
2018
- 2018-02-15 US US15/897,992 patent/US10313689B2/en not_active Expired - Fee Related
-
2019
- 2019-04-11 US US16/381,929 patent/US11032557B2/en active Active
-
2021
- 2021-04-19 US US17/234,577 patent/US11405624B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1674680A (zh) * | 2005-03-31 | 2005-09-28 | 华中科技大学 | 一种增强型帧内预测模式编码方法 |
CN101039432A (zh) * | 2006-03-16 | 2007-09-19 | 华为技术有限公司 | 在编码过程中实现自适应量化的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105681811A (zh) | 2016-06-15 |
JP5798556B2 (ja) | 2015-10-21 |
US11032557B2 (en) | 2021-06-08 |
WO2012008515A1 (ja) | 2012-01-19 |
CN102986227A (zh) | 2013-03-20 |
US9930331B2 (en) | 2018-03-27 |
US11405624B2 (en) | 2022-08-02 |
CN102986227B (zh) | 2016-04-20 |
US20180176586A1 (en) | 2018-06-21 |
HK1225885B (zh) | 2017-09-15 |
US20130114712A1 (en) | 2013-05-09 |
US20190238867A1 (en) | 2019-08-01 |
US10313689B2 (en) | 2019-06-04 |
US20210243459A1 (en) | 2021-08-05 |
JPWO2012008515A1 (ja) | 2013-09-09 |
JP2016007047A (ja) | 2016-01-14 |
JP6114787B2 (ja) | 2017-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105681811B (zh) | 解码装置、编码装置和解码方法 | |
CN104054343B (zh) | 图像解码装置、图像编码装置 | |
CN103858430B (zh) | 图像解码装置、图像解码方法及图像编码装置 | |
CN103636210B (zh) | 偏移解码装置、偏移编码装置、图像滤波器装置 | |
CN104683799B (zh) | 一种对图像进行解码的设备 | |
CN105981386B (zh) | 图像解码装置、图像编码装置及编码数据变换装置 | |
CN103828364B (zh) | 图像解码装置、图像解码方法及图像编码装置 | |
TWI583179B (zh) | 用於視訊編碼之方法、編碼器及電腦可讀記憶體 | |
CN104685881B (zh) | 图像解码装置、图像编码装置以及图像解码方法 | |
CN103460694B (zh) | 图像解码装置、图像编码装置以及编码数据的数据构造 | |
TWI742809B (zh) | 解碼方法及解碼裝置 | |
CN105594209B (zh) | 图像解码装置、图像解码方法以及图像编码装置 | |
CN110089115A (zh) | 图像解码装置、图像编码装置、图像解码方法、以及图像编码方法 | |
CN110063056A (zh) | 用于处理视频信号的方法和设备 | |
CN104255027B (zh) | 用于视频译码的层间纹理预测 | |
CN105519116A (zh) | 产生用于增强层中的运动预测的经调适运动向量候选者列表的可缩放hevc装置和方法 | |
CN109076219A (zh) | 图像解码装置以及图像编码装置 | |
CN104255029A (zh) | 产生用于不同的颜色取样格式的子像素值 | |
MX2013000064A (es) | Dispositivo de proceso de imagenes y metodo de proceso de imagenes. | |
CN104604233B (zh) | 图像解码装置 | |
CN105052142A (zh) | 仅高级语法shvc中的一般化残余预测及其信令和管理 | |
WO2012035640A1 (ja) | 動画像符号化方法及び動画像復号化方法 | |
CN108810532A (zh) | 图像解码装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1225885 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |