CN113196776A - 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法 - Google Patents

预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法 Download PDF

Info

Publication number
CN113196776A
CN113196776A CN201980083015.XA CN201980083015A CN113196776A CN 113196776 A CN113196776 A CN 113196776A CN 201980083015 A CN201980083015 A CN 201980083015A CN 113196776 A CN113196776 A CN 113196776A
Authority
CN
China
Prior art keywords
value
prediction
image
cclm
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980083015.XA
Other languages
English (en)
Other versions
CN113196776B (zh
Inventor
八杉将伸
佐佐木瑛一
猪饲知宏
青野友子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
FG Innovation Co Ltd
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FG Innovation Co Ltd, Sharp Corp filed Critical FG Innovation Co Ltd
Priority to CN202311634787.2A priority Critical patent/CN117750035A/zh
Priority to CN202311648383.9A priority patent/CN117834913A/zh
Priority to CN202311637453.0A priority patent/CN117834912A/zh
Publication of CN113196776A publication Critical patent/CN113196776A/zh
Application granted granted Critical
Publication of CN113196776B publication Critical patent/CN113196776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明削减CCLM预测所需的存储量。CCLM预测参数推导部(310442)推导出与亮度的差分值对应的尺度移位值,使用尺度移位值将表的值与色差的差分值相乘而得到的值移位,由此推导出CCLM预测参数,其中,所述表的值将使亮度的差分值右移位尺度移位值而得到的值参照为索引。此外,在推导预测图像时,通过从色差的差分值自适应地推导线性预测参数的移位量来削减比特宽度。

Description

预测图像生成装置、运动图像解码装置、运动图像编码装置以 及预测图像生成方法
技术领域
本发明的实施方式涉及预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法。
背景技术
为了高效地传输或记录运动图像,使用通过对运动图像进行编码而生成编码数据的运动图像编码装置,以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。
作为具体的运动图像编码方式,例如可以列举出H.264/AVC、HEVC(High-Efficiency Video Coding:高效运动图像编码)方式等。
在这样的运动图像编码方式中,构成运动图像的图像(图片)通过分级结构来管理,并按每个CU进行编码/解码,所述分级结构包括通过分割图像而得到的切片、通过分割切片而得到的编码树单元(CTU:Coding Tree Unit)、通过分割编码树单元而得到的编码单位(有时也称为编码单元(Coding Unit:CU))以及通过分割编码单位而得到的变换单元(TU:Transform Unit)。
此外,在这样的运动图像编码方式中,通常,基于通过对输入图像进行编码/解码而得到的局部解码图像而生成预测图像,对从输入图像(原图像)中减去该预测图像而得到的预测误差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法,可列举出画面间预测(帧间预测)和画面内预测(帧内预测)。作为近年来的运动图像编码和解码的技术,可列举出非专利文献1。
此外,在近年来的运动图像编码和解码技术中,已知有根据亮度图像生成色差图像的预测图像的CCLM(CCLM,Cross-Component Linear Model:跨组件线性模型)预测。在CCLM预测中,使用与对象块邻接的已解码图像推导出线性预测参数,根据该线性预测模型(CCLM模型)预测对象块的色差(非专利文献2)。
现有技术文献
非专利文献
非专利文献1:“Versatile Video Coding(Draft 3)”,JVET-L1001,Joint VideoExploration Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,2018-11-0817:06:06
非专利文献2:“CE3-5.1:On cross-component linear model simplification”,JVET-L0191,Joint Video Exploration Team(JVET)of ITU-T SG 16WP 3and ISO/IECJTC 1/SC 29/WG 11,2018-10-03
发明内容
发明要解决的问题
如上所述,在CCLM处理中,推导出线性预测参数,使用线性预测模型来生成预测图像。在线性预测参数的推导中使用整数运算和表参照,但存在该表的存储器使用量大这一问题。
此外,在使用线性预测参数的梯度项(CCLM预测参数a)和像素值的积推导预测值时,在非专利文献1的方法中,CCLM预测参数a的比特宽度变大,因此存在积的复杂度大这一问题。此外,非专利文献1也在线性预测参数的梯度项(CCLM预测参数a)和线性预测参数的偏移项(CCLM预测参数b)的推导中使用积,但该积也作为比特宽度大的值彼此的积,因此较为复杂。需要说明的是,比特宽度大的值的积会增大硬件规模。
技术方案
为了解决上述问题,本发明的一个方案的CCLM预测部是一种通过CCLM预测生成预测图像的CCLM预测部,其特征在于,具备:CCLM预测参数推导部,使用亮度的差分值、色差的差分值以及表推导出CCLM预测参数(a,b);以及CCLM预测滤波部,使用亮度参照图像和CCLM预测参数(a,b)生成色差预测图像,上述CCLM预测参数推导部通过第一移位值shift_a将使用亮度的差分值所参照的倒数表的值与色差的差分值相乘而得到的值右移位,由此推导出CCLM预测参数a,上述CCLM预测滤波部通过第二规定的移位值shiftA将上述参数a与亮度的积右移位,由此推导出上述色差预测图像。
有益效果
根据本发明的一个方案,有在CCLM预测中简化与线性预测参数的乘法的效果。
附图说明
图1是表示本实施方式的图像传输系统的构成的概略图。
图2是表示搭载有本实施方式的运动图像编码装置的发送装置和搭载有运动图像解码装置的接收装置的构成的图。图2的(a)表示搭载有运动图像编码装置的发送装置,图2的(b)表示搭载有运动图像解码装置的接收装置。
图3是表示搭载有本实施方式的运动图像编码装置的记录装置和搭载有运动图像解码装置的再现装置的构成的图。图3的(a)表示搭载有运动图像编码装置的记录装置,图3的(b)表示搭载有运动图像解码装置的再现装置。
图4是表示编码流的数据的分级结构的图。
图5是表示CTU的分割例的图。
图6是表示帧内预测模式的种类(模式编号)的概略图。
图7是表示运动图像解码装置的构成的概略图。
图8是表示帧内预测参数解码部的构成的概略图。
图9是表示用于帧内预测的参照区域的图。
图10是表示帧内预测图像生成部的构成的图。
图11的(a)是表示本发明的一实施方式的CCLM预测部的构成的一个示例的框图,图11的(b)是表示IntraPredModeC的推导方法的图。
图12是表示本发明的一实施方式的CCLM预测滤波部的构成例的框图。
图13的(a)~(e)是说明在本发明的一实施方式的CCLM预测参数的推导时所参照的像素的图。
图14是表示在本实施方式的CCLM预测中使用的(亮度、色差)的组合的示例的图。
图15是表示运动图像编码装置的构成的框图。
图16是表示帧内预测参数编码部的构成的概略图。
图17是用于说明计算表中未保持的要素的值的示例的图。
图18是用于说明计算表中未保持的要素的值的示例的图。
具体实施方式
(第一实施方式)
以下,参照附图对本发明的实施方式进行说明。
图1是表示本实施方式的图像传输系统1的构成的概略图。
图像传输系统1是传输对编码对象图像进行编码而得到的编码流,对所传输的编码流进行解码并显示图像的系统。图像传输系统1构成为包括:运动图像编码装置(图像编码装置)11、网络21、运动图像解码装置(图像解码装置)31以及运动图像显示装置(图像显示装置)41。
运动图像编码装置11被输入图像T。
网络21将运动图像编码装置11所生成的编码流Te传输至运动图像解码装置31。网络21是互联网(Intemet)、广域网(WAN:Wide Area Network)、小型网络(LAN:Local AreaNetwork,局域网)或它们的组合。网络21不一定限定于双向的通信网,也可以是传输地面数字广播、卫星广播等广播波的单向的通信网。此外,网络21也可以用DVD(DigitalVersatile Disc:数字通用光盘,注册商标)、BD(Blue-ray Disc:蓝光光盘,注册商标)等记录有编码流Te的存储介质代替。
运动图像解码装置31对网络21所传输的编码流Te分别进行解码,生成解码后的一个或多个解码图像Td。
运动图像显示装置41显示运动图像解码装置31所生成的一个或多个解码图像Td的全部或一部分。运动图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence:电致发光)显示器等显示设备。作为显示器的形式,可列举出固定式、移动式、HMD等。此外,在运动图像解码装置31具有高处理能力的情况下显示画质高的图像,在仅具有较低处理能力的情况下显示不需要高处理能力、高显示能力的图像。
<运算符>
以下记述在本说明书中使用的运算符。
>>为向右位移,<<为向左位移,&为逐位AND,|为逐位OR,|=为OR代入运算符,||表示逻辑和。
x?y:z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。
Clip3(a,b,c)是将c裁剪到a以上b以下的值的函数,是在c<a的情况下返回a、在c>b的情况下返回b、在其他情况下返回c的函数(其中a<=b)。
abs(a)是返回a的绝对值的函数。
Int(a)是返回a的整数值的函数。
floor(a)是返回a以下的最大整数的函数。
ceil(a)是返回a以上的最小整数的函数。
a/d表示a除以d(舍去小数点以下)。
a^b表示a的b次方。
<编码流Te的结构>
在对本实施方式的运动图像编码装置11和运动图像解码装置31进行详细说明之前,对由运动图像编码装置11生成并由运动图像解码装置31进行解码的编码流Te的数据结构进行说明。
图4是表示编码流Te中的数据的分级结构的图。编码流Te示例性地包括序列和构成序列的多张图片。图4的(a)~(f)分别是表示既定序列SEQ的编码视频序列、规定图片PICT的编码图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中所包括的编码树单元以及编码树单元中所包括的编码单元的图。
(编码视频序列)
在编码视频序列中,规定有供运动图像解码装置31参照以便对处理对象的序列SEQ进行解码的数据的集合。序列SEQ如图4的(a)所示,包括视频参数集(Video ParameterSet)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(Picture ParameterSet)、图片PICT以及补充增强信息SEI(Supplemental Enhancement Information)。
视频参数集VPS在由多层构成的运动图像中,规定有多个运动图像通用的编码参数的集合,以及运动图像中包括的多层和与各层关联的编码参数的集合。
在序列参数集SPS中,规定有供运动图像解码装置31参照以便对对象序列进行解码的编码参数的集合。例如,规定有图片的宽度、高度。需要说明的是,SPS可以存在多个。在该情况下,从PPS中选择多个SPS中的任一个。
在图片参数集PPS中,规定有供运动图像解码装置31参照以便对对象序列内的各图片进行解码的编码参数的集合。例如包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)、指示加权预测的应用的标志(weighted_pred_flag)。需要说明的是,PPS可以存在多个。在该情况下,从对象序列内的各图片中选择多个PPS中的任一个。
(编码图片)
在编码图片中,规定有供运动图像解码装置31参照以便对处理对象的图片PICT进行解码的数据的集合。图片PICT如图4的(b)所示,包括切片0~切片NS-1(NS为图片PICT中所包括的切片的总数)。
需要说明的是,以下,在无需对各切片0~切片NS-1进行区分的情况下,有时会省略附图标记的下标来进行记述。此外,以下所说明的编码流Te中包括的且带有下标的其他数据也是同样的。
(编码切片)
在编码切片中,规定有供运动图像解码装置31参照以便对处理对象的切片S进行解码的数据的集合。切片如图4的(c)所示包括切片标头和切片数据。
切片报头中包括供运动图像解码装置31参照以便确定对象切片的解码方法的编码参数组。指定切片类型的切片类型指定信息(slice_type)是切片报头中包括的编码参数的一个示例。
作为能由切片类型指定信息指定的切片类型,可列举出:(1)在进行编码时仅使用帧内预测的I切片、(2)在进行编码时使用单向预测或帧内预测的P切片以及(3)在进行编码时使用单向预测、双向预测或帧内预测的B切片等。需要说明的是,帧间预测不限于单向预测、双向预测,也可以使用更多的参照图片来生成预测图像。以下,称为P、B切片的情况是指包括能使用帧间预测的块的切片。
需要说明的是,切片报头中也可以包括对图片参数集PPS的参照(pic_parameter_set_id)。
(编码切片数据)
在编码切片数据中,规定有供运动图像解码装置31参照以便对处理对象的切片数据进行解码的数据的集合。切片数据如图4的(d)所示包括CTU。CTU是构成切片的固定大小(例如64×64)的块,也称为最大编码单位(LCU:Largest Coding Unit)。
(编码树单元)
在图4的(e)中,规定有供运动图像解码装置31参照以便对处理对象的CTU进行解码的数据的集合。CTU通过递归的四叉树分割(QT(Quad Tree)分割)、二叉树分割(BT(Binary Tree)分割)或三叉树分割(TT(Ternary Tree)分割)分割成作为编码处理的基本单位的编码单元CU。将BT分割和TT分割统称为多叉树分割(MT(Multi Tree)分割)。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(Coding Node)。四叉树、二叉树以及三叉树的中间节点为编码节点,CTU本身也被规定为最上层的编码节点。
CT包括以下信息作为CT信息:表示是否进行QT分割的QT分割标志(qt_split_cu_flag)、表示有无MT分割的MT分割标志(mtt_split_cu flag)、表示MT分割的分割方向的MT分割方向(mtt_split_cu_vertical_flag)、表示MT分割的分割类型的MT分割类型(mtt_split_cu_binary_flag)。qt_split_cu_flag、mtt_split_cu_flag、mtt_split_cu_vertical_flag、mtt_split_cu_binary_flag按每个编码节点传输。
图5是表示CTU的分割例的图。在qt_split_cu_flag为1的情况下,编码节点分割成4个编码节点(图5的(b))。
在qt_split_cu_flag为0时,mtt_split_cu_flag为0的情况下,不分割编码节点,而保持1个CU作为节点(图5的(a))。CU为编码节点的末端节点,且不进行进一步分割。CU为编码处理的基本单位。
在mtt_split_cu_flag为1的情况下如下所述地对编码节点进行MT分割。在mtt_split_cu_vertical_flag为0且mtt_split_cu_binary_flag为1的情况下将编码节点水平分割成2个编码节点(图5的(d)),在mtt_split_cu_vertical_flag为1且mtt_split_cu_binary_flag为1的情况下将编码节点垂直分割成2个编码节点(图5的(c))。此外,在mtt_split_cu_vertical_flag为0且mtt_split_cu_binary_flag为0的情况下将编码节点水平分割成3个编码节点(图5的(f)),在mtt_split_cu_vertical_flag为1且mtt_split_cu_binary_flag为0的情况下将编码节点垂直分割成3个编码节点(图5的(e))。将它们在图5的(g)中示出。
此外,在CTU的大小为64×64像素的情况下,CU的大小可以取64×64像素、64×32像素、32×64像素、32×32像素、64×16像素、16×64像素、32×16像素、16×32像素、16×16像素、64×8像素、8×64像素、32×8像素、8×32像素、16×8像素、8×16像素、8×8像素、64×4像素、4×64像素、32×4像素、4×32像素、16×4像素、4×16像素、8×4像素、4×8像素以及4×4像素中的任一种。
(编码单元)
如图4的(f)所示,规定有供运动图像解码装置31参照以便对处理对象的编码单元进行解码的数据的集合。具体而言,CU由CU报头CUH、预测参数、变换参数、量化变换系数等构成。在CU报头中规定有预测模式等。
预测处理存在以CU为单位进行的情况和以进一步分割CU而得到的子CU为单位进行的情况。在CU与子CU的大小相等的情况下,CU中的子CU为1个。在CU的大小大于子CU的大小的情况下,CU被分割成子CU。例如,在CU为8×8、子CU为4×4的情况下,CU被分割成4个子CU,包括水平分割的两部分和垂直分割的两部分。
预测的种类(预测模式)存在帧内预测和帧间预测两种。帧内预测是同一图片内的预测,帧间预测是指在互不相同的图片间(例如显示时刻间)进行的预测处理。
变换/量化部处理以CU为单位来进行,但量化变换系数也可以以4×4等子块为单位来进行熵编码。
(预测参数)
预测图像由附加于块的预测参数而推导出。预测参数中存在帧内预测和帧间预测的预测参数。
以下,对帧内预测的预测参数进行说明。帧内预测参数由亮度预测模式IntraPredModeY和色差预测模式IntraPredModeC构成。图6是表示帧内预测模式的种类(模式编号)的概略图。如图6所示,帧内预测模式例如存在67种(0~66)。例如是平面预测(0)、DC预测(1)、Angular(角度)预测(2~66)。而且,可以在色差中追加CCLM模式(81~83)。
用于推导帧内预测参数的语法要素中例如有intra_luma_mpm_flag、mpm_idx、mpm_remainder等。
(MPM)
intra_luma_mpm_flag是表示对象块的亮度预测模式Intra Pred ModeY与MPM(Most Probable Mode:最可能模式)是否一致的标志。MPM是MPM候选列表mpmCandList[]中所包括的预测模式。MPM候选列表是储存有根据邻接块的帧内预测模式和规定的帧内预测模式估计应用于对象块的概率高的候选的列表。在intra_luma_mpm_flag为1的情况下,使用MPM候选列表和索引mpm_idx推导出对象块的亮度预测模式IntraPredModeY。
IntraPredModeY=mpmCandList[mpm_idx]
(REM)
在intra_luma_mpm_flag为0的情况下,使用mpm_remainder推导出亮度预测模式IntraPredModeY。具体而言,从在全部帧内预测模式中除去MPM候选列表中所包括的帧内预测模式后剩余的模式RemIntraPredMode中选择帧内预测模式。
(运动图像解码装置的构成)
对本实施方式的运动图像解码装置31(图7)的构成进行说明。
运动图像解码装置31构成为包括:熵解码部301、参数解码部(预测图像解码装置)302、环路滤波器305、参照图片存储器306、预测参数存储器307、预测图像生成部308、逆量化/逆变换部311以及加法部312。需要说明的是,根据后文所述的运动图像编码装置11,也存在运动图像解码装置31中不包括环路滤波器305的构成。
参数解码部302还具备报头解码部3020、CT信息解码部3021以及CU解码部3022(预测模式解码部),CU解码部3022还具备TU解码部3024。也可以将它们统称为解码模块。报头解码部3020从编码数据解码VPS、SPS、PPS等参数集信息、切片报头(切片信息)。CT信息解码部3021从编码数据解码CT。CU解码部3022从编码数据解码CU。TU解码部3024在TU中包括预测误差的情况下,从编码数据解码QP更新信息(量化校正值)和量化预测误差(residual_coding)。
此外,参数解码部302构成为包括帧间预测参数解码部303和帧内预测参数解码部304。预测图像生成部308构成为包括帧间预测图像生成部309和帧内预测图像生成部310。
此外,在下文中对将CTU、CU用作处理单位的示例进行了记载,但不限于此,也可以以子CU为单位进行处理。或者,也可以设为将CTU、CU替换为块,将子CU替换为子块,以块或子块为单位进行的处理。
熵解码部301对从外部输入的编码流Te进行熵解码,分离各个代码(语法要素)并进行解码。分离后的代码中存在用于生成预测图像的预测信息和用于生成差分图像的预测误差等。熵解码部301将分离后的代码输出至参数解码部302。
(帧内预测参数解码部304的构成)
帧内预测参数解码部304基于从熵解码部301输入的代码,参照存储于预测参数存储器307的预测参数来对帧内预测参数进行解码,例如对帧内预测模式IntraPredMode进行解码。帧内预测参数解码部304将解码后的帧内预测参数输出至预测图像生成部308,再存储于预测参数存储器307。帧内预测参数解码部304也可以推导出在亮度和色差上不同的帧内预测模式。
图8是表示参数解码部302的帧内预测参数解码部304的构成的概略图。如图8所示,帧内预测参数解码部304构成为包括:参数解码控制部3041、亮度帧内预测参数解码部3042以及色差帧内预测参数解码部3043。
参数解码控制部3041对熵解码部301指示语法要素的解码,从熵解码部301接收语法要素。在其中的intra_luma_mpm_flag为1的情况下,参数解码控制部3041向亮度帧内预测参数解码部3042内的MPM参数解码部30422输出mpm_idx。此外,在intra_luma_mpm_flag为0的情况下,参数解码控制部3041向亮度帧内预测参数解码部3042的非MPM参数解码部30423输出mpm_remainder。此外,参数解码控制部3041向色差帧内预测参数解码部3043输出色差的帧内预测参数intra_chroma_pred_mode。
亮度帧内预测参数解码部3042构成为包括:MPM候选列表推导部30421、MPM参数解码部30422以及非MPM参数解码部30423(解码部、推导部)。
MPM参数解码部30422参照由MPM候选列表推导部30421推导出的MPM候选列表mpmCandList[]和mpm_idx来推导出亮度预测模式IntraPredModeY,输出至帧内预测图像生成部310。
非MPM参数解码部30423从MPM候选列表mpmCandList[]和mpm_remainder推导出IntraPredModeY,输出至帧内预测图像生成部310。
色差帧内预测参数解码部3043从intra_chroma_pred_mode推导出色差预测模式IntraPredModeC,输出至帧内预测图像生成部310。
环路滤波器305是设于编码环路内的滤波器,是去除块失真、振铃失真来改善画质的滤波器。环路滤波器305对加法部312所生成的CU的解码图像实施去块滤波、取样自适应偏移(SAO)、自适应环路滤波(ALF)等滤波。
参照图片存储器306将加法部312所生成的CU解码图像按每个对象图片和对象CU存储于预定的位置。
预测参数存储器307将预测参数按每个解码对象的CTU或CU存储于预定的位置。具体而言,预测参数存储器307存储由参数解码部302解码后的参数和由熵解码部301分离后的预测模式predMode等。
预测图像生成部308被输入预测模式predMode、预测参数等。此外,预测图像生成部308从参照图片存储器306中读出参照图片。预测图像生成部308在预测模式predMode所指示的预测模式下,使用预测参数和读出的参照图片(参照图片块)来生成块或子块的预测图像。在此,参照图片块是指参照图片上的像素的集合(通常为矩形,因此称为块),是为了生成预测图像而参照的区域。
(帧内预测图像生成部310)
在预测模式predMode指示帧内预测模式的情况下,帧内预测图像生成部310使用从帧内预测参数解码部304输入的帧内预测参数和从参照图片存储器306中读出的参照像素来进行帧内预测。
具体而言,帧内预测图像生成部310从参照图片存储器306中读出对象图片上的距离对象块预定的范围的邻接块。预定的范围是在对象块的左、左上、上、右上的邻接块,根据帧内预测模式参照的区域不同。
帧内预测图像生成部310参照读出的解码像素值和IntraPredMode所指示的预测模式来生成对象块的预测图像。帧内预测图像生成部310将生成的块的预测图像输出至加法部312。
以下,对基于帧内预测模式的预测图像的生成进行说明。在Planar预测、DC预测、Angular预测中,将与预测对象块邻接(接近)的已解码的周边区域设定为参照区域R。然后,通过将参照区域R上的像素外插至特定的方向来生成预测图像。例如,参照区域R可以设定为包括预测对象块的左和上(或者进一步左上、右上、左下)的L字型的区域(例如由图9的(a)的斜线的圆形标记的像素表示的区域)。
(预测图像生成部的详细内容)
接着,使用图10对帧内预测图像生成部310的构成的详细内容进行说明。帧内预测图像生成部310具备:预测对象块设定部3101、未滤波参照图像设定部3102(第一参照图像设定部)、已滤波参照图像设定部3103(第二参照图像设定部)、预测部3104以及预测图像校正部3105(预测图像校正部、滤波器切换部、加权系数变更部)。
预测部3104基于应用参照区域R上的各参照像素(未滤波参照图像)、参照像素滤波器(第一滤波器)生成的已滤波参照图像、帧内预测模式生成预测对象块的临时预测图像(校正前预测图像),并输出至预测图像校正部3105。预测图像校正部3105根据帧内预测模式来修正临时预测图像,生成预测图像(已校正的预测图像)并输出。
以下,对帧内预测图像生成部310所具备的各部进行说明。
(预测对象块设定部3101)
预测对象块设定部3101将对象CU设定为预测对象块,输出与预测对象块有关的信息(预测对象块信息)。预测对象块信息中至少包括预测对象块的大小、位置、表示亮度或色差的索引。
(未滤波参照图像设定部3102)
未滤波参照图像设定部3102基于预测对象块的大小和位置将预测对象块的邻接周边区域设定为参照区域R。接着,对参照区域R内的各像素值(未滤波参照图像、边界像素)设置在参照图片存储器306上对应的位置的各解码像素值。图9的(a)所示的与预测对象块上边邻接的解码像素的行r[x][-1]和与预测对象块左边邻接的解码像素的列r[-1][y]为未滤波参照图像。
(已滤波参照图像设定部3103)
已滤波参照图像设定部3103根据帧内预测模式对未滤波参照图像应用参照像素滤波器(第一滤波器),推导出参照区域R上的各位置(x,y)的已滤波参照图像s[x][y]。具体而言,对位置(x,y)和其周边的未滤波参照图像应用低通滤波器,推导出已滤波参照图像(图9的(b))。需要说明的是,不一定对全部帧内预测模式应用低通滤波器,也可以对一部分帧内预测模式应用低通滤波器。需要说明的是,将在已滤波参照像素设定部3103中对参照区域R上的未滤波参照图像应用的滤波器称为“参照像素滤波器(第一滤波器)”,与之相对,将在后述的预测图像校正部3105中对临时预测图像进行校正的滤波器称为“边界滤波器(第二滤波器)”。(帧内预测部3104的构成)
帧内预测部3104基于帧内预测模式、未滤波参照图像以及已滤波参照像素值生成预测对象块的临时预测图像(临时预测像素值、校正前预测图像),输出至预测图像校正部3105。预测部3104在内部具备:Planar(平面)预测部31041、DC预测部31042、Angular(角度)预测部31043以及CCLM预测部(预测图像生成装置)31044。预测部3104根据帧内预测模式来选择特定的预测部,输入未滤波参照图像、已滤波参照图像。帧内预测模式与对应的预测部的关系如下所示。
·Planar预测···Planar预测部31041
·DC预测···DC预测部31042
·Angular预测 ···Angular预测部31043
·CCLM预测···CCLM预测部31044
(Planar预测)
Planar预测部31041根据预测对象像素位置与参照像素位置的距离,对多个已滤波参照图像进行线性相加生成临时预测图像,输出至预测图像校正部3105。
(DC预测)
DC预测部31042推导出相当于已滤波参照图像s[x][y]的平均值的DC预测值,输出将DC预测值作为像素值的临时预测图像q[x][y]。
(Angular预测)
Angular预测部31043使用帧内预测模式所指示的预测方向(参照方向)的已滤波参照图像s[x][y]生成临时预测图像q[x][y],输出至预测图像校正部3105。
(CCLM(Cross-Component Linear Model)预测)
CCLM预测部31044基于亮度的像素值来预测色差的像素值。具体而言,是基于解码后的亮度图像,使用线性模型来生成色差图像(Cb、Cr)的预测图像的方式。
(预测图像校正部3105的构成)
预测图像校正部3105根据帧内预测模式对从预测部3104输出的临时预测图像进行修正。具体而言,预测图像校正部3105针对临时预测图像的各像素,根据参照区域R与对象预测像素的距离,对未滤波参照图像和临时预测图像进行加权相加(加权平均),由此推导出对临时预测图像进行修正后的预测图像(已校正预测图像)Pred。需要说明的是,在一部分帧内预测模式(例如,Planar预测、DC预测等)下,可以不通过预测图像校正部3105校正临时预测图像,而将预测部3104的输出直接作为预测图像。
逆量化/逆变换部311将从熵解码部301输入的量化变换系数逆量化来求出变换系数。该量化变换系数是在编码处理中对预测误差进行DCT(Discrete Cosine Transform、离散余弦变换)、DST(Discrete Sine Transform、离散正弦变换)等频率变换并量化而得到的系数。逆量化/逆变换部311对求出的变换系数进行逆DCT、逆DST等逆频率变换,计算预测误差。逆量化/逆变换部311将预测误差输出至加法部312。
加法部312按每个像素将从预测图像生成部308输入的块的预测图像与从逆量化/逆变换部311输入的预测误差相加,生成块的解码图像。加法部312将块的解码图像存储于参照图片存储器306,并向环路滤波器305输出。
(运动图像编码装置的构成)
接着,对本实施方式的运动图像编码装置11的构成进行说明。图14是表示本实施方式的运动图像编码装置11的构成的框图。运动图像编码装置11构成为包括:预测图像生成部101、减法部102、变换/量化部103、逆量化/逆变换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参照图片存储器(参照图像存储部、帧存储器)109、编码参数确定部110、参数编码部111以及熵编码部104。
预测图像生成部101按将每个图像T的各图片分割而成的区域即CU生成预测图像。预测图像生成部101进行与已说明的预测图像生成部308相同的动作,在此省略其说明。
减法部102从图像T的像素值中减去从预测图像生成部101输入的块的预测图像的像素值,生成预测误差。减法部102将预测误差输出至变换/量化部103。
变换/量化部103对从减法部102输入的预测误差,通过频率变换计算出变换系数,并通过量化推导量化变换系数。变换/量化部103将量化变换系数输出至熵编码部104和逆量化/逆变换部105。
逆量化/逆变换部105与运动图像解码装置31中的逆量化/逆变换部311(图7)相同,在此省略其说明。计算出的预测误差输入至加法部106。
熵编码部104中,从变换/量化部103输入量化变换系数,从参数编码部111输入编码参数。在编码参数中,例如有参照图片索引refIdxLX、预测矢量索引mvp_LX_idx、差分矢量mvdLX、运动矢量精度模式amvr_mode、预测模式predMode以及合并索引merge_idx等的代码。
熵编码部104对分割信息、预测参数、量化变换系数等进行熵编码生成编码流Te并输出。
参数编码部111具备:未图示的标头编码部1110、CT信息编码部1111、CU编码部1112(预测模式编码部)以及帧间预测参数编码部112和帧内预测参数编码部113。CU编码部1112还具备TU编码部1114。
(帧内预测参数编码部113的构成)
帧内预测参数编码部113根据从编码参数确定部110输入的帧内预测模式IntraPredMode,推导出用于编码的形式(例如mpm_idx、mpm_remainder等)。帧内预测参数编码部113包括与由帧内预测参数解码部304推导出帧内预测参数的构成部分相同的构成。
图15是表示参数编码部111的帧内预测参数编码部113的构成的概略图。帧内预测参数编码部113构成为包括:参数编码控制部1131、亮度帧内预测参数推导部1132以及色差帧内预测参数推导部1133。
从编码参数确定部110向参数编码控制部1131输入亮度预测模式IntraPredModeY和色差预测模式IntraPredModeC。参数编码控制部1131参照参照候选列表推导部30421的MPM候选列表mpmCandList[]来确定intra_luma_mpm_flag。然后,将intra_luma_mpm_flag和IntraPredModeY输出至亮度帧内预测参数推导部1132。此外,将IntraPredModeC输出至色差帧内预测参数推导部1133。
亮度帧内预测参数推导部1132构成为包括:MPM候选列表推导部30421(候选列表推导部)、MPM参数推导部11322(参数推导部)以及非MPM参数推导部11323(编码部、推导部)。
MPM候选列表推导部30421参照储存于预测参数存储器108的邻接块的帧内预测模式推导出MPM候选列表mpmCandList[]。MPM参数推导部11322在intra_luma_mpm_flag为1的情况下从IntraPredModeY和mpmCandList[]推导出mpm_idx,并输出至熵编码部104。非MPM参数推导部11323在intra_luma_mpm_flag为0的情况下从IntraPredModeY和mpmCandList[]推导出mpm_remainder,并输出至熵编码部104。
色差帧内预测参数推导部1133从IntraPredModeY和IntraPredModeC推导出intra_chroma_pred_mode并输出。
加法部106将从预测图像生成部101输入的块预测图像的像素值和从逆量化/逆变换部105输入的预测误差按每个像素相加来生成解码图像。加法部106将生成的解码图像存储于参照图片存储器109。
环路滤波器107对加法部106所生成的解码图像,实施去块滤波、SAO、ALF。需要说明的是,环路滤波器107不一定包括上述三种滤波器,例如也可以是仅包括去块滤波器的构成。
预测参数存储器108将编码参数确定部110所生成的预测参数按每个对象图片和CU存储于预定的位置。
参照图片存储器109将环路滤波器107所生成的解码图像按每个对象图片和CU每存储于预定的位置。
编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是指上述的QT、BT或TT分割信息、预测参数或与它们关联生成的作为编码对象的参数。预测图像生成部101使用这些编码参数来生成预测图像。
编码参数确定部110对多个集合的每一个集合计算出表示信息量的大小和编码误差的RD成本值。RD成本值例如是代码量与平方误差乘以系数λ而得到的值之和。编码参数确定部110选择计算出的成本值为最小的编码参数的集合。由此,熵编码部104将所选出的编码参数的集合作为编码流Te输出。编码参数确定部110将所确定的编码参数存储于预测参数存储器108。
需要说明的是,可以通过计算机实现上述的实施方式中的运动图像编码装置11、运动图像解码装置31中的一部分,例如,熵解码部301、参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、环路滤波器107、编码参数确定部110以及参数编码部111。在该情况下,可以通过将用于实现该控制功能的程序记录于计算机可读记录介质,使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是,在此提到的“计算机系统”是指内置于运动图像编码装置11、运动图像解码装置31中的任一个的计算机系统,采用包括OS、外围设备等硬件的计算机系统。此外,“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且,“计算机可读记录介质”也可以包括:像经由互联网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的记录介质;以及像作为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样保存程序固定时间的记录介质。此外,上述程序可以是用于实现上述功能的一部分的程序,也可以是能通过与已记录在计算机系统中的程序进行组合来实现上述功能的程序。
此外,也可以将上述的实施方式中的运动图像编码装置11、运动图像解码装置31中的一部分或全部作为LSI(Large Scale Integration:大规模集成电路)等集成电路而实现。运动图像编码装置11、运动图像解码装置31的各功能块可以单独地处理器化,也可以将一部分或全部集成来处理器化。此外,集成电路化的方法并不限于LSI,也可以通过专用电路或通用处理器来实现。此外,在随着半导体技术的进步而出现代替LSI的集成电路化的技术的情况下,也可以使用基于该技术的集成电路。
以上,参照附图对该发明的一实施方式详细地进行了说明,但具体构成并不限于上述实施方式,在不脱离该发明的主旨的范围内,可以进行各种设计变更等。
〔应用例〕
上述运动图像编码装置11和运动图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是,运动图像可以是通过摄像机等拍摄的自然运动图像,也可以是通过计算机等生成的人工运动图像(包括CG和GUI)。
首先,参照图2对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的发送和接收的情况进行说明。
图2的(a)是表示搭载有运动图像编码装置11的发送装置PROD_A的构成的框图。如图2的(a)所示,发送装置PROD_A具备:通过对运动图像进行编码而得到编码数据的编码部PROD_A1、通过利用编码部PROD_A1所得到的编码数据对载波进行调制而得到调制信号的调制部PROD_A2以及发送调制部PROD_A2所得到的调制信号的发送部PROD_A3。上述的运动图像编码装置11被用作该编码部PROD_A1。
作为输入至编码部PROD_A1的运动图像的供给源,发送装置PROD_A也可以进一步具备:拍摄运动图像的摄像机PROD_A4、记录有运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6以及生成或加工图像的图像处理部A7。在图2的(a)中举例示出了发送装置PROD_A具备全部这些的构成,但也可以省略一部分。
需要说明的是,记录介质PROD_A5可以是记录有未被编码的运动图像的介质,也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行编码后的运动图像的介质。在后者的情况下,使按照记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)介于记录介质PROD_A5与编码部PROD_A1之间为好。
图2的(b)是表示搭载有运动图像解码装置31的接收装置PROD_B的构成的框图。如图2的(b)所示,接收装置PROD_B具备:接收调制信号的接收部PROD_B1、通过对接收部PROD_B1所接收到的调制信号进行解调而得到编码数据的解调部PROD_B2以及通过对解调部PROD_B2所得到的编码数据进行解码而得到运动图像的解码部PROD_B3。上述的运动图像解码装置31被用作该解码部PROD_B3。
接收装置PROD_B作为解码部PROD_B3所输出的运动图像的供给目的地,也可以进一步具备显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5以及用于将运动图像输出至外部的输出端子PROD_B6。在图2的(b)中举例示出了接收装置PROD_B具备全部这些的构成,但也可以省略一部分。
需要说明的是,记录介质PROD_B5可以是用于记录未被编码的运动图像的介质,也可以是以与传输用的编码方式不同的记录用的编码方式编码后的介质。在后者的情况下,使按照记录用的编码方式对从解码部PROD_B3获取到的运动图像进行编码的编码部(未图示)介于解码部PROD_B3与记录介质PROD_B5之间为好。
需要说明的是,传输调制信号的传输介质可以是无线的,也可以是有线的。此外,传输调制信号的传输方案可以是广播(在此,指发送目的地未预先确定的发送方案),也可以是通信(在此,指发送目的地已预先确定的发送方案)。即,调制信号的传输可以通过无线广播、有线广播、无线通信以及有线通信中的任一个来实现。
例如,地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。此外,有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。
此外,使用互联网的VOD(Video On Demand:视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例(通常,在LAN中使用无线或有线的任一个作为传输介质,在WAN中使用有线作为传输介质)。在此,个人计算机包括台式PC、膝上型PC以及平板型PC。此外,智能手机中也包括多功能便携电话终端。
需要说明的是,运动图像共享服务的客户端除了对从服务器下载的编码数据进行解码并显示于显示器的功能以外,还具有对通过摄像机拍摄到的运动图像进行编码并上传至服务器的功能。即,运动图像共享服务的客户端发挥发送装置PROD_A和接收装置PROD_B这两方的功能。
接着,参照图3,对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的记录和再现的情况进行说明。
图3的(a)是表示搭载有上述的运动图像编码装置11的记录装置PROD_C的构成的框图。如图3的(a)所示,记录装置PROD_C具备:通过对运动图像进行编码而得到编码数据的编码部PROD_C1和将编码部PROD_C1所得到的编码数据写入记录介质PROD_M的写入部PROD_C2。上述的运动图像编码装置11被用作该编码部PROD_C1。
需要说明的是,记录介质PROD_M可以是(1)如HDD(Hard Disk Drive:硬盘驱动器)、SSD(Solid State Drive:固态硬盘)等那样内置于记录装置PROD_C的类型的记录介质,也可以是(2)如SD存储卡、USB(Universal Serial Bus:通用串行总线)闪存等那样连接于记录装置PROD_C的类型的记录介质,还可以是(3)如DVD(Digital Versatile Disc:数字通用光盘、注册商标)、BD(Blu-ray Disc:蓝光光盘、注册商标)等那样装填至内置于记录装置PROD_C的驱动装置(未图示)的记录介质。
此外,作为输入至编码部PROD_C1的运动图像的供给源,记录装置PROD_C也可以进一步具备:拍摄运动图像的摄像机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5以及生成或加工图像的图像处理部PROD_C6。在图3的(a)中举例示出了记录装置PROD_C具备全部这些的构成,但也可以省略一部分。
需要说明的是,接收部PROD_C5可以接收未被编码的运动图像,也可以接收以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下,使对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)介于接收部PROD_C5与编码部PROD_C1之间为好。
作为这种记录装置PROD_C,例如可举出:DVD记录器、BD记录器、HDD(Hard DiskDrive)记录器等(在该情况下,输入端子PROD_C4或接收部PROD_C5为运动图像的主要的供给源)。此外,便携式摄像机(在该情况下,摄像机PROD_C3为运动图像的主要的供给源)、个人计算机(在该情况下,接收部PROD_C5或图像处理部C6为运动图像的主要的供给源)、智能手机(在该情况下,摄像机PROD_C3或接收部PROD_C5为运动图像的主要的供给源)等也是这种记录装置PROD_C的一个示例。
图3的(b)是表示搭载有上述的运动图像解码装置31的再现装置PROD_D的构成的框图。如图3的(b)所示,再现装置PROD_D具备:读出已写入记录介质PROD_M的编码数据的读出部PROD_D1和通过对读出部PROD_D1所读出的编码数据进行解码而得到运动图像的解码部PROD_D2。上述的运动图像解码装置31被用作该解码部PROD_D2。
需要说明的是,记录介质PROD_M可以是(1)如HDD、SSD等那样内置于再现装置PROD_D的类型的记录介质,也可以是(2)如SD存储卡、USB闪存等那样连接于再现装置PROD_D的类型的记录介质,也可以是(3)如DVD、BD等那样装填至内置于再现装置PROD_D的驱动装置(未图示)的记录介质。
此外,作为解码部PROD_D2所输出的运动图像的供给目的地,再现装置PROD_D也可以进一步具备:显示运动图像的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4以及发送运动图像的发送部PROD_D5。在图3的(b)中举例示出了再现装置PROD_D具备全部这些的构成,但也可以省略一部分。
需要说明的是,发送部PROD_D5可以发送未被编码的运动图像,也可以发送以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下,使以传输用的编码方式对运动图像进行编码的编码部(未图示)介于解码部PROD_D2与发送部PROD_D5之间为好。
作为这种再现装置PROD_D,例如可列举出DVD播放器、BD播放器、HDD播放器等(在该情况下,连接有电视接收机等的输出端子PROD_D4为运动图像的主要供给目的地)。此外,电视接收机(在该情况下,显示器PROD_D3为运动图像的主要供给目的地)、数字标牌(也称为电子看板、电子公告板等,显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、台式PC(在该情况下,输出端子PROD_D4或发送部PROD_D5为运动图像的主要供给目的地)、膝上型或平板型PC(在该情况下,显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、智能手机(在该情况下,显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)等也是这种再现装置PROD_D的一个示例。
(色差帧内预测模式)
接着,参照图11~14对CCLM预测进行说明。
帧内预测参数解码部304在进行上述的色差预测模式IntraPredModeC的推导时,参照亮度预测模式IntraPredModeY、intra_chroma_pred_mode以及图11的(b)的表。图11的(b)示出IntraPredModeC的推导方法。在intra_chroma_pred_mode为0~3以及7的情况下,依赖于IntraPredModeY的值推导出IntraPredModeC。例如,在intra_chroma_pred_mode为0,IntraPredModeY为0的情况下,IntraPredModeC为66。此外,在intra_chroma_pred_mode为3,IntraPredModeY为50的情况下,IntraPredModeC为1。需要说明的是,IntraPredModeY、IntraPredModeC的值表示图6的帧内预测模式。在intra_chroma_pred_mode为4~6的情况下,不依赖于IntraPredModeY的值地推导出IntraPredModeC。intra_chroma_pred_mode=81(INTRA_LT_CCLM)、82(INTRA_L_CCLM)、83(INTRA_T_CCLM)分别是基于上和左邻接块的亮度图像生成色差图像的预测图像的模式、基于左邻接块的亮度图像生成色差图像的预测图像的模式、基于上邻接块的亮度图像生成色差图像的预测图像的模式。
以下,对CCLM预测进行说明。在图中,通过pY[][]和pRefY[][]表示亮度图像的对象块和邻接块。对象块的宽度为bW、高度为bH。
CCLM预测部31044(未滤波参照图像设定部3102)将图13的(a)~(c)的亮度邻接图像pRefY[][]和图13的(e)的色差邻接图像pRefC[][]用作参照区域推导出CCLM预测参数。CCLM预测部31044使用亮度对象图像pRef[]推导出色差的预测图像。
CCLM预测部31044在intra_chroma_pred_mode为81(INTRA_LT_CCLM)的情况下,如图13的(a)所示,使用对象块的上和左邻接块的像素值推导出CCLM预测参数,在intra_chroma_pred_mode为82(INTRA_L_CCLM)的情况下,如图13的(b)所示,使用左邻接块的像素值推导出CCLM预测参数,在intra_chroma_pred_mode为83(INTRA_T_CCLM)的情况下,如图13的(c)所示,使用上邻接块的像素值推导出CCLM预测参数。各区域的大小可以如下所示。在图13的(a)中,对象块的上侧的宽度为bW,高度为refH(refH>1),对象块的左侧的高度为bH,宽度为refW(refW>1)。在图13的(b)中,高度为2*bH,宽度为refW。在图13的(c)中,宽度为2*bW,高度为refH。为了实施下采样处理,可以使refW、refH与下采样滤波器的抽头数匹配地设定为大于1的值。此外,在图13的(e)中,通过pC[][]和pRefC[][]表示色差图像(Cb、Cr)的对象块和邻接块。对象块的宽度为bWC、高度为bHC。
(CCLM预测部)
基于图11,对CCLM预测部31044进行说明。图11是表示CCLM预测部31044的构成的一个示例的框图。CCLM预测部31044包括:下采样部310441、CCLM预测参数推导部(参数推导部)310442以及CCLM预测滤波部310443。
下采样部310441对pRefY[][]和pY[][]进行下采样,以匹配色差图像的大小。在色差格式为4∶2∶0的情况下,将pRefY[][]和pY[][]的水平、垂直方向的像素数采样为2∶1,将结果储存于图13的(d)的pRefDsY[][]、pDsY[][]。需要说明的是,bW/2、bH/2分别等于bWC、bHC。在色差格式为4∶2∶2的情况下,将pRefY[][]和pY[][]的水平方向的像素数采样为2∶1,将结果储存于pRefDsY[][]、pDsY[][]。在色差格式为4∶4∶4的情况下,不实施采样,将pRefY[][]和pY[][]储存于pRefDsY[][]、pDsY[][]。通过以下算式表示采样的一个示例。
pDsY[x][y]=(pY[2*x-1][2*y]+pY[2*x-1][2*y+1]+2*pY[2*x][2*y]+2*pY[2*x][2*y+1]+pY[2*x+1][2*y]+pY[2*x+1][2*y+1]+4)>>3
pRefDsY[x][y]=(pRefY[2*x-1][2*y]+pRefY[2*x-1][2*y+1]+2*pRefY[2*x][2*y]+2*pRefY[2*x][2*y+1]+pRefY[2*x+1][2*y]+pRefY[2*x+1][2*y+1]+4)>>3
CCLM预测滤波部310443将参照图像refSamples[][]作为输入信号,使用CCLM预测参数(a,b)输出预测图像predSamples[][]。
predSamples[][]=((a*refSamples[][])>>shiftA)+b(CCLM-1)
在此,refSamples为图13的(d)的pDsY,(a,b)为通过CCLM预测参数推导部310442推导出的CCLM预测参数,predSamples[][]为色差预测图像(图13的(e)的pC)。需要说明的是,分别推导(a,b)用于Cb、Cr。此外,shiftA是表示a值的精度的归一化移位数,在将小数精度的斜率设置为af时a=af<<shiftA。例如shiftA=16。
图12表示根据亮度预测色差的CCLM预测滤波部310443的构成。如图12所示,CCLM预测滤波部310443具备线性预测部310444。线性预测部310444将refSamples[][]作为输入信号,使用CCLM预测参数(a,b)输出predSamples[][]。
更详细而言,线性预测部310444通过使用了CCLM预测参数(a,b)的下述的算式,根据亮度Y推导出色差Cb或Cr,使用该色差Cb或Cr输出predSamples[][]。
Cb(或Cr)=aY+b
CCLM预测参数推导部310442将亮度的下采样后的邻接块pRefY(图13的(d)的pRefDsY[][])和色差的邻接块pRefC[][](图13的(e)的pRefC[][])作为输入信号来推导出CCLM预测参数。CCLM预测参数推导部310442将推导出的CCLM预测参数(a,b)输出至CCLM预测滤波部310443。
(CCLM预测参数推导部)
CCLM预测参数推导部310442推导出根据参照块refSamples[][]对对象块的预测块predSamples[][]进行线性预测的情况下的CCLM预测参数(a,b)。
在CCLM预测参数(a,b)的推导中,CCLM预测参数推导部310442从邻接块(亮度值Y、色差值C)的组中推导出亮度值Y为最大(Y_MAX)的点(x1,y1)和亮度值Y为最小(Y_MIN)的点(x2,y2)。接着,将与pRefDsY上的(x1,y1)、(x2,y2)对应的pRefC上的(x1,y1)、(x2,y2)的像素值分别设为C_MAX(或C_Y_MAX)、C_MIN(或C_Y_MIN)。然后,如图14所示,求出在分别以Y和C为x、y轴的图上连接(Y_MAX,C_MAX)和(Y_MIN,C_MIN)的直线。该直线的CCLM预测参数(a,b)能通过以下的算式推导。
a=(C_MAX-C_MIN)/(Y_MAX-Y_MIN)
b=C_MIN-(a*Y_MIN)
在使用该(a,b)的情况下,算式(CCLM-1)的shiftA=0。
在此,在色差为Cb的情况下,(C_MAX,C_MIN)为Cb的邻接块pRefCb[][]的(x1,y1)、(x2,y2)的像素值,在色差为Cr的情况下,(C_MAX,C_MIN)为Cr的邻接块pRefCr[][]的(x1,y1)、(x2,y2)的像素值。
需要说明的是,除法的计算成本高,因此,通过整数运算和表参照代替除法来推导出CCLM预测参数(a,b)。具体而言通过以下的算式求出。需要说明的是,在下述的实施方式中,利用在1/d的除法所需的倒数表中将d=0的情况除外的表(将d=diff-1设为自变量的表),但当然也可以使用将d=diff设为自变量的表。
ChromaDelta=C_MAX-C_MIN
low=(ChrmaDelta*LMDivTableLow[diff-1]+2^15)>>16
a=(ChromaDelta*LMDivTable[diff-1]+low+add)>>shiftB
b=C_MIN-((a*Y_MIN)>>shiftA)
diff=(Y_MAX-Y_MIN+add)>>shiftB
shiftB=(BitDepthC>8)?
(BitDepthC-9):0
add=(shiftB>0)?1<<(shiftB-1):0
其中,在diff=0的情况下,设置为a=0。在此,LMDivTableLow[]、LMDivTable[]是用于通过参照表执行除法的表(倒数、倒数表),通过以下算式预先进行推导。换言之,表中所保持的值为推导值(与除数的倒数对应的值)。即,在表中将差分值和推导值建立对应地进行保持。此外,shiftB为用于对根据比特深度而不同的diff的值域进行量化使其为2^9=512以下的移位值。需要说明的是,在色差图像的比特深度BitDepthC为10bit以上的情况下预先进行量化,使diff在0~512的范围内。shiftB不限于上述。例如,可以使用规定的常数Q(例如2、6等)如下所示地进行。在其他的实施例中也是同样的。
shiftB=BitDepthC-Q
LMDivTable[diff-1]=floor(2^16/diff)
LMDivTableLow[diff-1]=floor((2^16*2^16)/diff)-floor(2^16/diff)*2^16
LMDivTable[diff-1]表示(1/diff*2^16)的整数部分。LMDivTableLow[diff-1]表示(1/diff*2^16)的小数部分的2^16倍。此外,a和b为上述的算式(C=a*Y+b)的值的2^16倍(2的16次方)。
例如,如果diff=7,则如下所示。
LMDivTable[7-1]=floor(2^16/7)=9362
LMDivTableLow[7-1]=floor((2^16*2^16)/7)-floor(2^16/7)*2^16=18724
在使用通过上述算式推导出的(a,b)的情况下,算式(CCLM-1)的shiftA为16。
(CCLM预测部中的具体的处理)
(处理例1)
在上述的实施方式中,CCLM预测参数推导部310442使用了表现1/diff的整数部分的表LMDivTable和表现1/diff的小数部分的表LMDivTableLow,用于推导CCLM预测参数。在此,表LMDivTable的最大值为65536(17bit),表LMDivTableLow的最大值为65140(16bit)。表的要素数分别为512个要素,因此,需要17*512+16*512=16896(bit)这样非常大的存储器大小,用于储存表LMDivTable和表LMDivTableLow。
在本处理例中,CCLM预测参数推导部310442不使用两个表中的表现1/diff的小数部分的表LMDivTableLow地推导出CCLM预测参数。即,CCLM预测参数推导部310442通过以下的算式推导出CCLM预测参数(a,b)。
a=(ChromaDelta*LMDivTable[diff-1]+add)>>shiftB
b=C_MIN-((a*Y_MIN)>>shiftA)
add=(shiftB>0)?1<<(shiftB-1):0
发明人们通过实验确认了关于CCLM预测仅通过一个表LMDivTable就具有充分的性能。
由此,由于无需储存表LMDivTableLow,因此能使储存表所需的存储量大致减半。此外,由于无需用于推导div的运算,因此也能减轻处理负荷。
如上所述,本处理的CCLM预测部31044通过CCLM预测生成预测图像,其具备CCLM预测参数推导部310442,使用与多个亮度参照像素的差分值和用于根据该差分值推导出CCLM预测参数的推导值建立了对应的表LMDivTable推导出CCLM预测参数,上述表LMDivTable保持将差分值的倒数乘以规常数而得到的值的整数部分。
由此,能削减CCLM预测参数的推导所需的表的存储量。
(处理例2)
在本处理例中,使CCLM预测参数推导部310442所使用的表LMDivTable的比特数(比特宽度)减少。
在上述的实施方式中,表LMDivTable的值为(1/diff)*65536的整数部分,因此如下所示。
65536、32768、21845、16384、13107、10922、9362、8192、7281、6553、5957、5461、5041、4681、4369、4096、3855、3640、3449、3276、3120、2978、2849、2730、2621、2520、2427、2340、2259、2184、2114、2048......
在本处理例中,将上述的各值的尾数部分(mantissa,m)在通过P比特表示的指数表现(m*2^exp)中近似,仅将尾数部分保持在表DivTableM中。例如,在设为P=5的情况下,倒数表的值如下所示。
16*2^12、16*2^11、21*2^10、16*2^10、26*2^9、21*2^9、18*2^9、16*2^9、28*2^8、26*2^8、23*2^8、21*2^8、20*2^8、18*2^8、17*2^8、16*2^8、30*2^7、28*2^7、27*2^7、26*2^7、24*2^7、23*2^7、22*2^7、21*2^7、20*2^7、20*2^7、19*2^7、18*2^7、18*2^7、17*2^7、17*2^7、16*2^7......
在表DivTableM中,仅保持这些值的尾数部分。即,
DivTableM[]={16,16,21,16,26,21,18,16,28,26,23,21,20,18,17,16,30,28,27,26,24,23,22,21,20,20,19,18,18,17,17,16......}
由此,在上述实施方式中能通过5bit表现最大需要17bit的各值,能削减储存表DivTableM所需的存储量。
需要说明的是,在将所保持的个数设为从表的前头起2^N个的情况下,表DivTableM的最小值为2^(P-1),因此,可以将从各值中减去2^(P-1)而得到的值保持在表DivTableM中,将从该表获得的值加上2^(P-1)推导出上述值。在该情况下,能对每个值进一步减少1bit所需的内存。以下,将在所保持的个数设为从表的前头起2^N个的情况下的表DivTableM的偏移值称为offsetM。在使用减去偏移的表的情况下,offsetM=2^(P-1)。在除此以外的情况下,offsetM=0。
此外,在通过指数表现(1/diff)*(2^16)的整数部分,仅保持倒数表的尾数部分的情况下,需要推导指数部分的值。在本处理例中,CCLM预测参数推导部310442根据以下的算式推导出指数部分的值。
exp=clz(d,N)+(16-N-(P-1))
在此,d=diff-1(亮度的差分),exp表示指数部分(exponent),N表示保持为表的要素的个数。例如,如果N=9,则保持512个要素,如果N=5,则保持32个要素。此外,“16”是1/diff的精度,即用于将1/diff转换成整数表现的乘数的比特数。在上述的实施方式中,乘以65536(=2^16)进行计算,以按照整数精度推导出1/diff的值。需要说明的是,1/diff的精度是任意的,在使用其他的值的情况下,也需要使其对应地变更“16”。
clz(count leading zeros:计数前导零)函数是由两个自变量(d,mw)构成的函数,返回从通过二进制数表现的第一自变量d的高位比特(MSB)连续的0的个数。第二自变量mw表示最大位数(比特数)。例如,如果P=5,则在d=1(0b00001,diff=2)的情况下(0b是表示二进制数的前缀),clz(1,mw)=4,在d=2(0b00010,diff=3)的情况下,clz(2,mw)=3。此外,在d=16(0b10000,diff=17)的情况下,clz(16,mw)=0。需要说明的是,在第一自变量d为0的情况下返回第二自变量mw。就是说,在d=0(0b00000,diff=1)的情况下,clz(0,mw)=mw。
需要说明的是,clz函数在多个CPU搭载有专用命令。在专用命令中,有时最大位数的指定限定于8、16、32等值,但是,例如在mw<=8的情况下,clz(d,mw)=clz(d,8)-(8-mw)。此外,专用命令不是必须的,例如,在clz(d,4)的情况下,可以由以下的算式来代替。
clz(d,4)=(d&0x08)?1:(d&0x04)?2:(d&0x02)?3:(d&0x01)?4:5
CCLM预测部31044使用根据d推导出的exp对由亮度差d(=diff-1)参照的DivTableM[d]与色差的差分ChromaDelta相乘而得到的值进行移位,由此推导出CCLM预测参数a。
a=(ChromaDelta*DivTableM[d]<<exp)+add)>>shiftB
b=C_MIN-((a*Y_MIN)>>shiftA)
在此,exp=clz(d,N)+(16-N-(P-1))=16-(P-1)-(N-clz(d,N))
对于(处理例1)的LMDivTable[d]、DivTableM[d]以及exp,以下的关系成立。
LMDivTable[d]=DivTableM[d]<<exp
需要说明的是,可以在如下所述地使用指数部分exp推导出移位数(shiftB-exp)之后推导出CCLM预测参数a。不过,以下,为了简单起见,设为在右比特移位运算和左比特移位运算的移位值为负的情况下将移位值的符号和移位方向反转。这对于其他的示例也是同样的。
a=(ChromaDelta*DivTableM[d]+add)>>(shiftB-exp)
在此,add=(shiftB-exp>0)?1<<(shiftB-exp-1):0
或者,CCLM预测参数推导部310442可以根据以下的算式推导出指数部分的值。
exp=16-(P-1)-ceil(log2(diff))
此外,也可以仅将指数部分保持为表ShiftTableE。例如,在发为P=5的情况下,表ShiftTableE[]如下:
ShiftTableE[]={12,11,10,10,9,9,9,9,8,8,8,8,8,8,8,8,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7......}。或者,可以使用如下所示的表ShiftTableE’[],
ShiftTableE’[]={0,1,2,2,3,3,3,3,4,4,4,4,4,4,4,4,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5......}
求出指数部分为:
exp=16-(P-1)-ShiftTableE’[d]。
如果最大位数mw为N以下,则也能使用表ShiftTableE和表ShiftTableE’来代替clz函数。
clz(d,mw)=mw-ShiftTableE’[d]=mw-(16-(P-1)-ShiftTableE[d]))
CCLM预测部31044使用表DivTableM和移位表ShiftTableE,通过以下算式推导出CCLM参数。
a=(ChromaDelta*DivTableM[d]<<ShiftTableE[d])+add)>>shiftBb=C_MIN-((a*Y_MIN)>>shiftA)
需要说明的是,可以如下所述地使用指数部分exp推导出移位数(shiftB-exp)之后推导出CCLM预测参数a。
a=(ChromaDelta*DivTableM[d]+add)>>(shiftB-exp)
在此,add=(shiftB-exp>0)?1<<(shiftB-exp-1):0,exp=ShiftTableE[d]
如上所述,本处理例的CCLM预测部31044通过CCLM预测生成预测图像,其具备CCLM预测参数推导部310442,使用亮度的差分值(d)、色差的差分值(ChromaDelta)以及倒数表DivTableM推导出CCLM预测参数a,CCLM预测参数推导部310442推导出与亮度的差分值(d)的倒数对应的指数部分exp,乘以表DivTableM的要素和色差的差分值,通过移位由指数部分exp推导出的移位数推导出CCLM预测参数。
能通过上述构成减少CCLM预测参数的推导所需的倒数表中所保持的值的比特数,削减所需的存储量。需要说明的是,如处理例1中所说明的那样,也可以不使用表LMDivTableLow,但在保持表LMDivTableLow的情况也可以同样生成将LMDivTableLow的各要素分为尾数部分和指数部分的表。
(对于积的比特量的补充)
如上所述,在CCLM中,在CCLM预测参数a、b的推导和使用了a和b的预测图像的生成中需要ChromaDelta*LMDivTable[diff-1]、a*Y_MIN以及a*refSamples[][]的积。
a=(ChromaDelta*LMDivTable[diff-1]+low+add)>>shiftB//11bit*17bit=28
b=C_MIN-((a*Y_MIN)>>shiftA)//27bit*10bit=37
predSamples[][]=((a*refSamples[][])>>shiftA)+b//27bit*10bit=37(参数a的比特宽度)
例如,在上述处理例1之前的计算中,在10bit图像中,ChromaDelta、a、Y_MIN、refSamples[][]的比特宽度分别为11bit、10bit、10bit、10bit,在shiftA=16时,LMDivTable[diff-1]和a的比特宽度分别为16bit和27bit(=11bit*16bit)。其结果是,a的推导、b的推导、使用了a的预测中的积分别为11bit*17bit、27bit*10bit、27bit*10bit和较大的比特宽度彼此的积,硬件较为复杂。
在处理例2中,a的推导中的ChromaDelta*DivTableM[d]的积降低至比处理例1小exp(=ShifiTableE[d])的比特宽度,因此起到简化积的效果。
(处理例3)
在上述的实施方式中,在进行CCLM预测所需的表LMDivTable(和LMDivTableLow)中储存了作为亮度的差分值diff可取的范围的1~512的512个要素的值。在本处理例中,减少表中所储存的要素数,通过计算推导出未保持的要素,由此削减所需的内存。
例如,CCLM预测参数推导部310442使用要素数为2^N个的表LMDivTable_2N推导出CCLM预测参数(a,b)。然后,CCLM预测参数推导部310442通过所储存的值的1/k来计算出未储存于表LMDivTable_2N的要素的值。LMDivTable_2N[]是储存有LMDivTable[]的前头的2^N个要素的表。
具体而言,参照图17进行说明。图17是用于说明计算表中未保持的要素的值的示例的图。在该示例中N=3。如图17所示,CCLM预测参数推导部310442对于表LMDivTable_2N的值所保持的d的区间D0[0..2^N-1](eg.0..7)直接使用表LMDivTable_2N的值,对于下一区间D1[2^N..2^(N+1)-1](eg.8..15)使用表LMDivTable_2N的D0的后半的区间D0’[2^N/2..2^(N+1)-1](eg.4..7)的值的1/2的值,对再下一区间D2[2^(N+1)..2^(N+2)-1](eg.16..31)使用表LMDivTable_2N的区间D0’(eg.4..7)的值的1/4的值,对其再下一区间D3[2^(N+2)..2^(N+3)-1](eg.32..63)也使用表LMDivTable_2N的区间D0’(eg.4..7)的值的1/8的值。此外,区间D1为区间D0’的宽度的2倍的宽度,区间D2为区间D0’的宽度的4倍的宽度,区间D3为区间D0’的宽度的8倍的宽度。就是说,区间Dsc[2^(N+sc-1)..2^(N+sc)-1]的各值为将区间D0’[2^N/2..2^(N+1)-1]的值乘以1/k而得到的值(在此K=2^sc),从区间Dsc的前头起每k个储存相同的值。其中,1<=sc<=6。6从9-3推导出,9为diff的精度,3根据D1从8(=2^3)开始而确定。
例如,如果N=3,则d(=diff-1)=8以后的值通过如下所述将区间D0’[4..7]的值乘以1/k倍来计算出。
区间[8..15]→1/2
区间[16..31]→1/4
区间[32..63]→1/8
区间[64..127]→1/16
区间[128..255]→1/32
区间[256..511]→1/64
[表1]
区间 d的范围 k sc
D1 [8..15] 1/2 1
D2 [16..31] 1/4 2
D3 [32..63] 1/8 3
D4 [64..127] 1/16 4
D5 [128..255] 1/32 5
D6 [256..511] 1/64 6
更详细而言,如图18所示,像d=8,9为d=4的1/2、d=10,11为d=5的1/2、d=12,13为d=6的1/2、d=14,15为d=7的1/2、d=16,17,18,19为d=4的1/4、d=20,21,22,23为d=5的1/4......(以下同样连续)这样,在值的1/k的范围内以相同的值连续k个的方式参照LMDivTable_2N进行计算。即,使用d/k参照LMDivTable_2N。以下,将k称为尺度,将sc=log2(k)称为尺度移位值。
具体而言,如果表现为算式,则通过以下算式,使用推导出的k,在LMDivTable_2N[d/k]/k(=LMDivTable_2N[d>>sc]>>sc)中参照倒数表LMDivTable_2N。
sc=(9-N)-clz(d>>N,9-N)
k=2^(sc)
需要说明的是,“9”是由于diff的精度(比特数)为512个要素(9bit),如果精度不同,则分配不同的值。
CCLM预测部31044使用将表DivTableM的值进一步移位sc而得到的值和色差的差分ChromaDelta推导出CCLM预测参数a,其中,所述表DivTableM的值由将亮度差d(=diff-1)移位依赖于d的规定的尺度移位值sc而得到的值(d>>sc)参照。
a=(ChromaDelta*(LMDivTable_2N[d>>sc]>>sc)+add)>>shiftB
b=C_MIN-((a*Y_MIN)>>shiftA)
在此,add=(shiftB>0)?1<<(shiftB-1):0
或者,当如下所示地使用在循环用校正项add的推导中始终进行1比特右移位的构成时,得到消除移位数是否为正的分岐的简化效果。
add=(1<<shiftB)>>1
需要说明的是,由sc实现的移位的应用位置不取决于上述情况。也可以如下所示地推导出CCLM预测参数a。
a=(ChromaDelta*(LMDivTable_2N[d>>sc]+add)>>(shiftB+sc)
b=C_MIN-((a*Y_MIN)>>shiftA)
在此,add=(shiftB+sc>0)?1<<(shiftB+sc-1):0
add=(1<<(shiftB+sc))>>1
需要说明的是,在上述过程中,在1/d的除法中考虑除去d=0的情况,仅使用了d>=1以上的表。就是说,利用了不是d=diff而是d=diff-1的表,但也可以使用d=diff的表。
换言之,如上述LMDivTable_2N[d>>sc]所示,根据通过移位降低值的大小而得到的索引(d>>sc),参照倒数表LMDivTable_2N,由此使LMDivTable_2N的要素数减少,起到削减表大小的效果。此外,通过如LMDivTable_2N[d>>sc]>>sc、(LMDivTable_2N[d>>sc]+add)>>(shiftB+sc)所示地将倒数表的值LMDivTable_2N进一步右移位来调整大小,由此不会降低性能,而起到削减表大小的效果。
(处理例3的变形例)
在上述的实施方式中,设定针对d=diff-1的表,减少表中所储存的要素数,通过计算推导出未保持的要素,由此削减了所需的内存。在本变形例中,对设定针对diff(0<=diff<=511)的表,削减所需的内存的示例进行说明。以下,叙述针对处理例3的差分。
例如,在表的要素数为2^N,N=5的情况下,表1如表2所示地建立对应。
[表2]
Figure BDA0003115110890000341
Figure BDA0003115110890000351
具体而言,如果表现为算式,则通过以下算式,使用推导出的k,在LMDivTable_2N’[d/k]/k(=LMDivTable_2N[d>>sc]>>sc)中参照倒数表LMDivTable_2N’。LMDivTable_2N’[]是在LMDivTable_2N[]的前头插入“0”,删除末尾的要素的表。
range=diff>>N
sc=ShiftTableE”_2N[range+1]
k=2^(sc)
ShiftTableE”_2N[]是在ShiftTableE’_2N[]的前头插入“0”的表。
ShiftTableE”_2N[]={0,0,1,2,2,3,3,3,3,4,4,4,4,4,4,4,4,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5......}
CCLM预测部31044使用将表LMDivTable_2N’的值进一步移位sc而得到的值和色差的差分ChromaDelta推导出CCLM预测参数a,其中,所述表LMDivTable_2N’的值由将亮度差diff移位依赖于diff的规定的尺度移位值sc而得到的值(diff>>sc)参照。
a=(ChromaDelta*(LMDivTable_2N’[diff>>sc]>>sc)+add)>>shiftB
b=C_MIN-((a*Y_MIN)>>shiftA)
在此,
add=(shiftB>0)?1<<(shiftB-1):0
add=(1<<shiftB)>>1
LMDivTable_2N’[]是在LMDivTable_2N’[]的前头插入“0”,删除末尾的要素的表。
处理例3的效果与该变形例的效果相同。
(处理例4)
CCLM预测参数推导部310442可以将上述的处理例1~3组合进行处理。在该情况下,CCLM预测参数推导部310442推导出与亮度的差分值(d)对应的尺度移位值sc,推导出将亮度的差分值(d)右移位sc而得到的值d>>sc参照为索引(要素位置)的表DivTableM_2N的值(DivTableM_2N[d>>sc]),进而将使用对应于与上述d>>sc对应的指数部分的值exp和sc移位而得到的值r与色差的差分值相乘,由此推导出CCLM预测参数。根据以下的算式推导出CCLM预测参数(a,b)。
a=(ChromaDelta*r+add)>>shiftB
b=MinChromaValue-((a*MinLumaValue)>>shiftA)
d=diff-1
sc=(D-N)-clz(d>>N,D-N)
exp=clz(d>>sc,N)+(16-N-P-1))
r=(DivTableM_2N[d>>sc]+offsetM)<<exp>>sc
add=(shiftB>0)?1<<(shiftB-1):0
在使用偏移的情况下(将所保持的个数设为从表的前头起2^N个的情况下),offsetM=2^(P-1)。在不使用偏移的情况下,offsetM=0。
在此,
D:表示diff的值的范围的(1..2^D),在(处理例1)~(处理例3)中使用D=9
N:表示DivTable的要素数的log2的整数,0<N<=D
P:通过指数表现1/diff的整数倍(2^16)的值的值的尾数部的比特数,0<=P-1<=16-N
需要说明的是,尺度移位值sc和指数移位值exp的应用顺序不限定于上述。例如,CCLM预测参数推导部310442推导出与亮度的差分值(d)对应的sc,使用根据exp和sc推导出的移位值(shiftB+sc-exp)对DivTableM_2N[d>>sc]与色差的差分值相乘而得到的值进行移位,由此推导出CCLM预测参数,其中,DivTableM_2N[d>>sc]将使亮度的差分值(d)右移位sc而得到的值d>>sc通过表参照为索引(要素位置)。
a=(ChromaDelta*r+add)>>(shiftB+sc-exp)
b=MinChromaValue-((a*MinLumaValue)>>shiftA)
d=diff-1
sc=(D-N)-clz(d>>N,D-N)
exp=clz(d>>sc,N)+(16-N-(P-1))
r=(DivTableM_2N[d>>sc]+offsetM)
add=(shiftB+sc-exp>0)?1<<(shiftB+sc-exp-1):0
offsetM=2^(P-1)或0
此外,也可以先使用移位值shiftB将ChromaDelta的值归一化。
a=((ChromaDelta+add)>>shiftB)*r>>(sc-exp)
(表值的示例)
以下示出表值的示例。
<示例1>N=6、P=5、有2^(P-1)的偏移offsetM的情况
DivTableM_2N[64]={0,0,5,0,10,5,2,0,12,10,7,5,4,2,1,0,14,12,11,10,8,7,6,5,4,4,3,2,2,1,1,0,15,14,13,12,12,11,10,10,9,8,8,7,7,6,6,5,5,4,4,4,3,3,3,2,2,2,1,1,1,1,0,0}
ShiftTableE_2N[64]={12,11,10,10,9,9,9,9,8,8,8,8,8,8,8,8,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6}
<示例1变形例>在取整的方法不同的情况下,也可以是如下所示的表。
DivTableM_2N[64]={0,0,5,0,10,5,2,0,12,10,7,5,4,2,1,0,14,12,11,10,8,7,6,5,4,4,3,2,2,1,1,0,15,14,14,13,12,11,11,10,9,9,8,8,7,7,6,6,5,5,4,4,4,3,3,3,2,2,2,1,1,1,1,0}
ShiftTableE_2N与<示例1>是共通的。
如果N=6、P=5,则储存表所需的存储量为(5-1)*2^6=4*64=256(bit)。与上述的实施方式的情况相比,256/16896=1.515%,能大幅削减存储量。
<示例2>N=5、P=5、有2^(P-1)的偏移的情况
DivTableM_2N[32]={0,0,5,0,10,5,2,0,12,10,7,5,4,2,1,0,14,12,11,10,8,7,6,5,4,4,3,2,2,1,1,0}
ShiftTableE_2N[32]={12,11,10,10,9,9,9,9,8,8,8,8,8,8,8,8,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7}
此时,(N=5、P=5、D=9、有偏移),若将a和b的推导式汇总,则如下所示。
设为:d=diff-1
sc=(D-N)-clz(d>>N,D-N)=(9-5)-clz(d>>5,9-5)=4-clz(d>>5,4)exp=clz(d>>sc,N)+(16-N-(P-1))=clz(d>>sc,5)+(16-5-(5-1)=clz(d>>sc,5)+7
offsetM=2^(P-1)=2^(5-1)=16
r=(DivTableM_2N[d>>sc]+offsetM)=DivTableM_2N[d>>sc]+16
add=(shiftB+sc-exp>0)?1<<(shiftB+sc-exp-1):0,
a=(ChromaDelta*r+add)>>(shiftB+sc-exp)
b=MinChromaValue-((a*MinLumaValue)>>shiftA)
此时,如果使用ShiftTableE_2N而不使用clz,则如下所示地求出a、b。
设为:d=diff-1 sc=(D-N)-clz(d>>N,D-N)=(D-N)-((D-N)-(16-(P-1)-ShiftTableE_2N[d>>5]))=4-(4-(16-4)-ShiftTableE_2N[d>>5]))=12-ShiftTableE_2N[d>>5]
exp=ShiftTableE_2N[d>>5]
offsetM=2^(P-1)=2^(5-1)=16
r=(DivTableM_2N[d>>sc]+offsetM)=DivTableM_2N[d>>sc]+16
add=(shiftB+sc-exp>0)?1<<(shiftB+sc-exp-1):0,
a=(ChromaDelta*r+add)>>(shiftB+sc-exp)
b=MinChromaValue-((a*MinLumaValue)>>shiftA)
<示例2变形例>在取整的方法不同的情况下,也可以是如下所示的表。
DivTableM_2N[32]={0,0,5,0,10,5,2,0,12,10,7,5,4,2,1,0,14,13,11,10,9,8,7,6,5,4,3,3,2,1,1,0}
ShiftTableE_2N与<示例2>是共通的。
需要说明的是,在无偏移(offsetM=0)的情况下,储存并使用预先将上述有偏移的DivTableM_2N的各要素加上2^(P-1)而得到的值。
<示例3>N=6、P=4、有2^(P-1)的偏移的情况
DivTableM_2N[64]={0,0,3,0,5,3,1,0,6,5,4,3,2,1,1,0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0,0,7,7,7,6,6,5,5,5,4,4,4,4,3,3,3,3,2,2,2,2,2,1,1,1,1,1,1,1,0,0,0,0}
ShiftTableE_2N[64]={13,12,11,11,10,10,10,10,9,9,9,9,9,9,9,9,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7}
<示例3变形例>在取整的方法不同的情况下,也可以是如下所示的表。
DivTableM_2N[32]={0,0,3,0,5,3,1,0,6,5,4,3,2,1,1,0,7,6,6,5,4,4,3,3,2,2,2,1,1,1,1,0}
ShiftTableE_2N与<示例3>是共通的。
<示例4>N=5、P=4、有2^(P-1)的偏移的情况
DivTableM_2N[32]={0,0,3,0,5,3,1,0,6,5,4,3,2,1,1,0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0,0}
ShiftTableE_2N[32]={13,12,11,11,10,10,10,10,9,9,9,9,9,9,9,9,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,}
<示例4变形例>在取整的方法不同的情况下,也可以是如下所示的表。
DivTableM_2N[32]={0,0,3,0,5,3,1,0,6,5,4,3,2,1,1,0,7,6,6,5,4,4,3,3,2,2,2,1,1,1,1,0}
ShiftTableE_2N与<示例4>是共通的。
需要说明的是,如果N=5、P=4,则储存表所需的存储量为(4-1)*2^5=3*32=96(bit)。与上述的实施方式中所记载的情况相比,96/16896=0.568%,能大幅削减存储量。
在以下说明的处理例5、6中,可以使用上述表。
(处理例5)
在处理例5中,对在算式(CCLM-1)中将参数a的精度shiftA设为可变的示例进行说明。具体而言,根据从亮度的差分值diff推导出的移位值exp推导出参数a的精度shiftA。
以下,CCLM预测参数推导部310442从亮度的差分值diff和色差的差分值diffC,将相当于线性预测的斜率的项(diffC/diff)推导为参数a(在此,推导出参数a的2^shiftA(=1<<shiftA)倍的值,以进行整数化。
首先,CCLM预测参数推导部310442通过已说明过的方法推导出相当于diff的倒数的尾数部分的数v。
idx=diff>>sc
exp=16-(P-1)-ceil(log2(idx))-sc
msb=1<<(P-1)
v=DivTable_2N’[idx]|msb
在此,P为与倒数表(1/diff)的尾数部分的比特数对应的规定的常数(例如P=4)。此外,exp为亮度的差分diff越大则越小的变量(与diff的对数值成比例地变小的变量),可以通过表来推导。需要说明的是,在idx=0的情况下,将log2(idx)设定为0。在此,从16中减去其他的值求出exp的值是由于倒数表是基于(2^16)/diff而创建的。以下,将作为倒数表的基准的比特宽度记为baseA。在不限制参数a的比特宽度的情况下,shiftA=baseA。需要说明的是,v的最大值为(1<<P)-1,v的比特数为P比特。
exp=16-(P-1)-ShiftTableE”_2N[idx]-sc
CCLM预测参数推导部310442在通过diffC与v的积推导参数a的情况下,通过如下所示地进一步右移位shift_a来调整参数a的比特数。
add=(1<<shift_a)>>1
a=(diffC*v+add)>>shift_a
b=C_Y_MIN-((a*Y_MIN)>>shift_a)
在此,shift_a为从图像的比特深度bitDepth推导出的值。expC为限制参数a的比特宽度的常数,例如使用0~3。参数a的比特宽度为diffC的比特宽度+v的比特宽度-shift_a,为bitDepth+P-(bitDepth-8-expC)=P+8-expC,降低至不取决于图像的比特深度的小的值。例如在P=4、expC=3时,a的比特宽度为9bit。
shift_a=bitDepth-8-expC
CCLM预测参数推导部310442通过从shiftA的初始值(=baseA,例如16)中减去使用亮度的差分diff推导出的值exp和expC来调节shiftA的值。
shiftA=16-(exp+expC)
CCLM预测滤波部310443使用算式(CCLM-1),使用CCLM预测参数(a,b)和上述调整后的shiftA输出预测图像predSamples[][]。
如此,能通过使用亮度的差分diff和比特深度bitDepth自适应地推导a的移位量来削减用于b的推导或预测图像predSamples[][]的生成的a的比特宽度。通过如此起到简化算式(CCLM-1)中的a与亮度值refSamples[][]的积的效果。
在处理例5中,a的推导中的diffC*v的积从处理例1的11bit*16bit降低至11bit*Pbit,因此起到简化积的效果。在P=4时,11bit*4bit=15bit。
在处理例5中,b的推导中的a*Y_MIN的积从处理例1的27bit*10bit降低至P+8-expC bit*10bit,因此起到简化积的效果。在P=4、expC=3时,9bit*4bit=13bit。
在处理5中,算式(CCLM-1)的积从处理例1的27bit*10bit降低至P+8-expC bit*10bit,因此起到简化积的效果。在P=4、expC=3时,9bit*4bit=13bit。
需要说明的是,处理例5的expC是与处理例5不同,且不取决于色差的差的常数,因此,也可以称为expConst等,而不称为expC。
(处理例6)
在处理例6中,对在算式(CCLM-1)中将用于与亮度值的积的参数a的精度shiftA设为可变的示例进行说明。具体而言,将a的比特数(a的域值)的上限设定为max_a_bits,根据作为色差的差(C_Y_MAX-C_Y_MIN)的diffC推导出参数a的精度shiftA。需要说明的是,可以解释为通过固定比特数的尾数和2的次方表现参数a的示例。以下,通过max_a_bits表示a的尾数部分的比特数,通过expC表示指数部分的比特数。
以下,CCLM预测参数推导部310442从分母(亮度的差分值)diff和分子(色差的差分值)diffC,将相当于斜率的(diffC/diff*2^shiftA)推导为参数a。以下,取参数a的2^shiftA(就是说1<<shiftA)倍,以进行整数化。
CCLM预测参数推导部310442首先,CCLM预测参数推导部310442推导出用于参照从diff压缩而成的倒数表DivTable_2N’的idx,进而推导出相当于diff的倒数的数v。
diff=Y_MAX-Y_MIN
range=(diff>>N)+1
sc=ceil(log2(range))
idx=diff>>sc
在此,N为规定的常数,例如5。
msb=1<<(P-1)
v=DivTable_2N’[idx]|msb
在此,P为倒数表(1/diff)的尾数部分(保持在DivTable_2N’表中的部分)的比特数,msb为offsetM。
CCLM预测参数推导部310442推导出与亮度的差分值diff对应的移位值exp。
exp=16-(P-1)-ceil(log2(diff+1))=16-(P-1)-ceil(log2(idx))-sc
此外,exp可以参照表来推导。
exp=16-(P-1)-ShiftTableE”_2N[idx]-sc
CCLM预测参数推导部310442推导出与色差的差分值diffC的绝对值absDiffC的对数值对应的移位值expC。
diffC=C_Y_MAX-C_Y_MIN
absDiffC=(diffC<0?-diffC:diffC)
rangeDiffC=(absDiffC>>(max_a_bits-P-1))
expC=ceil(log2(rangeDiffC+1))
在此,也优选将max_a_bits的值设定为P+1的构成,在该情况下,rangeDiffC=absDiffC,因此,CCLM预测参数推导部310442省略rangeDiffC如下所示地推导出expC。
expC=ceil(log2(absDiffC+1))
CCLM预测参数推导部310442在通过diffC与v的积推导参数a的情况下,通过如下所示地进一步将diffC*v右移位expC来推导出限制了比特数的参数a。
add=(1<<expC)>>1
a=(diffC*v+add)>>expC
b=C_Y_MIN-((a*Y_MIN)>>expC)//shift_a=expC
CCLM预测参数推导部310442通过从shiftA的初始值(例如16)中减去使用分母(亮度的差分值diff)推导出的exp和使用分子(色差的差分值diffC)推导出的expC来调节shiftA的值。
shiftA=16-(exp+expC)
例如,在max_a_bits=5的情况下,a按照5bit的精度(-16~15)来表现。此外,expC为色差的差分diffC的绝对值越大则越大的变量(与absDiffC的对数值成比例地变大的变量)。
expC=ceil(log2(rangeDiffC))
需要说明的是,在rangeDiffC=0的情况下,设定为expC=0。expC可以参照表来推导。
expC=ShiftTableE”_2N[rangeDiffC+1]
CCLM预测滤波部310443使用算式(CCLM-1),使用CCLM预测参数(a,b)和上述调整后的shiftA输出预测图像predSamples[][]。
如此,能通过从色差的差分diffC自适应地推导a的移位量来削减a的比特深度。通过如此起到抑制精度的劣化,并且简化算式(CCLM-1)中的a与亮度值refSamples[][]的积的效果。
在处理例6中,a的推导中的diffC*v的积从处理例1的11bit*16bit降低至11bit*Pbit,因此起到简化积的效果。在P=4时,11bit*4bit=15bit。
在处理例6中,b的推导中的a*Y_MIN的积从处理例1的27bit*10bit降低至max_a_bits bit*10bit,因此起到简化积的效果。在max_a_bits=5时,5bit*10bit=15bit。
在处理6中,算式(CCLM-1)的积从处理例1的27bit*10bit降低至max_a_bits bit*10bit,因此起到简化积的效果。在max_a_bits=5时,5bit*10bit=15bit。
(处理例7)
以下,将以表削减为重点的处理例1~3(处理例4)与以比特宽度削减为重点的处理例2、处理例5、6组合的处理作为处理例7进行说明。对已说明的内容进行部分省略,简单进行说明。此外,将diff限制为规定的比特数的shiftB设定为0。以下示出推导CCLM预测参数a、b的方法。其中,在C_Y_MAX=C_Y_MIN的情况下,设定为a=0、b=C_Y_MIN。
CCLM预测参数推导部310442从亮度的差分值diff推导出用于参照倒数表DivTableM_2N’的索引idx和用于调整精度的变量exp,推导出相当于diff的倒数的值v。
shiftA=baseA=16
diff=Y_MAX-Y_MIN
range=diff>>N
sc=ceil(log2(range+1))
idx=diff>>sc
exp=baseA-(P-1)-ceil(log2(idx))-sc
msb=1<<(P-1)
v=(DivTableM_2N’[idx]|msb)
在此,baseA为推导倒数表DivTableM_2N’[idx]时作为基准的比特数(例如16),N为与DivTableM_2N’的要素数(2^N)对应的常数,P为与(2^16/diff)的以2为基数的指数表示中的尾数部分的比特数对应的常数,max_a_bits为与a的以2为基数的指数表示中的尾数部分的比特数对应的常数。Msb也是常数。例如,可以使用N=5,P=4,max_a_bits=5,msb=2^(P-1)=8。在msb=2^(P-1)(有偏移)的情况下,DivTableM_2N’[]的示例如下所示。
DivTableM_2N’[32]={0,0,0,3,0,5,3,1,0,6,5,4,3,2,1,1,0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0}
CCLM预测参数推导部310442从色差的差分值diffC推导出用于限制参数a的比特宽度的变量expC。
max_a_bits=5
diffC=C_Y_MAX-C_Y_MIN
absDiffC=(diffC<0?-diffC:diffC)
rangeDiffC=(absDiffC>>(max_a_bits-P-1))
expC=ceil(log2(rangeDiffC+1))
shift_a=expC
CCLM预测参数推导部310442通过如下所述地进一步将diffC*v右移位shift_a来推导出限制了比特数的参数a。
add=1<<shift_a>>1
a=(diffC*v+add)>>shift_a
在该构成中,shift_a=expC,因此能将a和b的推导式置换为以下算式。
add=(1<<expC)>>1
a=(diffC*v+add)>>expC
由此,能不依赖于diffC的大小地将a的比特宽度(精度)保持为固定。
CCLM预测参数推导部310442通过从shiftA的初始值(例如16)中减去使用diff推导出的exp和使用diffC推导出的expC来调节shiftA的值。
shiftA-=exp+expC
而且,在初始值为16的情况下,也可以如下所示地推导shiftA。
shiftA=16-exp-expC
再者,由于shiftA的初始值baseA也用于expC的推导且彼此抵消,因此,作为结果可以使用常数P、idx以及rangeDiffC直接推导出shiftA。
shiftA=baseA-(baseA-(P-1)-ceil(log2(idx))-sc)-ceil(log2(rangeDiffC+1))
=P-1+ceil(log2(idx))+sc-ceil(log2(rangeDiffC+1))
CCLM预测参数推导部310442使用限制了比特宽度的参数a推导出参数b。
b=C_Y_MIN-((a*Y_MIN)>>shiftA)
CCLM预测滤波部310443使用算式(CCLM-1),使用CCLM预测参数(a,b)和上述调整后的shiftA输出预测图像predSamples[][]。
需要说明的是,如处理例6所示,expC可以不依赖于diffC地设为规定的常数。不过,expC小于将图像的比特深度bitDepth加上P((2^16/diff)的以2为基数的指数表现中的尾数部分的比特数)而得到的值。例如,在bitDepth=10、P=4的情况下,设为expC小于14。
expC<bitDepth+P
由此,a的精度略有降低,但能简化处理。
根据上述的构成,获得处理例1~3、5、6中说明过的效果。若再次记载主要的效果,则至少获得了以下的效果。
如处理例3中说明过的那样,能获得由通过diff>>sc参照表实现的表大小削减的简化效果。
能获得处理例5、6中说明过的由比特宽度减小实现的积的简化效果。
(其他的示例)
需要说明的是,在上述的处理例中,对削减用于储存用于CCLM处理的表的存储量的示例进行了说明,但本发明的技术思想也能用于削减用于储存其他的信息的存储量、乘法的比特宽度。例如,对于用于换算后的运动矢量的推导的表也能适用。
本发明的一个方案的CCLM预测部是一种通过CCLM预测生成预测图像的CCLM预测部,其特征在于,具备:CCLM预测参数推导部,使用亮度的差分值、色差的差分值以及表推导出CCLM预测参数(a,b);以及CCLM预测滤波部,使用亮度参照图像和CCLM预测参数(a,b)生成色差预测图像,CCLM预测参数推导部通过将由亮度的差分值参照的表的要素与色差的差分值相乘而得到的值移位来推导出CCLM预测参数a。
本发明的一个方案的CCLM预测部的特征在于,所述CCLM预测参数推导部从邻接块的亮度值为最大的第一像素和邻接块的亮度值为最小的第二像素推导出亮度的差分值,从第一像素与第二像素的色差的像素值推导出色差的差分值,推导出与亮度的差分值对应的尺度移位值sc,将表的值与色差的差分值相乘,其中,表的值由将亮度的差分值右移位sc后的索引idx参照,通过将相乘而得到的值进一步移位来推导出CCLM预测参数a。
本发明的一个方案的CCLM预测部的特征在于,所述CCLM预测参数推导部将由所述idx参照的表的值加上偏移而得到的值与色差的差分值相乘。
本发明的一个方案的CCLM预测部的特征在于,所述CCLM预测参数推导部推导出与色差的绝对差分值的对数值对应的第一移位值,将由idx参照的表的值与色差的差分值相乘,通过将相乘而得到的值进一步移位移位值expC来推导出CCLM预测参数a。
本发明的一个方案的CCLM预测部的特征在于,所述CCLM预测参数推导部推导出与亮度的差分值diff的对数值对应的第二移位值,使用所述第二像素的色差值、CCLM预测参数a、所述第二像素的亮度值以及第一移位值和第二移位值推导出CCLM预测参数b。
本发明的一个方案的CCLM预测部的特征在于,参照表推导出所述第一移位值和第二移位值。
(硬件实现以及软件实现)
此外,上述的运动图像解码装置31和运动图像编码装置11的各块可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现,也可以利用CPU(Central ProcessingUnit:中央处理器)而以软件方式地实现。
在后者的情况下,上述各装置具备:执行实现各功能的程序的命令的CPU、储存上述程序的ROM(Read Only Memory:只读存储器)、展开上述程序的RAM(Random AccessMemory:随机存取存储器)、以及储存上述程序和各种数据的存储器等存储装置(记录介质)等。然后,本发明的实施方案的目的在于通过以下方式也能达到:将以计算机可读取的方式记录实现前述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置,该计算机(或CPU、MPU)读出记录于记录介质的程序代码并执行。
作为上述记录介质,例如能使用:磁带、盒式磁带等带类;包括软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory:光盘只读存储器)/MO盘(Magneto-Optical disc:磁光盘)/MD(Mini Disc:迷你磁光盘)/DVD(Digital Versatile Disc:数字通用光盘,注册商标)/CD-R(CD Recordable:可记录光盘)/蓝光光盘(Blu-ray(注册商标)Disc:注册商标)等光盘的盘类;IC卡(包括存储卡)/光卡等卡类;掩模ROM/EPROM(ErasableProgrammable Read-Only Memory:可擦可编程只读存储器)/EEPROM(ElectricallyErasableandProgrammableRead-OnlyMemory:电可擦可编程只读存储器)/闪存ROM等半导体存储器类;或者PLD(Programmable logic device:可编程逻辑器件)、FPGA(FieldProgrammable Gate Array:现场可编程门阵列)等逻辑电路类等。
此外,也可以将上述各装置构成为能与通信网络连接,并经由通信网络供给上述程序代码。该通信网络能传输程序代码即可,不被特别限定。例如,可利用互联网、内联网(intranet)、外联网(extranet)、LAN(Local Area Network:局域网)、ISDN(IntegratedServices Digital Network:综合业务数字网)、VAN(Value-AddedNetwork:增值网络)、CATV(Community Antenna television/Cable Television:共用天线电视/有线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。此外,构成该通信网络的传输介质也是为能传输程序代码的介质即可,不限定于特定的构成或种类。例如,无论在IEEE(Institute of Electrical and Electronic Engineers:电气和电子工程师协会)1394、USB、电力线输送、有线TV线路、电话线、ADSL(AsymmetricDigital Subscriber Line:非对称数字用户线路)线路等有线中,还是在如IrDA(InfraredData Association:红外线数据协会)、遥控器那样的红外线、BlueTooth(注册商标)、IEEE802.11无线、HDR(High Data Rate:高数据速率)、NFC(Near Field Communication:近场通讯)、DLNA(Digital Living Network Alliance:数字生活网络联盟,注册商标)、便携电话网、卫星线路、地面数字广播网等无线中都可利用。需要说明的是,本发明的实施方式即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能够实现。
本发明的实施方式并不限定于上述的实施方式,能在权利要求所示的范围内进行各种变更。即,将在权利要求所示的范围内经过适当变更的技术方案组合而得到的实施方式也包括在本发明的技术范围内。
(关联申请的相互参照)
本申请对2018年12月20日提出申请的日本专利申请:日本特愿2018-238526主张优先权的利益,并通过对其进行参照而将其全部内容包括到本说明书中。
附图标记说明
31 图像解码装置
301 熵解码部
302 参数解码部
303 帧间预测参数解码部
304 帧内预测参数解码部
308 预测图像生成部
309 帧间预测图像生成部
310 帧内预测图像生成部
3104 预测部
31044 CCLM预测部(预测图像生成装置)
310441 下采样部
310442 CCLM预测参数推导部(参数推导部)
310443 CCLM预测滤波部
311 逆量化/逆变换部
312 加法部
11 图像编码装置
101 预测图像生成部
102 减法部
103 变换/量化部
104 熵编码部
105 逆量化/逆变换部
107 环路滤波器
110 编码参数确定部
111 参数编码部
112 帧间预测参数编码部
113 帧内预测参数编码部

Claims (6)

1.一种预测图像生成装置,是使用帧内预测模式生成预测图像的预测图像生成装置,其特征在于,具备:
CCLM预测参数推导部,推导出作为第一值与第二值的差分的与亮度有关的差分值和作为第三值与第四值的差分的与色差有关的差分值,使用该与亮度有关的差分值和该与色差有关的差分值推导出CCLM预测参数;和
CCLM预测滤波部,使用所述CCLM预测参数推导出所述预测图像,
所述CCLM预测参数推导部
推导出使用了所述与亮度有关的差分值的第一对数值和使用了所述与色差有关的差分值的绝对值的第二对数值,
使用该第一对数值和该第二对数值推导出第一移位值,
所述CCLM预测滤波部使用所述第一移位值推导出所述预测图像。
2.根据权利要求1所述的预测图像生成装置,其特征在于,
所述CCLM预测参数通过将第六值右移位所述第二对数值来推导,其中,所述第六值使用利用所述与亮度有关的差分值来确定的参照表的第五值与所述与色差有关的差分值的积来得到。
3.根据权利要求1所述的预测图像生成装置,其特征在于,
所述预测图像通过将所述CCLM预测参数与亮度采样值的积右移位所述第一移位值来推导。
4.一种运动图像解码装置,其中,
将由权利要求1所述的所述CCLM滤波部生成的预测图像与残差相加来对图像进行解码。
5.一种运动图像编码装置,其中,
从由权利要求1所述的所述CCLM滤波部推导出的预测图像与输入图像的差分推导出残差进行编码。
6.一种预测图像生成方法,是使用帧内预测模式生成预测图像的预测图像生成方法,其特征在于,至少包括如下步骤:
推导出作为第一值与第二值的差分的与亮度有关的差分值和作为第三值与第四值的差分的与色差有关的差分值;
推导出使用了所述与亮度有关的差分值的第一对数值和使用了所述与色差有关的差分值的绝对值的第二对数值;
使用所述第一对数值和所述第二对数值推导出第一移位值;
使用所述与亮度有关的差分值和所述与色差有关的差分值推导出CCLM预测参数;以及
使用所述CCLM预测参数和所述第一移位值推导出所述预测图像。
CN201980083015.XA 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法 Active CN113196776B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202311634787.2A CN117750035A (zh) 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN202311648383.9A CN117834913A (zh) 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN202311637453.0A CN117834912A (zh) 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018238526 2018-12-20
JP2018-238526 2018-12-20
PCT/JP2019/049451 WO2020129990A1 (ja) 2018-12-20 2019-12-17 予測画像生成装置、動画像復号装置、動画像符号化装置、および、予測画像生成方法

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN202311634787.2A Division CN117750035A (zh) 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN202311648383.9A Division CN117834913A (zh) 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN202311637453.0A Division CN117834912A (zh) 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法

Publications (2)

Publication Number Publication Date
CN113196776A true CN113196776A (zh) 2021-07-30
CN113196776B CN113196776B (zh) 2023-12-19

Family

ID=71101925

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202311637453.0A Pending CN117834912A (zh) 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN202311634787.2A Pending CN117750035A (zh) 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN202311648383.9A Pending CN117834913A (zh) 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN201980083015.XA Active CN113196776B (zh) 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202311637453.0A Pending CN117834912A (zh) 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN202311634787.2A Pending CN117750035A (zh) 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN202311648383.9A Pending CN117834913A (zh) 2018-12-20 2019-12-17 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法

Country Status (8)

Country Link
US (3) US11451825B2 (zh)
EP (1) EP3902261A4 (zh)
JP (1) JPWO2020129990A1 (zh)
CN (4) CN117834912A (zh)
AU (1) AU2019402619A1 (zh)
BR (1) BR112021011319A2 (zh)
SG (1) SG11202106417YA (zh)
WO (1) WO2020129990A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3893507A4 (en) * 2018-12-07 2022-09-21 Sharp Kabushiki Kaisha PREDICTIVE PICTURE GENERATING DEVICE, MOVING PICTURE DECODING DEVICE, MOVING PICTURE CODING DEVICE AND PREDICTIVE PICTURE GENERATING METHOD
WO2023182751A1 (ko) * 2022-03-21 2023-09-28 주식회사 케이티 영상 부호화/복호화 방법 및 장치
US20230403397A1 (en) * 2022-06-09 2023-12-14 Alibaba (China) Co., Ltd. Cross component prediction of chroma samples
JP2024006522A (ja) * 2022-07-04 2024-01-17 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061189A1 (ja) * 2015-10-05 2017-04-13 シャープ株式会社 画像復号装置または画像符号化装置のための画像予測装置
WO2018021373A1 (ja) * 2016-07-29 2018-02-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018061588A1 (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
WO2018116802A1 (ja) * 2016-12-22 2018-06-28 シャープ株式会社 画像復号装置、画像符号化装置、及び画像予測装置
WO2018143289A1 (ja) * 2017-02-02 2018-08-09 シャープ株式会社 画像符号化装置及び画像復号装置
WO2018159526A1 (ja) * 2017-03-03 2018-09-07 シャープ株式会社 動画像符号化装置及び動画像復号装置
WO2018186430A1 (ja) * 2017-04-06 2018-10-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306944B (zh) 2015-11-30 2018-07-06 哈尔滨工业大学 混合视频编码标准中色度分量预测方法
CN112235577B (zh) * 2018-12-13 2021-08-20 华为技术有限公司 色度块的预测方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061189A1 (ja) * 2015-10-05 2017-04-13 シャープ株式会社 画像復号装置または画像符号化装置のための画像予測装置
WO2018021373A1 (ja) * 2016-07-29 2018-02-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018061588A1 (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
WO2018116802A1 (ja) * 2016-12-22 2018-06-28 シャープ株式会社 画像復号装置、画像符号化装置、及び画像予測装置
WO2018143289A1 (ja) * 2017-02-02 2018-08-09 シャープ株式会社 画像符号化装置及び画像復号装置
WO2018159526A1 (ja) * 2017-03-03 2018-09-07 シャープ株式会社 動画像符号化装置及び動画像復号装置
WO2018186430A1 (ja) * 2017-04-06 2018-10-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BROSS, BENJAMIN ET AL: ""versatile video coding(draft 3)", JVET-L1001-v6", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12 TH MEETING, *
LIU(HISILICON)L ET AL: ""LM Mode Clean-Up", JCTVC-i0148", JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 *

Also Published As

Publication number Publication date
SG11202106417YA (en) 2021-07-29
US11979604B2 (en) 2024-05-07
BR112021011319A2 (pt) 2021-08-31
US11451825B2 (en) 2022-09-20
EP3902261A4 (en) 2022-08-24
CN117750035A (zh) 2024-03-22
US20220368944A1 (en) 2022-11-17
US20230345042A1 (en) 2023-10-26
WO2020129990A1 (ja) 2020-06-25
EP3902261A1 (en) 2021-10-27
CN117834913A (zh) 2024-04-05
US20220070491A1 (en) 2022-03-03
CN117834912A (zh) 2024-04-05
US11722696B2 (en) 2023-08-08
JPWO2020129990A1 (ja) 2021-11-04
AU2019402619A1 (en) 2021-07-15
CN113196776B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
JP2019126077A (ja) 画像フィルタ装置、フィルタ方法および動画像復号装置
CN113196776B (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
US11949914B2 (en) Image decoding apparatus and image coding apparatus
RU2761512C1 (ru) Устройство формирования изображений прогнозирования, устройство декодирования движущихся изображений, устройство кодирования движущихся изображений и способ формирования изображений прогнозирования
US11589056B2 (en) Video decoding apparatus and video coding apparatus
WO2013046990A1 (ja) オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造
WO2020241858A1 (ja) 画像復号装置
WO2020184294A1 (ja) Lic部、画像復号装置および画像符号化装置
CN113170169B (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN112616059A (zh) 运动图像变换装置以及方法、编码数据生成装置
JP2024054362A (ja) 動画像復号装置、動画像符号化装置および予測画像生成方法
JP2021010050A (ja) 動画像符号化装置、動画像復号装置、およびフィルタ装置
JP2020205483A (ja) 画像復号装置および画像符号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231229

Address after: No.1, Takumicho, Sakai Ward, Sakai City, Osaka Prefecture, Japan

Patentee after: Sharp Corp.

Address before: No.1, Takumicho, Sakai Ward, Sakai City, Osaka Prefecture, Japan

Patentee before: Sharp Corp.

Patentee before: FG Innovation Co.,Ltd.

TR01 Transfer of patent right