CN112956206A - 运动图像解码装置以及运动图像编码装置 - Google Patents

运动图像解码装置以及运动图像编码装置 Download PDF

Info

Publication number
CN112956206A
CN112956206A CN201980056359.1A CN201980056359A CN112956206A CN 112956206 A CN112956206 A CN 112956206A CN 201980056359 A CN201980056359 A CN 201980056359A CN 112956206 A CN112956206 A CN 112956206A
Authority
CN
China
Prior art keywords
picture
unit
region
prediction
local image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980056359.1A
Other languages
English (en)
Inventor
中条健
八杉将伸
佐佐木瑛一
青野友子
猪饲知宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FG Innovation Co Ltd
Sharp Corp
Original Assignee
FG Innovation Co Ltd
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FG Innovation Co Ltd, Sharp Corp filed Critical FG Innovation Co Ltd
Publication of CN112956206A publication Critical patent/CN112956206A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种实现能仅独立地对同一画面的特定的局部图像区域进行解码的运动图像编码和解码的机制。本发明的一个方案的运动图像解码装置(31)的特征在于,将帧内预测、帧间预测、环路滤波处理等作为对象,设定图片内的局部图像区域,对局部图像区域的外侧进行与图片的外侧同样的处理,对图片内的局部图像区域以外的非局部图像区域不进行这样的限制。

Description

运动图像解码装置以及运动图像编码装置
技术领域
本发明的实施方式涉及运动图像解码装置以及运动图像编码装置。
背景技术
为了高效地传输或记录运动图像,使用通过对运动图像进行编码而生成编码数据的运动图像编码装置,以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。
作为具体的运动图像编码方式,例如可列举出在H.264/AVC(Advanced VideoCoding:高级视频编码)、H.265/HEVC(High-Efficiency Video Coding:高效运动图像编码)中提出的方式等。
在HEVC中导入了称为图块(Tile)的将图片分割成矩形的方法。图块的主要目的在于,分割画面并行执行编码、解码,使帧内预测、运动矢量的预测以及熵编码按每个图块独立地动作。
此外,作为近年来的运动图像编码和解码的技术,可列举出非专利文献1。
现有技术文献
非专利文献
非专利文献1:“Algorithm Description of Joint Exploration Test Model7”,JVET-G1001,Joint Video Exploration Team(JVET)of ITU-TSG 16WP 3and ISO/IECJTC 1/SC 29/WG 11,2017-08-19.
非专利文献2:“Improved Cyclic Intra Refresh”,JVET-K0212,Joint VideoExploration Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,2018-07-10.
发明内容
发明要解决的问题
在图块中,对同一画面内的帧内预测、运动矢量进行限制,但没有帧间预测的限制。
由于仅独立地对同一画面内的特定的局部图像区域进行解码,因此,在存在参照了局部图像区域以外的区域的帧间预测处理时,无法正确地解码。因此,现有在编码侧进行运动矢量的方向的限制的方法。但是,在HEVC等的近来的方式中,有使用合并模式等过去编码的运动矢量的方法,难以明确地限制运动矢量,并且存在编码效率大幅降低的问题。
因此,本发明是鉴于上述的问题而完成的,其目的在于,提供一种实现能仅独立地对同一画面的特定部分进行解码的运动图像编码和解码的机制。
技术方案
本发明的一个方案的运动图像解码装置的特征在于,将帧内预测、帧间预测、环路滤波处理等作为对象,设定图片内的局部图像区域,对局部图像区域的外侧进行与图片的外侧同样的处理,对图片内的局部图像区域以外的区域不进行这样的限制。
有益效果
根据本发明的一个实施方式,能通过设定将预测处理、环路滤波处理限制在图片内的局部图像区域来实现图片内的部分解码。
附图说明
图1是表示编码流的数据的分级结构的图。
图2是表示CTU的分割例的图。
图3是表示参照图片和参照图片列表的一个示例的概念图。
图4是表示帧内预测模式的种类(模式编号)的概略图。
图5是说明本发明的局部图像区域、非局部图像区域的图。
图6是说明本发明的对象块能参照的范围的图。
图7是表示参数解码部的解码处理的流程的流程图。
图8是表示进行通知以设定局部图像区域的语法的一个示例的图。
图9是表示进行通知以设定局部图像区域的语法的一个示例的图。
图10是表示局部图像区域设定过程的流程的流程图。
图11是说明局部图像区域地图的设定的图。
图12是说明逐渐刷新的图。
图13是说明逐渐刷新所需的语法的图。
图14是表示运动图像解码装置的构成的概略图。
图15是表示运动图像编码装置的构成的框图。
图16是表示搭载有本实施方式的运动图像编码装置的发送装置和搭载有运动图像解码装置的接收装置的构成的图。图16的(a)表示搭载有运动图像编码装置的发送装置,图16的(b)表示搭载有运动图像解码装置的接收装置。
图17是表示搭载有本实施方式的运动图像编码装置的记录装置和搭载有运动图像解码装置的再现装置的构成的图。图17的(a)表示搭载有运动图像编码装置的记录装置,图17的(b)表示搭载有运动图像解码装置的再现装置。
图18是表示本实施方式的图像传输系统的构成的概略图。
具体实施方式
(第一实施方式)
以下,参照附图对本发明的实施方式进行说明。
图18是表示本实施方式的图像传输系统1的构成的概略图。
图像传输系统1是传输对编码对象图像进行编码而得到的编码流,对所传输的编码流进行解码并显示图像的系统。图像传输系统1构成为包括:运动图像编码装置(图像编码装置)11、网络21、运动图像解码装置(图像解码装置)31以及运动图像显示装置(图像显示装置)41。
运动图像编码装置11被输入图像T。
网络21将运动图像编码装置11所生成的编码流Te传输至运动图像解码装置31。网络21是互联网(Internet)、广域网(WAN:Wide Area Network)、小型网络(LAN:Local AreaNetwork,局域网)或它们的组合。网络21不一定限定于双向的通信网,也可以是传输地面数字广播、卫星广播等广播波的单向的通信网。此外,网络21也可以用DVD(DigitalVersatile Disc:数字通用光盘)、BD(Blue-ray Disc:蓝光光盘)等记录有编码流Te的存储介质代替。
运动图像解码装置31对网络21所传输的编码流Te分别进行解码,生成解码后的一个或多个解码图像Td。
运动图像显示装置41显示运动图像解码装置31所生成的一个或多个解码图像Td的全部或一部分。运动图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence:电致发光)显示器等显示设备。作为显示器的形式,可列举出固定式、移动式、HMD等。此外,在运动图像解码装置31具有高处理能力的情况下显示画质高的图像,在仅具有较低处理能力的情况下显示不需要高处理能力、高显示能力的图像。
<运算符>
以下记述在本说明书中使用的运算符。
>>为向右位移,<<为向左位移,&为逐位AND,|为逐位OR,|=为OR代入运算符,||表示逻辑和。
x?y:z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。
Clip3(a,b,c)是将c裁剪到a以上b以下的值的函数,是在c<a的情况下返回a、在c>b的情况下返回b、在其他情况下返回c的函数(其中a<=b)。
abs(a)是返回a的绝对值的函数。
Int(a)是返回a的整数值的函数。
floor(a)是返回a以下的最大整数的函数。
ceil(a)是返回a以上的最大整数的函数。
a/d表示a除以d(舍去小数点以下)。
<编码流Te的结构>
在对本实施方式的运动图像编码装置11和运动图像解码装置31进行详细说明之前,对由运动图像编码装置11生成并由运动图像解码装置31进行解码的编码流Te的数据结构进行说明。
图2是表示编码流Te中的数据的分级结构的图。编码流Te示例性地包括序列和构成序列的多张图片。图2的(a)~(f)分别是表示既定序列SEQ的编码视频序列、规定图片PICT的编码图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中所包括的编码树单元以及编码树单元中所包括的编码单元的图。
(编码视频序列)
在编码视频序列中,规定有数据的集合,供运动图像解码装置31为了对处理对象的序列SEQ进行解码而参照。序列SEQ如图2的(b)所示,包括:视频参数集(Video ParameterSet)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(Picture ParameterSet)、图片PICT以及补充增强信息SEI(Supplemental Enhancement Information)。
视频参数集VPS在由多层构成的运动图像中,规定有多个运动图像通用的编码参数的集合,以及运动图像中所包括的多层和与各层关联的编码参数的集合。
在序列参数集SPS中,规定有运动图像解码装置31为了对对象序列进行解码而参照的编码参数的集合。例如,规定有图片的宽度、高度。需要说明的是,SPS可以存在多个。在该情况下,从PPS中选择多个SPS中的任一个。
在图片参数集PPS中,规定有运动图像解码装置31为了对对象序列内的各图片进行解码而参照的编码参数的集合。例如包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)和指示加权预测的应用的标志(weighted_pred_flag)。需要说明的是,PPS可以存在多个。在该情况下,从对象序列内的各图片中选择多个PPS中的任一个。
(编码图片)
在编码图片中,规定有运动图像解码装置31为了对处理对象的图片PICT进行解码而参照的数据的集合。图片PICT如图2的(b)所示,包括切片0~切片NS-1(NS为图片PICT中所包括的切片的总数)。
需要说明的是,以下,在无需对各切片0~切片NS-1进行区分的情况下,有时会省略代码的下标来进行记述。此外,以下所说明的编码流Te中所包括的且带有下标的其它数据也是同样的。
(编码切片)
在编码切片中,规定有运动图像解码装置31为了对处理对象的切片S进行解码而参照的数据的集合。切片如图2的(b)所示包括切片标头和切片数据。
切片标头中包括运动图像解码装置31为了确定对象切片的解码方法而参照的编码参数组。指定切片类型的切片类型指定信息(slice_type)是切片标头中所包括的编码参数的一个示例。
作为能由切片类型指定信息指定的切片类型,可列举出:(1)在进行编码时仅使用帧内预测的I切片、(2)在进行编码时使用单向预测或帧内预测的P切片以及(3)在进行编码时使用单向预测、双向预测或帧内预测的B切片等。需要说明的是,帧间预测不限于单向预测、双向预测,也可以使用更多的参照图片来生成预测图像。以下,称为P、B切片的情况是指包括能使用帧间预测的块的切片。
需要说明的是,切片标头中也可以包括对图片参数集PPS的参照(pic_parameter_set_id)。
(编码切片数据)
在编码切片数据中,规定有运动图像解码装置31为了对处理对象的切片数据进行解码而参照的数据的集合。切片数据如图1的(d)所示包括CTU。CTU是构成切片的固定大小(例如64×64)的块,也称为最大编码单位(LCU:Largest Coding Unit)。
(编码树单元)
在图2的(e)中,规定有运动图像解码装置31为了对处理对象的CTU进行解码而参照的数据的集合。CTU通过递归的四叉树分割(QT(Quad Tree)分割)、二叉树分割(BT(Binary Tree)分割)或三叉树分割(TT(Ternary Tree)分割)分割成作为编码处理的基本单位的编码单元CU。将BT分割和TT分割统称为多叉树分割(MT(Multi Tree)分割)。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(Coding Node)。四叉树、二叉树以及三叉树的中间节点为编码节点,CTU本身也被规定为最上层的编码节点。
CT包括以下信息作为CT信息:表示是否进行QT分割的QT分割标志(cu_split_flag)、表示MT分割的分割方法的MT分割模式(split_mt_mode)、表示MT分割的分割方向的MT分割方向(split_mt_dir)、表示MT分割的分割类型的MT分割类型(split_mt_type)。cu_split_flag、split_mt_flag、split_mt_dir、split_mt_type按每个编码节点进行传输。
在cu_split_flag为1的情况下,编码节点分割成4个编码节点(图2的(b))。在cu_split_flag为0时,split_mt_flag为0的情况下,不分割编码节点,而保持1个CU作为节点(图2的(a))。CU为编码节点的末端节点,且不进行进一步分割。CU为编码处理的基本单位。
在split_mt_flag为1的情况下如下所示地对编码节点进行MT分割。在split_mt_type为0时,split_mt_dir为1的情况下,将编码节点水平分割成2个编码节点(图2的(d)),在split_mt_dir为0的情况下将编码节点垂直分割成2个编码节点(图2的(c))。此外,在split_mt_type为1时,split_mt_dir为1的情况下,将编码节点水平分割成3个编码节点(图2的(f)),在split_mt_dir为0的情况下将编码节点垂直分割成3个编码节点(图2的(e))。
此外,在CTU的尺寸为64×64像素的情况下,CU的大小能取64×64像素、64×32像素、32×64像素、32×32像素、64×16像素、16×64像素、32×16像素、16×32像素、16×16像素、64×8像素、8×64像素、32×8像素、8×32像素、16×8像素、8×16像素、8×8像素、64×4像素、4×64像素、32×4像素、4×32像素、16×4像素、4×16像素、8×4像素、4×8像素以及4×4像素中的任一种。
(编码单元)
如图1的(f)所示,规定有运动图像解码装置31为了对处理对象的编码单元进行解码而参照的数据的集合。具体而言,CU由CU标头CUH、预测参数、变换参数、量化变换系数等构成。在CU标头中规定有预测模式等。
预测处理存在以CU为单位进行的情况和以将CU进一步分割后得到的子CU为单位进行的情况。在CU与子CU的大小相等的情况下,CU中的子CU为1个。在CU的大小大于子CU的大小的情况下,CU被分割成子CU。例如,在CU为8x8、子CU为4x4的情况下,CU被分割成4个子CU,包括水平分割的两部分和垂直分割的两部分。
预测的种类(预测模式)存在帧内预测和帧间预测两种。帧内预测是同一图片内的预测,帧间预测是指在互不相同的图片间(例如显示时刻间、层图像间)进行的预测处理。
变换/量化部处理以CU为单位来进行,但量化变换系数也可以以4x4等的子块为单位来进行熵编码。
(预测参数)
预测图像由附加于块的预测参数而推导出。预测参数中存在帧内预测和帧间预测的预测参数。
以下,对帧间预测的预测参数进行说明。帧间预测参数由预测列表利用标志predFlagL0、predFlagL1、参照图片索引refIdxL0、refIdxL1以及运动矢量mvL0、mvL1构成。预测列表利用标志predFlagL0、predFlagL1是表示是否使用各个被称为L0列表、L1列表的参照图片列表的标志,在值为1的情况下使用对应的参照图片列表。需要说明的是,在本说明书中记为“表示是否为××的标志”的情况下,将标志为0以外(例如1)设为是××的情况,将标志为0设为不是××的情况,在逻辑非、逻辑积等中将1视为真,将0视为假(以下同样)。但是,在实际的装置、方法中也可以使用其它值作为真值、假值。
用于推导帧间预测参数的语法要素中,例如有合并标志merge_flag、合并索引merge_idx、帧间预测标识符inter_pred_idc、参照图片索引refIdxLX、预测矢量索引mvp_LX_idx以及差分矢量mvdLX。
(参照图片列表)
参照图片列表是由存储于参照图片存储器306的参照图片构成的列表。图4是表示低延迟用的图片结构中的参照图片以及参照图片列表的一个示例的概念图。在图中的(a)中,矩形表示图片,箭头表示图片的参照关系,横轴表示时间,矩形中的I、P、B分别表示帧内图片、单向预测图片、双向预测图片,矩形中的数字表示解码顺序。如图所示,图片的解码顺序为I0、P1/B1、P2/B2、P3/B3、P4/B4,显示顺序也相同。在图中的(b)中示出图片B3(对象图片)的参照图片列表的示例。参照图片列表是表示参照图片的候选的列表,一张图片(切片)可以具有一个以上的参照图片列表。在图的示例中,对象图片B3具有L0列表RefPicList0和L1列表RefPicList1这两个参照图片列表。在各CU中,由参照图片索引refIdxLX指定实际上以参照图片列表RefPicListX(X=0或1)中的哪一张图片来进行参照。图是refIdxL0=2、refIdxL1=0的示例。在对象图片为P3的情况下,参照图片列表仅是L0列表。需要说明的是,LX是在不对L0预测和L1预测进行区分的情况下使用的记述方法,以下,通过将LX替换为L0、L1对针对L0列表的参数和针对L1列表的参数进行区分。
(合并预测和AMVP预测)
预测参数的解码(编码)方法中有合并预测(merge)模式和AMVP(Adaptive MotionVector Prediction:自适应运动矢量预测)模式,合并标志merge_flag是用于识别它们的标志。
合并预测模式是不将预测列表利用标志predFlagLX(或帧间预测标识符inter_pred_idc)、参照图片索引refIdxLX、运动矢量mvLX包括于编码数据,而从已处理的附近块的预测参数中推导出并使用的模式。合并索引merge_idx是表示是否使用从处理已完成的块推导的预测参数候选(合并候选)中的任一个预测参数作为对象块的预测参数的索引。
AMVP模式是将帧间预测标识符inter_pred_idc、参照图片索引refIdxLX、运动矢量mvLX包括于编码数据的模式。需要说明的是,运动矢量mvLX被编码为识别预测矢量mvpLX的预测矢量索引mvp_LX_idx和差分矢量mvdLX。帧间预测标识符inter_pred_idc是表示参照图片的种类和数量的值,取PRED_L0、PRED_L1、PRED_BI中的任一值。PRED_L0、PRED_L1分别表示使用在L0列表、L1列表中进行管理的一张参照图片的单向预测。PRED_BI表示使用在L0列表和L1列表中进行管理的两张参照图片的双向预测BiPred。
(运动矢量)
运动矢量mvLX表示不同的两张图片上的块间的移位量。将与运动矢量mvLX有关的预测矢量、差分矢量分别称为预测矢量mvpLX、差分矢量mvdLX。
以下,对帧内预测的预测参数进行说明。帧内预测参数由亮度预测模式IntraPredModeY和色差预测模式IntraPredModeC构成。图5是表示帧内预测模式的种类(模式编号)的概略图。如图所示,帧内预测模式例如存在67种(0~66)。例如是Planar(平面)预测(0)、DC预测(1)、Angular(角度)预测(2~66)。而且,可以在色差中追加LM模式(67~72)。
用于推导帧内预测参数的语法要素中例如有prev_intra_luma_pred_flag、mpm_idx、rem_selected_mode_flag、rem_selected_mode、rem_non_selected_mode等。
(MPM)
prev_intra_luma_pred_flag是表示对象块的亮度预测模式Intra Pred ModeY与MPM(Most Probable Mode:最可能模式)是否一致的标志。MPM是MPM候选列表mpmCandList[]中所包括的预测模式。MPM候选列表是储存有根据邻接块的帧内预测模式和规定的帧内预测模式估计应用于对象块的概率高的候选的列表。在prev_intra_luma_pred_flag为1的情况下,使用MPM候选列表和索引mpm_idx推导出对象块的亮度预测模式IntraPredModeY。
IntraPredModeY=mpmCandList[mpm_idx]
(REM)
在prev_intra_luma_pred_flag为0的情况下,从在全部帧内预测模式中除去MPM候选列表中所包括的帧内预测模式后剩余的模式RemIntraPredMode中选择帧内预测模式。作为RemIntraPredMode可选择的帧内预测模式被称为“非MPM”或“REM”。标志rem_selected_mode_flag是指定是参照rem_selected_mode选择帧内预测模式的还是参照rem_non_selected_mode选择帧内预测模式的标志。使用rem_selected_mode或者rem_non_selected_mode推导出RemIntraPredMode。(局部图像区域编码/解码区域)
对运动图像编码、解码方法进行说明,所述运动图像编码、解码方法的特征在于,在同一图片内设定局部图像区域,在局部图像区域不使用其他的区域的像素进行编码、解码处理,其他的区域使用整张图片进行编码、解码处理。
图5是说明本发明的区域A、区域B的图。在本发明的运动图像编码装置、解码装置中设定图片内的区域A和区域B的区域。例如,由后述的局部图像区域控制部来设定区域A和区域B。A区域只能根据区域A进行预测处理,对区域的外侧进行与图片、图块的外侧同样的填充等的处理。另一方面,在B区域中,能根据包括A区域的整张图片进行预测处理。在此预测处理是指帧内预测、帧间预测、环路滤波处理等。在区域A中,在区域A内关闭了编码处理/解码处理,因此对区域A仅能进行解码。
以下,将区域A称为局部图像区域(第一区域、控制区域、清洁区域、已刷新的区域、区域A)。相反,也将局部图像区域以外的区域称为非局部图像区域(第二区域、非控制区域、脏区域、未刷新的区域、区域B、限制区域外)。
例如,仅通过帧内预测进行编码/解码的区域且在帧内预测中已编码的区域(仅由后述的帧内预测构成的新刷新区域IRA)是局部图像区域。进一步参照由帧内预测构成的该局部图像区域进行编码/解码的区域也是局部图像区域。而且,例如,像帧间预测那样,参照参照图片中的局部图像区域进行编码/解码的区域也是局部图像区域。就是说,局部图像区域是指不参照非局部图像区域的像素,而仅参照局部图像区域的像素进行编码/解码的区域。
以下,以(xRA_st,yRA_st)表示局部图像区域的左上位置,以(xRA_en,yRA_en)表示右下位置,以(wRA,hRA)表示大小。此外,位置和大小存在以下的关系,因此可以根据一方推导出另一方。
xRA_en=xRA_st+wRA-1
yRA_en=yRA_st+hRA-1
此外,也能如下所述地进行推导。
wRA=xRA_en-xRA_st+1
hRA=yRA_en-yRA_st+1
而且,以(xRA_st[j],yRA_st[j])表示时刻j的限制参照区域的左上位置,以(xRA_en[j],yRA_en[j])表示右下位置,以(wRA[j],hRA[j])表示大小。此外,也可以以(xRA_st[Ref],yRA_st[Ref])表示参照图片Ref的限制参照区域的位置,以(xRA_en[Ref],yRA_en[Ref])表示右下位置,以(wRA[Ref],hRA[Ref])表示大小。
(局部图像区域的判定)
例如,在某张图片为时刻i,某个块的位置为(x,y)的情况下,可以通过以下的算式判定位置的像素是否处于局部图像区域内。
IsRA(x,y)=(xRA_st[i]<=x&&x<=xRA_en[i]&&yRA_st[i]<=y&&y<=yRA_en[i])
或者也可以是以下的判定式。
IsRA(x,y)=(xRA_st[i]<=x&&x<xRA_st[i]+wRA[i]&&yRA_st[i]<=y&&y<yRA_st[i]+hRA[i])
IsRA(xRef,yRef)=(xRA_st[Ref]<=xRef&&xRef<=xRA_en[Ref]&&yRA_st[Ref]<=yRef&&yRef<=yRA_en[Ref])
例如,在对象图片为时刻i,对象块Pb的左上坐标为(xPb,yPb),宽度和高度为bW和bH的情况下,运动图像解码装置和运动图像编码装置的帧内预测部、运动补偿部、环路滤波器在对象块Pb处于局部图像区域内的情况下,通过以下的判定式推导出IsRA(Pb)。
IsRA(Pb)=(xRA_st[i]<=xPb&&xPb<xRA_st[i]+wRA[i]&&yRA_st[i]<=yPb&&yPb<yRA_st[i]+hRA[i])
或者也可以是以下的判定式。
IsRA(Pb)=(xRA_st[i]<=xPb&&xPb<xRA_st[i]+wRA[i]&&yRA_st[i]<=yPb&&yPb<yRA_st[i]+hRA[i])
(局部图像区域的参照区域的基本动作)
本说明书的运动图像编码装置和运动图像解码装置进行以下的动作。
图6是表示在本发明的帧内预测、帧间预测、环路滤波中局部图像区域能参照的范围的图。图6的(a)表示局部图像区域中所包括的对象块能参照的范围。在图6的(a)的图片中粗线包围的区域是局部图像区域中所包括的已编码/解码的区域。与对象块相同的图片(对象图像i)中的局部图像区域中所包括的已编码/解码的区域是对象块在帧内预测、帧间预测、环路滤波中能参照的范围。同样,参照图片(参照图像j)中的局部图像区域是对象块在帧间预测、环路滤波中能参照的范围。图6的(b)表示局部图像区域中所包括的对象块能参照的范围。在图6的(b)的图片中粗线包围的区域是对象图片中的已编码/解码的区域。对象图片(对象图像i)中的已编码或解码的区域是对象块在帧内预测、帧间预测中能参照的范围。同样,参照图片(参照图像j)中的所有区域是在帧间预测中能参照的范围。需要说明的是,在使用图块、切片、波前等并行处理、参照限制的情况下,除了上述之外也附加其他的限制。
·局部图像区域中所包括的对象块进行仅参照对象图片中的局部图像区域的像素的帧内预测或参照参照图片的限制参照区域的帧间预测。
·局部图像区域中所包括的对象块参照对象图片中的局部图像区域的编码参数(例如帧内预测方向、运动矢量、参照图片索引)或参照参照图片的限制参照区域的编码参数来推导出对象块的编码参数。
·局部图像区域中所包括的对象块仅参照对象图片中的局部图像区域的像素进行环路滤波处理。
(局部图像区域的判定和利用可能性)
在帧内预测的MPM推导、帧间预测的合并候选推导等中,使用邻接区域的预测参数来推导出对象块的预测参数(帧内预测模式、运动矢量)。可以在这样的情况下进行以下的处理。在帧内预测和帧间预测中对象块处于局部图像区域(IsRA(xPb,yPb)为真)且对象块的邻接块的参照位置(xNbX,yNbX)处于非局部图像区域的情况(IsRA(xNbX,yNbX)为假)的情况下,在预测参数推导中不使用邻接块的值。即,在对象块处于局部图像区域(IsRA(xPb,yPb)为真)且对象块的邻接块的参照位置(xNbX,yNbX)处于局部图像区域的情况(IsRA(xNbX,yNbX)为真)的情况下,将该位置(xNbX,yNbX)用于预测参数的推导。
需要说明的是,以上在预测候选的推导中进行了说明,但也可以与画面外、并行处理单位(切片边界、图块边界)的判定同样地对整个画面外的判定使用局部图像区域的判定。在该情况下,在对象块处于局部图像区域(IsRA(xPb,yPb)为真)且对象块的参照位置(xNbX,yNbX)处于局部图像区域的情况下(IsRA(xNbX,yNbX)为真)的情况下,将参照位置(xNbX,yNbX)判定为不可参照(availableNbX=0)。即,在对象块处于画面内,且对象块和参照位置不在相同不同的并行处理单位,对象块处于非局部图像区域或对象块的参照位置(xNbX,yNbX)处于局部图像区域的情况下(IsRA(xNbX,yNbX)为真),将参照位置(xNbX,yNbX)判定为可参照(availableNbX=1)。在帧内预测和帧间预测中,在可参照(availableNbX=1)参照位置(xNbX,yNbX)的情况下,将该参照位置的预测参数用于对象块的预测参数的推导。
(限制参照区域的判定和限制参照区域的裁剪)
此外,在参照图片在时刻j,参照像素的左上位置为(xRef,yRef)的情况下,运动补偿部,通过以下的判定式推导出参照像素处于限制参照区域内的情况。IsRA(xRef,yRef)=(xRA_st[j]<=xRef&&xRef<=xRA_en[j]&&yRA_st[j]<=yRef&&yR ef<=yRA_en[j])
或者也可以是以下的判定式。
IsRA(xRef,yRef)=(xRA_st[j]<=xRef&&xRef<xRA_st[j]+wRA[j]&&yRA_st[i]<=yRef&&yRef<yRA_st[j]+hRA[j])
此外,运动补偿部也可以使用以下的算式将参照像素裁剪到局部图像区域内的位置。
xRef=Clip3(xRA_st[j],xRA_en[j],xRef)
yRef=Clip3(yRA_st[j],yRA_en[j],yRef)
或者也可以是以下的推导式。
xRef=Clip3(xRA_st[j],xRA_st[j]+wRA[j]-1,xRef)
yRef=Clip3(yRA_st[j],yRA_st[j]+hRA[j]-1,yRef)
需要说明的是,局部图像区域的位置通过后述的逐渐刷新信息从运动图像编码装置传输至运动图像解码装置。需要说明的是,局部图像区域的位置、大小也可以不根据时刻(例如POC)推导,而是在将对象图片解码后或在对象图片的解码开始时间点设定参照存储器内的参照图片Ref。在该情况下,能通过指定参照图片Ref来推导出该局部图像区域的位置和大小。
(SDR图片)
对于AVC、HEVC中的IDR(Instantaneous Decoder Refresh:即时解码刷新)图片,整张图片是帧内CTU,作为能随机接入且能独立地进行解码的图片而实现编码数据的随机接入。在本实施方式中,设为对局部图像区域全部进行帧内编码的图片能通过NAL(NetworkAbstraction Layer:网络抽象化层)的nal_unit_type识别为SDR(Sequentially DecoderRefresh:连续解码刷新)图片。
在SDR图片中,能独立地对图片内的局部图像区域进行解码,并且能对局部图像区域进行随机接入。
与现有的IDR图片中整张图片为帧内图片相比,在SDR图片中图片的一部为帧内图片,因此代码量的变动小。
(参数解码部302)
参数解码部302在SDR图片中,例如如下所示地设定局部图像区域。
·将局部图像区域设定为由左上的CTU的坐标、宽度和高度的CTU数规定的矩形。
·将局部图像区域设定为由左上的像素位置、宽度和高度的像素数规定的矩形。
·在一张图片中设定多个局部图像区域。
·设定局部图像区域使存在多个的局部图像区域彼此重复。
存在多个的局部图像区域彼此重复是指,例如表示一张图片中所包括的多个局部图像区域可以包括相同位置的CTU。
此外,可以是GOP(Group Of Picture:图片组)中的多张图片的各局部图像区域彼此重复。在此,各局部图像区域彼此重复是指,相当于在SDR图片中设定的局部图像区域和在SDR图片的下一张图片中设定的局部图像区域包括相同的位置的CTU。对于局部图像区域彼此重复的图片的张数不特别进行限定,在GOP中为从SDR图片开始连续的多张图片。
(参数解码部302进行的处理的流程(SDR图片))
图8是表示参数解码部302所进行的处理的流程的流程图。
(步骤S1)
开始解码,进入步骤S2。
(步骤S2)
参数解码部302通过NAL的nal_unit_type来判定对象图片是否为SDR图片。在SDR图片的情况下,进入S3,在不是SDR图片的情况下,进入S4。
(步骤S3)
将对象图片内所包括的局部图像区域设定为通过帧内预测进行解码的区域,进入S4。
(步骤S4)
参数解码部302对对象图片进行解码。
通过如此设定局部图像区域,运动图像解码装置31能对从SDR图片开始连续的图片的仅局部图像区域的运动图像进行解码。
(区域信息的示例1)
用于设定局部图像区域的语法可以包括于图片参数集。图8是表示进行通知以设定局部图像区域的语法的一个示例的图。partial_region_mode是指用于指定是否在图片中定义局部图像区域的信息。运动图像解码装置31所具备的熵解码部301在图片参数集中所包括的partial_region_mode为1的情况下判断为需要进行局部图像区域的设定,对num_of_patial_region_minus1进行解码。
num_of_patial_region_minus1表示图片中的“局部图像区域的个数-1”。position_ctu_adress[i]表示图片中存在多个的第i个局部图像区域的左上的CTU的地址。region_ctu_width_minus1[i]表示图片中存在多个的第i个“局部图像区域的CTU的水平方向的个数-1”。region_ctu_height_minus1[i]表示图片中存在多个的第i个“局部图像区域的CTU的垂直方向的个数-1”。
熵解码部301对i每次加1直到i与num_of_patial_region_minus1的值相等为止,对position_ctu_adress[i]、region_ctu_width_minus1[i]、region_ctu_height_minus1[i]进行解码。
然后,运动图像解码装置31所具备的局部图像区域控制部320将局部图像区域设定于对象图片内,在所述局部图像区域,各i具有由以下信息指定的位置和大小。
position_ctu_adress[i]
region_ctu_width_minus1[i]
region_ctu_height_minus1[i]
需要说明的是,
num_of_patial_region_minus1
position_ctu_adress[i]
region_ctu_width_minus1[i]
region_ctu_height_minus1[i]
是用于指定局部图像区域的区域信息的一个示例。
(区域信息的示例2)
用于设定局部图像区域的语法可以包括于切片报头。图9是表示进行通知以设定局部图像区域的语法的一个示例的图。first_slice_segment_in_pic_flag是表示该切片是否是按解码顺序的第一个切片的标志。在first_slice_segment_in_pic_flag为1的情况下,表示是第一个切片。此外,在first_slice_segment_in_pic_flag为0的情况下,表示不是第一个切片。运动图像解码装置31所具备的熵解码部301在first_slice_segment_in_pic_flag为1的情况下,设定partial_region_mode,对num_of_patial_region_minus1进行解码。
num_of_patial_region_minus1表示切片中的“局部图像区域的个数-1”。position_ctu_adress[i]表示切片中存在多个的第i个局部图像区域的左上的CTU的地址。region_ctu_width_minus1[i]表示切片中存在多个的第i个“局部图像区域的CTU的水平方向的个数-1”。region_ctu_height_minus1[i]表示切片中存在多个的第i个“局部图像区域的CTU的垂直方向的个数-1”。
熵解码部301对i每次加1直到i与num_of_patial_region_minus1的值相等为止,对position_ctu_adress[i]、region_ctu_width_minus1[i]、region_ctu_height_minus1[i]进行解码。
然后,运动图像解码装置31所具备的局部图像区域控制部320将局部图像区域设定于对象切片内,在所述局部图像区域,各i具有由以下信息指定的位置和大小。
position_ctu_adress[i]
region_ctu_width_minus1[i]
region_ctu_height_minus1[i]
需要说明的是,
num_of_patial_region_minus1
position_ctu_adress[i]
region_ctu_width_minus1[i]
region_ctu_height_minus1[i]
是用于指定局部图像区域的区域信息的一个示例。
需要说明的是,在上述示例中,将1CTU设为最小的单位,但也可以将一个或多个CTU列或一个或多个CTU行以及多个CTU设定为最小的单位。
(局部图像区域设定过程例)
图10是表示在图片参数集中定义局部图像区域时运动图像解码装置31所进行的处理的流程的流程图。
(步骤S1)
开始解码处理,进入步骤S2。
(步骤S2)
熵解码部301在为partial_region_mode的情况下(partial_region_mode为1的情况下)进入步骤S3,在不是partial_region_mode的情况下(partial_region_mode为0的情况下)进入步骤S4。
(步骤S3)
在为partial_region_mode的情况下,熵解码部301对区域信息中所包括的各语法进行解码,局部图像区域控制部320定义由该各语法指定的局部图像区域,结束处理。具体的局部图像区域的设定处理如上所述。
(步骤S4)
如果在不是partial_region_mode的情况下,运动图像解码装置31擦除局部图像区域,结束处理。
(局部图像区域地图)
参数解码部302可以构成为设定局部图像区域地图(partial_region_map)作为表示每张图片的局部图像区域的位置的信息。
图11是表示进行通知以设定局部图像区域的语法的一个示例的图。partial_region_map是表示是否为图片内的每个CTU的局部图像区域的语法。运动图像解码装置31所具备的熵解码部301在partial_region_map为1的情况下判断为局部图像区域,在partial_region_map为0的情况下判断为非局部图像区域。partial_region_mode是指用于指定是否在图片中定义局部图像区域的信息。
PicHeightInCtbsY表示图片的垂直方向的CTU数,PicWidthInCtbsY表示图片的水平方向的CTU数。
对i每次加1,直到i等于num_of_partial_region_minus1+1为止,计算出y=position_ctu_adress[i]/PicWidthInCtbsY和x=position_ctu_adress[i]%PicWidthInCtbsY。
对j每次加1,直到j等于region_ctu_width_minus1[i]为止,并且对k每次加1,直到k等于rgion_ctu_height_minus1[i]为止,将对应的partial_region_map[h+j][w+k]设定为1。
参数解码部302的局部图像区域控制部320可以构成为参照如此生成的partial_region_map来设定局部图像区域。
此外,通过解码图片存储器的DPB(Decoder Picture Buffer:解码器图片缓存器)来管理按每张图片保存的表示局部图像区域的位置的partial_region_map的信息。此外,partial_region_map的信息存储于参照图片存储器306的参照图片列表,用于预测图像生成部308所进行的帧间预测。
在此,在CTU的解码和编码的过程中,运动图像解码装置31不区分局部图像区域内的CTU和非局部图像区域内的CTU,以图片或图块为单位按光栅扫描顺序进行解码,运动图像编码装置11不区分局部图像区域内的CTU和非局部图像区域内的CTU,按光栅扫描顺序进行编码。
此外,构成为:熵编码部104不区分局部图像区域和非局部图像区域地进行熵编码,熵解码部301在局部图像区域和非局部图像区域中独立地进行熵解码。更具体而言,熵编码部104和熵解码部301构成为在局部图像区域和非局部图像区域中连续更新上下文。
在本实施方式中说明过的局部图像区域和非局部图像区域的概念中解码和编码的过程是独立的概念,因此CTU的解码和编码的过程也可以在局部图像区域和非局部图像区域中相互独立。
作为一个示例,可以构成为:运动图像解码装置31按光栅扫描顺序相互独立地对局部图像区域内的CTU和非局部图像区域内的CTU进行解码,运动图像编码装置11按光栅扫描顺序相互独立地对局部图像区域内的CTU和非局部图像区域内的CTU进行编码。
此外,也可以构成为:熵编码部104在局部图像区域和非局部图像区域中独立地进行熵编码,熵解码部301在局部图像区域和非局部图像区域中独立地进行熵解码。更具体而言,熵编码部104和熵解码部301可以构成为在局部图像区域和非局部图像区域中独立地更新上下文。
(局部图像区域的解码)
在上述的构成中,在SDR图片中对局部图像区域进行初始设定。通过运动图像编码装置11对设定了时间上连续的局部图像区域的运动图像信号进行编码,生成比特流。运动图像解码装置31首先当根据比特流中的NAL的nal_unit_type找出SDR图片时,不参照非局部区域地对SDR图片的局部图像区域进行帧内编码、环路滤波处理。因此,能正确地对局部图像区域进行解码。对于之后要解码的图片的局部图像区域,在帧间编码的情况下,不参照非局部图像区域,帧内编码和环路滤波处理不参照该图片的非局部图像区域,因此,能够保证能正确地对局部图像区域进行解码。
(第二实施方式)
(逐渐刷新)
对将本发明的局部图像区域的编码、解码方法应用于帧内刷新的情况下的实施方式进行说明。一般帧内刷新是指设定对图片内的一部分进行帧内编码的区域,使该区域在时间上在图片内移动,以便能在一定的时段内对整张图片进行帧内编码的方法。其目的在于,通过将图片内分成一定的时段来进行帧内编码,对整张图片进行帧内编码,实现随机接入,实现在比特流存在错误的情况下从错误恢复,而不会增加特定的图片的代码量。在本实施方式中,实现局部图像区域的编码、解码以及与使用SDR图片、帧内刷新同等的逐渐刷新的功能。
图12的(a)是说明本实施方式的逐渐刷新的概要的图。在本实施方式的逐渐刷新中,设为:首先,通过参数编码部111对图片内的一部分设定局部图像区域A,从对该局部图像区域进行了帧内编码的SDR图片开始,在局部图像区域A包括时间上以前的局部图像区域并且使区域增加,在局部图像区域A成为整张图片时,结束逐渐刷新。
在运动图像解码化装置31中,如果以SDR图片为接入点开始从比特流解码,进行解码直到A区域成为整张图片,则能正确地对整张图片进行解码。
局部图像区域的设定方法可以在第一实施方式中说明过的方法中通过PPS、切片报头明确示出,也可以是,在后述的seq_refresh_enable_flag为1的情况下,在SDR图片中设定局部图像区域后,按图片的编码顺序,按1CTU列、1CTU行或1CTU隐式地增加局部图像区域。
需要说明的是,在逐渐刷新中,自身参照其他的图片,但在不被其他的图片参照的非参照图片中,也可以不设定局部图像区域。
图12的(b)是说明本实施方式的另一逐渐刷新的概要的图。在本实施方式的逐渐刷新中,设为:首先,通过参数编码部111对图片内的一部分设定局部图像区域A,从对该局部图像区域进行了帧内编码的SDR图片开始,在局部图像区域A包括时间上以前的局部图像区域并且使区域增加。此时,对增加的局部图像区域进行帧内编码。然后,在局部图像区域A成为整张图片时,结束逐渐刷新。在增加的局部图像区域中,难以预测到在时间方向上预测的帧间预测,因此也可以参照编码参数对局部图像区域进行编码。
在运动图像解码化装置31中,如果以SDR图片为接入点开始从比特流解码,进行解码直到A区域成为整张图片,则能正确地对整张图片进行解码。
图13是表示进行通知以实现逐渐刷新的语法的一个示例的图。图13表示在序列参数集(SPS)中通知的语法(逐渐刷新信息)。seq_refresh_enable_flag是表示在SDR图片以后的图片中是否使用逐渐刷新的标志。参数解码部302对逐渐刷新信息进行解码,运动图像解码装置31在seq_refresh_enable_flag标志为1的情况下,使用逐渐刷新进行解码,在seq_refresh_enable_flag标志为0的情况下,不使用逐渐刷新。参数解码部302在seq_refresh_enable_flag为1的情况下,对seq_refresh_period进行解码。seq_refresh_period表示从作为随机接入点的SDR图片到能正确地解码整张图片为止的图片数。需要说明的是,此时,也可以不对非参照图片的个数进行计数。
(运动图像解码装置的构成)
对本实施方式的运动图像解码装置31(图14)的构成进行说明。
运动图像解码装置31构成为包括:熵解码部301、参数解码部(预测图像解码装置)302、环路滤波器305、参照图片存储器306、预测参数存储器307、预测图像生成部(预测图像生成装置)308、逆量化/逆变换部311以及加法部312。需要说明的是,根据后文所述的运动图像编码装置11,也存在运动图像解码装置31中不包括环路滤波器305的构成。
参数解码部302具备局部图像区域控制部320,局部图像区域控制部320具备未图示的报头解码部3020、CT信息解码部3021以及CU解码部3022(预测模式解码部),CU解码部3022还具备TU解码部3024。报头解码部3020从编码数据解码VPS、SPS、PPS等参数集信息。报头解码部3020从编码数据解码切片报头(切片信息)。CT信息解码部3021从编码数据解码CT。CU解码部3022从编码数据解码CU。TU解码部3024在TU中包括预测误差的情况下,从编码数据解码QP更新信息(量化校正值)和量化预测误差(residual_coding)。
此外,参数解码部302构成为包括未图示的帧间预测参数解码部303和帧内预测参数解码部304。预测图像生成部308构成为包括:帧间预测图像生成部309和帧内预测图像生成部310。
此外,在下文中对将CTU、CU用作处理单位的示例进行了记载,但不限于此,也可以以子CU为单位进行处理。或者,也可以设为将CTU、CU、TU替换为块,将子CU替换为子块,以块或者子块为单位进行的处理。
熵解码部301对从外部输入的编码流Te进行熵解码,分离各个编码(语法要素)并进行解码。熵编码中存在如下方式:使用根据语法要素的种类、周围的状况而适当选择出的上下文(概率模型)对语法要素进行可变长度编码的方式;以及使用预定的表或计算式对语法要素进行可变长度编码的方式。作为前者的代表有CABAC(Context Adaptive BinaryArithmetic Coding:上下文自适应二进制算术编码)。分离后的代码中存在用于生成预测图像的预测信息和用于生成差分图像的预测误差等。
熵解码部301将分离后的代码的一部分输出至参数解码部302。分离后的代码的一部分例如是预测模式predMode、合并标志merge_flag、合并索引merge_idx、帧间预测标识符inter_pred_idc、参照图片索引refIdxLX、预测矢量索引mvp_LX_idx以及差分矢量mvdLX等。基于参数解码部302的指示来进行对哪一个代码进行解码的控制。熵解码部301将量化变换系数输出至逆量化/逆变换部311。
环路滤波器305是设于编码环路内的滤波器,是去除块失真、振铃失真来改善画质的滤波器。环路滤波器305对加法部312所生成的CU的解码图像应用去块滤波器3051、取样自适应偏移(SAO)、自适应环路滤波器(ALF)等滤波器。
参照图片存储器306将加法部312所生成的CU解码图像按每个对象图片和对象CU存储于预定的位置。
预测参数存储器307将预测参数按每个解码对象的CTU或CU存储于预定的位置。具体而言,预测参数存储器307存储由参数解码部307解码后的参数和由熵解码部301分离后的预测模式predMode等。
预测图像生成部308被输入预测模式predMode、预测参数等。此外,预测图像生成部308从参照图片存储器306中读出参照图片。预测图像生成部308在预测模式predMode所指示的预测模式(帧内预测、帧间预测)下,使用预测参数和读出的参照图片(参照图片块)来生成块或子块的预测图像。在此,参照图片块是指参照图片上的像素的集合(通常为矩形因此称为块),是为了生成预测图像而参照的区域。
(帧间预测图像生成部309)
在预测模式predMode指示帧间预测模式的情况下,帧间预测图像生成部309使用从帧间预测参数解码部303输入的帧间预测参数和参照图片,通过帧间预测来生成块或子块的预测图像。
(运动补偿)
运动补偿部3091(插补图像生成部)基于从帧间预测参数解码部303输入的帧间预测参数(预测列表利用标志predFlagLX、参照图片索引refIdxLX、运动矢量mvLX),从参照图片存储器306中读出处于在由参照图片索引refIdxLX指定的参照图片RefLX中的以对象块的位置为起点移位了运动矢量mvLX的位置的块,由此生成插补图像(运动补偿图像)。在此,在运动矢量mvLX的精度并非整数精度的情况下,实施称为运动补偿滤波的用于生成小数位置的像素的滤波,生成运动补偿图像。
运动补偿部3091首先通过以下的算式推导出与预测块内坐标(x,y)对应的整数位置(xInt,yInt)和相位(xFrac,yFrac)。
xInt=xPb+(mvLX[0]>>(log2(MVBIT)))+x
xFrac=mvLX[0]&(MVBIT-1)
yInt=yPb+(mvLX[1]>>(log2(MVBIT)))+y
yFrac=mvLX[1]&(MVBIT-1)
在此,(xPb,yPb)为wPb*hPb大小的块的左上坐标,x=0…wPb-1,y=0…hPb-1,MVBIT表示运动矢量mvLX的精度(1/MVBIT像素精度)。
运动补偿部3091使用内插滤波器对参照图片refImg进行水平插补处理由此推导出临时的图像temp[][]。以下的Σ是与k=0..NTAP-1的k有关的和,shift1是调整值的区间的归一化参数,offset1=1<<(shift1-1)。
temp[x][y]=(ΣmcFilter[xFrac][k]*refImg[xInt+k-NTAP/2+1][yInt]+offset1)>>shift1
接着,运动补偿部3091通过对临时的图像temp[][]进行垂直插补处理,推导出插补图像Pred[][]。以下的Σ是与k=0..NTAP-1的k有关的和,shift2是调整值的区间的归一化参数,offset2=1<<(shift2-1)。
Pred[x][y]=(ΣmcFilter[yFrac][k]*temp[x][y+k-NTAP/2+1]+offset2)>>shift2
需要说明的是,在双向预测的情况下,按每个L0列表、L1列表推导出上述的Pred[][](称为插补图像PredL0[][]和PredL1[][]),根据插补图像PredL0[][]和插补图像PredL1[][]生成插补图像Pred[][]。
(加权预测)
加权预测部3094通过将运动补偿图像PredLX与加权系数相乘,生成块的预测图像。在预测列表利用标志的一方(predFlagL0或predFlagL1)为1(单向预测)且不使用加权预测的情况下,进行使运动补偿图像PredLX(LX为L0或L1)与像素比特数bitDepth匹配的以下的算式的处理。
Pred[x][y]=Clip3(0,(1<<bitDepth)-1,(PredLX[x][y]+offset1)>>shift1)
在此,shift1=14-bitDepth,offset1=1<<(shift1-1)。
此外,在参照列表利用标志两者(predFlagL0和predFlagL1)为1(双向预测BiPred)且不使用加权预测的情况下,进行将运动补偿图像PredL0、PredL1平均,并使其平均数与像素比特数匹配的以下的算式的处理。
Pred[x][y]=Clip3(0,(1<<bitDepth)-1,(PredL0[x][y]+PredL1[x][y]+offset2)>>shift2)
在此,shift2=15-bitDepth,offset2=1<<(shift2-1)。
而且,在进行单向预测且进行加权预测的情况下,加权预测部3094从编码数据推导出加权预测系数w0和偏移值o0,并进行以下的算式的处理。
Pred[x][y]=Clip3(0,(1<<bitDepth)-1,((PredLX[x][y]*w0+2^(log2WD-1))>>log2WD)+o0)
在此,log2WD是表示规定的移位量的变量。
而且,在进行双向预测BiPred且进行加权预测的情况下,加权预测部3094从编码数据推导出加权预测系数w0、w1、o0、o1,进行以下的算式的处理。Pred[x][y]=Clip3(0,(1<<bitDepth)-1,(PredL0[x][y]*w0+PredL1[x][y]*w1+((o0+o1+1)<<log2WD))>>(log2WD+1))
帧间预测图像生成部309将生成的块的预测图像输出至加法部312。
(帧内预测图像生成部310)
在预测模式predMode指示帧内预测模式的情况下,帧内预测图像生成部310使用从帧内预测参数解码部304输入的帧内预测参数和从参照图片存储器306中读出的参照像素来进行帧内预测。
具体而言,帧内预测图像生成部310从参照图片存储器306中读出对象图片上的距离对象块预定的范围的邻接块。预定的范围是在对象块的左、左上、上、右上的邻接块,根据帧内预测模式参照的区域不同。
帧内预测图像生成部310参照读出的解码像素值和帧内预测模式IntraPredMode所指示的预测模式来生成对象块的预测图像。帧内预测图像生成部310将生成的预测图像输出至加法部312。
逆量化/逆变换部311将从熵解码部301输入的量化变换系数逆量化来求出变换系数。该量化变换系数是在编码处理中对预测误差进行DCT(Discrete Cosine Transform,离散余弦变换)、DST(Discrete Sine Transform,离散正弦变换)、KLT(Karyhnen LoeveTransform,卡胡南列夫变换)等频率变换并量化而得到的系数。逆量化/逆变换部311对求出的变换系数进行逆DCT、逆DST、逆KLT等逆频率变换,计算预测误差。逆量化/逆变换部311将预测误差输出至加法部312。
加法部312将从预测图像生成部308输入的块的预测图像与从逆量化/逆变换部311输入的预测误差按每个像素相加,生成块的解码图像。加法部312将块的解码图像存储于参照图片存储器306,并向环路滤波器305输出。
(运动图像编码装置的构成)
接着,对本实施方式的运动图像编码装置11的构成进行说明。图27是表示本实施方式的运动图像编码装置11的构成的框图。运动图像编码装置11构成为包括:预测图像生成部101、减法部102、变换/量化部103、逆量化/逆变换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参照图片存储器(参照图像存储部、帧存储器)109、编码参数确定部110、参数编码部111以及熵编码部104。
预测图像生成部101按将每个图像T的各图片分割而成的区域即CU生成预测图像。预测图像生成部101进行与已说明的预测图像生成部308相同的动作,在此省略其说明。
减法部102从图像T的像素值中减去从预测图像生成部101输入的块的预测图像的像素值,生成预测误差。减法部102将预测误差输出至变换/量化部103。
变换/量化部103对从减法部102输入的预测误差,通过频率变换计算出变换系数,并通过量化导出量化变换系数。变换/量化部103将量化变换系数输出至熵编码部104和逆量化/逆变换部105。
逆量化/逆变换部105与运动图像解码装置31中的逆量化/逆变换部311(图26)相同,在此省略其说明。计算出的预测误差输入至加法部106。
参数编码部111由局部图像区域控制部120、未图示的帧间预测参数编码部112和帧内预测参数编码部113构成。
局部图像区域控制部120具备:报头编码部1110、CT信息编码部1111、CU编码部1112(预测模式编码部)以及未图示的帧间预测参数编码部112和帧内预测参数编码部113。CU编码部1112还具备TU编码部1114。
以下,对各模块的概略动作进行说明。参数编码部111进行报头信息、分割信息、预测信息、量化变换系数等参数的编码处理。
CT信息编码部1111根据编码数据对QT、MT(BT、TT)分割信息等进行编码。
CU编码部1112对CU信息、预测信息、TU分割标志split_transform_flag、CU残差标志cbf_cb、cbf_cr、cbf_luma等进行编码。
TU编码部1114在TU中包括预测误差的情况下,对QP更新信息(量化校正值)和量化预测误差(residual_coding)进行编码。
熵编码部104将从供给方供给的语法要素转换成二进制数据,通过CABAC等熵编码方式生成编码数据并输出。语法要素的供给方是CT信息编码部1111、CU编码部1112。语法要素是帧间预测参数(预测模式predMode、合并标志merge_flag、合并索引merge_idx、帧间预测标识符inter_pred_idc、参照图片索引refIdxLX、预测矢量索引mvp_LX_idx、差分矢量mvdLX)、帧内预测参数(prev_intra_luma_pred_flag、mpm_idx、rem_selected_mode_flag、rem_selected_mode、rem_non_selected_mode)、量化变换系数等。
熵编码部104对分割信息、预测参数、量化变换系数等进行熵编码生成编码流Te并输出。
(帧间预测参数编码部的构成)
帧间预测参数编码部112基于从编码参数确定部110输入的预测参数而推导帧间预测参数。帧间预测参数编码部112包括与由帧间预测参数解码部303推导出帧间预测参数的构成部分相同的构成。
(帧内预测参数编码部113的构成)
帧内预测参数编码部113根据从编码参数确定部110输入的帧内预测模式IntraPredMode,导出用于编码的形式(例如mpm_idx、rem_intra_luma_pred_mode等)。帧内预测参数编码部113包括与帧内预测参数解码部304推导出帧内预测参数的构成部分相同的构成。
加法部106将从预测图像生成部101输入的块预测图像的像素值和从逆量化/逆变换部105输入的预测误差按每个像素相加来生成解码图像。加法部106将生成的解码图像存储于参照图片存储器109。
环路滤波器107对加法部106所生成的解码图像,实施去块滤波、SAO、ALF。需要说明的是,环路滤波器107不一定包括上述三种滤波器,例如也可以是仅包括去块滤波器的构成。
预测参数存储器108将编码参数确定部110所生成的预测参数按每个对象图片和CU存储于预定的位置。
参照图片存储器109将环路滤波器107所生成的解码图像按每个对象图片和CU每存储于预定的位置。
编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是指上述的QT、BT或TT分割信息、预测参数或与它们关联生成的作为编码对象的参数。预测图像生成部101使用这些编码参数来生成预测图像。
编码参数确定部110对多个集合的每一个集合计算出表示信息量的大小和编码误差的RD成本值。RD成本值例如是编码量与平方误差乘以系数λ而得到的值之和。代码量是对量化误差和编码参数进行熵编码而得到的编码流Te的信息量。平方误差是在减法部102中计算出的预测误差的平方和。系数λ是大于预先设定的零的实数。编码参数确定部110选择计算出的成本值为最小的编码参数的集合。由此,熵编码部104将所选出的编码参数的集合作为编码流Te输出。编码参数确定部110将所确定的编码参数存储于预测参数存储器108。
需要说明的是,可以通过计算机实现上述的实施方式中的运动图像编码装置11、运动图像解码装置31中的一部分,例如,熵解码部301、参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、环路滤波器107、编码参数确定部110以及参数编码部111。在该情况下,可以通过将用于实现该控制功能的程序记录于计算机可读记录介质,使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是,在此提到的“计算机系统”是指内置于运动图像编码装置11、运动图像解码装置31中的任一个的计算机系统,采用包括OS、外围设备等硬件的计算机系统。此外,“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且,“计算机可读记录介质”也可以包括:像经由互联网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的记录介质;以及像作为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样保存程序固定时间的记录介质。此外,上述程序可以是用于实现上述功能的一部分的程序,也可以是能通过与已记录在计算机系统中的程序进行组合来实现上述功能的程序。
本发明的一个方案的运动图像解码装置的特征在于,具备:图片分割部,将图片分割成以CTU、CTU列以及CTU行中的任一个为最小单位的局部图像区域和非局部图像区域;以及预测图像生成部,生成预测图像,上述预测图像生成部对局部图像区域中所包括的块使用仅参照上述图片中的局部图像区域的已解码的像素的帧内预测和环路滤波处理或参照上述图片的参照图片的局部图像区域的帧间预测,对非局部图像区域中所包括的块使用参照上述图片中的已解码的像素的帧内预测和环路滤波处理或参照上述图片的参照图片的帧间预测,该运动图像解码装置在上述图片解码后,将上述图片的上述局部图像区域设定为上述参照图片的局部图像区域。
本发明的一个方案的运动图像解码装置的特征在于,具备:图片分割部,将图片分割成以CTU、CTU列以及CTU行中的任一个为最小单位的局部图像区域和非局部图像区域;以及预测图像生成部,生成预测图像,上述预测图像生成部参照表示图片是否能随机接入的信息,在能随机接入的情况下,对局部图像区域中所包括的块使用仅参照上述图片中的局部图像区域的已解码的像素的帧内预测和环路滤波处理,在不能随机接入的情况下,对局部图像区域中所包括的块使用仅参照上述图片中的局部图像区域的已解码的像素的帧内预测和环路滤波处理或参照上述图片的参照图片的局部图像区域的帧间预测,对于非局部图像区域中所包括的块,无论与是否能随机接入,都使用参照上述图片中的已解码的像素的帧内预测和环路滤波处理,或参照上述图片的参照图片的帧间预测,该运动图像解码装置在上述图片解码后,将上述图片的上述局部图像区域设定为上述参照图片的局部图像区域。
本发明的一个方案的运动图像解码装置的特征在于,上述图片分割部参照从编码数据解码出的区域信息,将上述图片分割成局部图像区域和非局部图像区域。
本发明的一个方案的运动图像解码装置的特征在于,上述区域信息包括表示上述局部图像区域的位置和大小的信息。
本发明的一个方案的运动图像解码装置的特征在于对表示图片数的刷新信息进行解码,所述图片数是从包括能随机接入的信息的图片到整张图片为部分图像区域为止的图片数。
本发明的一个方案的运动图像编码装置的特征在于,具备:图片分割部,以CTU、CTU列以及CTU行中的任一个为最小单位将图片分割成局部图像区域和非局部图像区域;以及预测图像生成部,生成预测图像,上述预测图像生成部对局部图像区域中所包括的块使用仅参照上述图片中的局部图像区域的已解码的像素的帧内预测和环路滤波处理或参照上述图片的参照图片的限制参照区域的帧间预测,对非局部图像区域中所包括的块使用参照上述图片中的已解码的像素的帧内预测和环路滤波处理或参照上述图片的参照图片的帧间预测,在上述图片编码后,将上述图片的上述局部图像区域设定为上述限制参照区域。
此外,也可以将上述的实施方式中的运动图像编码装置11、运动图像解码装置31中的一部分或全部作为LSI(Large Scale Integration:大规模集成电路)等集成电路而实现。运动图像编码装置11、运动图像解码装置31的各功能块可以单独地处理器化,也可以将一部分或全部集成来处理器化。此外,集成电路化的方法并不限于LSI,也可以通过专用电路或通用处理器来实现。此外,在随着半导体技术的进步而出现代替LSI的集成电路化的技术的情况下,也可以使用基于该技术的集成电路。
以上,参照附图对该发明的一实施方式详细地进行了说明,但具体构成并不限于上述实施方式,在不脱离该发明的主旨的范围内,可以进行各种设计变更等。
〔应用例〕
上述运动图像编码装置11和运动图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是,运动图像可以是通过摄像机等拍摄的自然运动图像,也可以是通过计算机等生成的人工运动图像(包括CG和GUI)。
首先,参照图16对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的发送和接收的情况进行说明。
图16的(a)是表示搭载有运动图像编码装置11的发送装置PROD_A的构成的框图。如图16的(a)所示,发送装置PROD_A具备:通过对运动图像进行编码而得到编码数据的编码部PROD_A1、通过利用编码部PROD_A1所得到的编码数据对载波进行调制而得到调制信号的调制部PROD_A2以及发送调制部PROD_A2所得到的调制信号的发送部PROD_A3。上述的运动图像编码装置11被用作该编码部PROD_A1。
作为输入至编码部PROD_A1的运动图像的供给源,发送装置PROD_A也可以进一步具备:拍摄运动图像的摄像机PROD_A4、记录有运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6以及生成或加工图像的图像处理部A7。在图16的(a)中举例示出了发送装置PROD_A具备全部这些的构成,但也可以省略一部分。
需要说明的是,记录介质PROD_A5可以是记录有未被编码的运动图像的介质,也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行编码后的运动图像的介质。在后者的情况下,使按照记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)介于记录介质PROD_A5与编码部PROD_A1之间为好。
图16的(b)是表示搭载有运动图像解码装置31的接收装置PROD_B的构成的框图。如图16的(b)所示,接收装置PROD_B具备:接收调制信号的接收部PROD_B1、通过对接收部PROD_B1所接收到的调制信号进行解调而得到编码数据的解调部PROD_B2以及通过对解调部PROD_B2所得到的编码数据进行解码而得到运动图像的解码部PROD_B3。上述的运动图像解码装置31被用作该解码部PROD_B3。
接收装置PROD_B作为解码部PROD_B3所输出的运动图像的供给目的地,也可以进一步具备显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5以及用于将运动图像输出至外部的输出端子PROD_B6。在图16的(b)中举例示出了接收装置PROD_B具备全部这些的构成,但也可以省略一部分。
需要说明的是,记录介质PROD_B5可以是用于记录未被编码的运动图像的介质,也可以是以与传输用的编码方式不同的记录用的编码方式编码后的介质。在后者的情况下,使按照记录用的编码方式对从解码部PROD_B3获取到的运动图像进行编码的编码部(未图示)介于解码部PROD_B3与记录介质PROD_B5之间为好。
需要说明的是,传输调制信号的传输介质可以是无线的,也可以是有线的。此外,传输调制信号的传输方案可以是广播(在此,指发送目的地未预先确定的发送方案),也可以是通信(在此,指发送目的地已预先确定的发送方案)。即,调制信号的传输可以通过无线广播、有线广播、无线通信以及有线通信的任一个来实现。
例如,地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。此外,有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。
此外,使用互联网的VOD(Video On Demand:视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例(通常,在LAN中使用无线或有线的任一个作为传输介质,在WAN中使用有线作为传输介质)。在此,个人计算机包括台式PC、膝上型PC以及平板型PC。此外,智能手机中也包括多功能便携电话终端。
需要说明的是,运动图像共享服务的客户端除了对从服务器下载的编码数据进行解码并显示于显示器的功能以外,还具有对通过摄像机拍摄到的运动图像进行编码并上传至服务器的功能。即,运动图像共享服务的客户端发挥发送装置PROD_A和接收装置PROD_B这两方的功能。
接着,参照图17,对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的记录和再现的情况进行说明。
图17的(a)是表示搭载有上述的运动图像编码装置11的记录装置PROD_C的构成的框图。如图17的(a)所示,记录装置PROD_C具备:通过对运动图像进行编码而得到编码数据的编码部PROD_C1和将编码部PROD_C1所得到的编码数据写入记录介质PROD_M的写入部PROD_C2。上述的运动图像编码装置11被用作该编码部PROD_C1。
需要说明的是,记录介质PROD_M可以是(1)如HDD(Hard Disk Drive:硬盘驱动器)、SSD(Solid State Drive:固态硬盘)等那样内置于记录装置PROD_C的类型的记录介质,也可以是(2)如SD存储卡、USB(Universal Serial Bus:通用串行总线)闪存等那样连接于记录装置PROD_C的类型的记录介质,还可以是(3)如DVD(Digital Versatile Disc:数字通用光盘、注册商标)、BD(Blu-ray(注册商标)Disc:蓝光光盘、注册商标)等那样装填至内置于记录装置PROD_C的驱动装置(未图示)的记录介质。
此外,作为输入至编码部PROD_C1的运动图像的供给源,记录装置PROD_C也可以进一步具备:拍摄运动图像的摄像机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5以及生成或加工图像的图像处理部PROD_C6。在图17的(a)中举例示出了记录装置PROD_C具备全部这些的构成,但也可以省略一部分。
需要说明的是,接收部PROD_C5可以接收未被编码的运动图像,也可以接收以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下,使对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)介于接收部PROD_C5与编码部PROD_C1之间为好。
作为这种记录装置PROD_C,例如可举出:DVD记录器、BD记录器、HDD(Hard DiskDrive)记录器等(在该情况下,输入端子PROD_C4或接收部PROD_C5为运动图像的主要的供给源)。此外,便携式摄像机(在该情况下,摄像机PROD_C3为运动图像的主要的供给源)、个人计算机(在该情况下,接收部PROD_C5或图像处理部C6为运动图像的主要的供给源)、智能手机(在该情况下,摄像机PROD_C3或接收部PROD_C5为运动图像的主要的供给源)等也是这种记录装置PROD_C的一个示例。
图17的(b)是表示搭载有上述的运动图像解码装置31的再现装置PROD_D的构成的框图。如图17的(b)所示,再现装置PROD_D具备:读出已写入记录介质PROD_M的编码数据的读出部PROD_D1和通过对读出部PROD_D1所读出的编码数据进行解码而得到运动图像的解码部PROD_D2。上述的运动图像解码装置31被用作该解码部PROD_D2。
需要说明的是,记录介质PROD_M可以是(1)如HDD、SSD等那样内置于再现装置PROD_D的类型的记录介质,也可以是(2)如SD存储卡、USB闪存等那样连接于再现装置PROD_D的类型的记录介质,也可以是(3)如DVD、BD等那样装填至内置于再现装置PROD_D的驱动装置(未图示)的记录介质。
此外,作为解码部PROD_D2所输出的运动图像的供给目的地,再现装置PROD_D也可以进一步具备:显示运动图像的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4以及发送运动图像的发送部PROD_D5。在图17的(b)中举例示出了再现装置PROD_D具备全部这些的构成,但也可以省略一部分。
需要说明的是,发送部PROD_D5可以发送未被编码的运动图像,也可以发送以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下,使以传输用的编码方式对运动图像进行编码的编码部(未图示)介于解码部PROD_D2与发送部PROD_D5之间为好。
作为这种再现装置PROD_D,例如可列举出DVD播放器、BD播放器、HDD播放器等(在该情况下,连接有电视接收机等的输出端子PROD_D4为运动图像的主要供给目的地)。此外,电视接收机(在该情况下,显示器PROD_D3为运动图像的主要供给目的地)、数字标牌(也称为电子看板、电子公告板等,显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、台式PC(在该情况下,输出端子PROD_D4或发送部PROD_D5为运动图像的主要供给目的地)、膝上型或平板型PC(在该情况下,显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、智能手机(在该情况下,显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)等也是这种再现装置PROD_D的一个示例。
(硬件实现以及软件实现)
此外,上述的运动图像解码装置31和运动图像编码装置11的各块可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现,也可以利用CPU(Central ProcessingUnit:中央处理器)而以软件方式地实现。
在后者的情况下,上述各装置具备:执行实现各功能的程序的命令的CPU、储存上述程序的ROM(Read Only Memory:只读存储器)、展开上述程序的RAM(Random AccessMemory:随机存取存储器)以及储存上述程序和各种数据的存储器等存储装置(记录介质)等。然后,本发明的实施方案的目的在于通过以下方式也能达到:将以计算机可读取的方式记录实现前述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置,该计算机(或CPU、MPU)读出记录于记录介质的程序代码并执行。
作为上述记录介质,例如可以使用:磁带、盒式磁带等带类;包括软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory:光盘只读存储器)/MO盘(Magneto-Optical disc:磁光盘)/MD(Mini Disc:迷你磁光盘、注册商标)/DVD(Digital VersatileDisc:数字多功能光盘)/CD-R(CD Recordable:光盘刻录片)/蓝光光盘(Blu-ray(注册商标)Disc:注册商标)等光盘的盘类;IC卡(包括存储卡)/光卡等卡类;掩膜ROM/EPROM(Erasable Programmable Read-Only Memory:可擦可编程只读存储器)/EEPROM(Electrically Erasable and Programmable Read-Only Memory:电可擦可编程只读存储器、注册商标)/闪速ROM等半导体存储器类;或者PLD(Programmable logic device:可编程逻辑器件)、FPGA(Field Programmable Gate Array:现场可编程门阵列)等逻辑电路类等。
此外,也可以将上述各装置构成为能与通信网络连接,并经由通信网络供给上述程序代码。该通信网络能传输程序代码即可,不被特别限定。例如,可利用互联网、内联网(intranet)、外联网(extranet)、LAN(Local Area Network:局域网)、ISDN(IntegratedServices Digital Network:综合业务数字网)、VAN(Value-Added Network:增值网络)、CATV(CommunityRAntenna television/Cable Television:共用天线电视/有线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。此外,构成该通信网络的传输介质也是为能传输程序代码的介质即可,不限定于特定的构成或种类。例如,无论在IEEE(Institute of Electrical and Electronic Engineers:电气和电子工程师协会)1394、USB、电力线输送、有线TV线路、电话线、ADSL(AsymmetricDigital Subscriber Line:非对称数字用户线路)线路等有线中,还是在如IrDA(InfraredData Association:红外线数据协会)、遥控器那样的红外线、BlueTooth(注册商标)、IEEE802.11无线、HDR(High Data Rate:高数据速率)、NFC(Near Field Communication:近场通讯)、DLNA(注册商标)(Digital Living Network Alliance:数字生活网络联盟、注册商标)、便携电话网、卫星线路、地面数字广播网等无线中都可利用。需要说明的是,本发明的实施方式即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能够实现。
本发明的实施方式并不限定于上述的实施方式,能在权利要求所示的范围内进行各种变更。即,将在权利要求所示的范围内经过适当变更的技术方案组合而得到的实施方式也包括在本发明的技术范围内。
工业上的可利用性
本发明的实施方式能优选地应用于对将图像数据编码而得到的编码数据进行解码的运动图像解码装置,以及生成将图像数据编码而得到的编码数据的运动图像编码装置。此外,能优选地应用于由运动图像编码装置生成并被运动图像解码装置参照的编码数据的数据结构。
(关联申请的相互参照)
本申请基于2018年8月29日提出申请的日本专利申请:日本特愿2018-160712主张优先权的利益,并通过对其进行参照而将其全部内容包括到本说明书中。
附图标记说明
31 图像解码装置
301 熵解码部
302 参数解码部
3020 报头解码部
303 帧间预测参数解码部
304 帧内预测参数解码部
308 预测图像生成部
309 帧间预测图像生成部
310 帧内预测图像生成部
311 逆量化/逆变换部
312 加法部
320 局部图像区域控制部
11 图像编码装置
101 预测图像生成部
102 减法部
103 变换/量化部
104 熵编码部
105 逆量化/逆变换部
107 环路滤波器
110 编码参数确定部
111 参数编码部
112 帧间预测参数编码部
113 帧内预测参数编码部
120 局部图像区域控制部
1110 报头编码部
1111 CT信息编码部
1112 CU编码部(预测模式编码部)
1114 TU编码部

Claims (7)

1.一种对NAL UNIT进行解码的运动图像解码装置,其特征在于,具备
参数解码部,对序列参数集中所包括的关于是否使用逐渐刷新图片的刷新有效信息进行解码,
所述参数解码部使用所述NAL UNIT的类型来识别是否为所述逐渐刷新图片,
所述参数解码部对与图片数有关的语法进行解码,所述图片数是从所述逐渐刷新图片到能正确地解码整张图片的图片为止的图片数。
2.根据权利要求1所述的运动图像解码装置,其特征在于,具备:
图片分割部,将图片分割成以CTU、CTU列以及CTU行中的任一个为最小单位的局部图像区域和非局部图像区域;以及
预测图像生成部,生成预测图像,
所述预测图像生成部对所述局部图像区域内的块使用仅参照所述局部图像区域的已解码的像素的帧内预测和环路滤波处理或参照所述图片的参照图片的局部图像区域的帧间预测,
对所述非局部图像区域内的块使用参照所述图片的已解码的像素的帧内预测和环路滤波处理或参照所述参照图片的帧间预测,
将所述局部图像区域设定为所述参照图片的局部图像区域。
3.根据权利要求2所述的运动图像解码装置,其特征在于,
所述局部图像区域根据所述图片是否能随机接入,使用对应的处理设定为所述参照图片的局部图像区域。
4.根据权利要求2所述的运动图像解码装置,其特征在于,
所述图片分割部使用从编码数据解码出的区域信息对所述图片进行分割。
5.根据权利要求4所述的运动图像解码装置,其特征在于,
所述区域信息包括表示所述局部图像区域的位置和大小的信息。
6.一种对NAL UNIT进行编码的运动图像编码装置,其特征在于,
具备参数编码部,对序列参数集中所包括的关于是否使用逐渐刷新图片的刷新有效信息进行编码,
所述参数编码部使用所述NAL UNIT的类型来识别是否为所述逐渐刷新图片,
所述参数编码部对与图片数有关的语法进行编码,所述图片数是从所述逐渐刷新图片到能正确地解码整张图片的图片为止的图片数。
7.根据权利要求6所述的运动图像编码装置,其特征在于,具备:
图片分割部,以CTU、CTU列以及CTU行中的任一个为最小单位,将图片分割成局部图像区域和非局部图像区域;以及
预测图像生成部,生成预测图像,
所述预测图像生成部对所述局部图像区域内的块使用仅参照所述局部图像区域的已解码的像素的帧内预测和环路滤波处理或参照所述图片的参照图片的局部图像区域的帧间预测,
对所述非局部图像区域内的块使用参照所述图片的已解码的像素的帧内预测和环路滤波处理或参照所述参照图片的帧间预测,
将所述局部图像区域设定为所述参照图片的局部图像区域。
CN201980056359.1A 2018-08-29 2019-08-22 运动图像解码装置以及运动图像编码装置 Pending CN112956206A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018160712 2018-08-29
JP2018-160712 2018-08-29
PCT/JP2019/032910 WO2020045248A1 (ja) 2018-08-29 2019-08-22 動画像復号装置および動画像符号化装置

Publications (1)

Publication Number Publication Date
CN112956206A true CN112956206A (zh) 2021-06-11

Family

ID=69644236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980056359.1A Pending CN112956206A (zh) 2018-08-29 2019-08-22 运动图像解码装置以及运动图像编码装置

Country Status (6)

Country Link
US (3) US11539968B2 (zh)
EP (1) EP3846474A4 (zh)
JP (1) JPWO2020045248A1 (zh)
CN (1) CN112956206A (zh)
CA (1) CA3111617A1 (zh)
WO (1) WO2020045248A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11240500B2 (en) * 2018-06-01 2022-02-01 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
WO2020045248A1 (ja) 2018-08-29 2020-03-05 シャープ株式会社 動画像復号装置および動画像符号化装置
SG11202107008TA (en) * 2018-12-27 2021-07-29 Huawei Tech Co Ltd Flexible tiling in video coding
KR20200110213A (ko) * 2019-03-12 2020-09-23 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040066854A1 (en) * 2002-07-16 2004-04-08 Hannuksela Miska M. Method for random access and gradual picture refresh in video coding
WO2014002385A1 (ja) * 2012-06-25 2014-01-03 日本電気株式会社 映像符号化/復号装置、方法、プログラム
US20140092963A1 (en) * 2012-09-28 2014-04-03 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
CN104160702A (zh) * 2011-11-04 2014-11-19 高通股份有限公司 具有包含多个经编码图片分区的网络抽象层单元的视频译码
WO2016188447A1 (en) * 2015-05-28 2016-12-01 Hfi Innovation Inc. Method and apparatus for using a current picture as a reference picture
US20170347109A1 (en) * 2016-05-24 2017-11-30 Qualcomm Incorporated Mapping of tile grouping and samples in hevc and l-hevc file formats

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9516308B2 (en) * 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
JP2018160712A (ja) 2017-03-22 2018-10-11 オンキヨー株式会社 音楽再生装置、プラグ、ヘッドホン、及び、アダプタ
WO2020045248A1 (ja) 2018-08-29 2020-03-05 シャープ株式会社 動画像復号装置および動画像符号化装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040066854A1 (en) * 2002-07-16 2004-04-08 Hannuksela Miska M. Method for random access and gradual picture refresh in video coding
CN104160702A (zh) * 2011-11-04 2014-11-19 高通股份有限公司 具有包含多个经编码图片分区的网络抽象层单元的视频译码
WO2014002385A1 (ja) * 2012-06-25 2014-01-03 日本電気株式会社 映像符号化/復号装置、方法、プログラム
US20140092963A1 (en) * 2012-09-28 2014-04-03 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
WO2016188447A1 (en) * 2015-05-28 2016-12-01 Hfi Innovation Inc. Method and apparatus for using a current picture as a reference picture
US20170347109A1 (en) * 2016-05-24 2017-11-30 Qualcomm Incorporated Mapping of tile grouping and samples in hevc and l-hevc file formats

Also Published As

Publication number Publication date
US20230041444A1 (en) 2023-02-09
EP3846474A1 (en) 2021-07-07
CA3111617A1 (en) 2020-03-05
WO2020045248A1 (ja) 2020-03-05
EP3846474A4 (en) 2022-06-08
US20240114155A1 (en) 2024-04-04
US11539968B2 (en) 2022-12-27
US11889092B2 (en) 2024-01-30
US20210400285A1 (en) 2021-12-23
JPWO2020045248A1 (ja) 2021-08-12

Similar Documents

Publication Publication Date Title
WO2021111962A1 (ja) 動画像復号装置
US11889092B2 (en) Video decoding apparatus and video coding apparatus
CN113228682A (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN113170186A (zh) 运动图像解码装置
US20240007650A1 (en) Video decoding apparatus and video coding apparatus
US20230319305A1 (en) Video decoding apparatus
JP2020088660A (ja) 動画像符号化装置、動画像復号装置
JP2020096279A (ja) 予測画像生成装置、動画像復号装置および動画像符号化装置
US20230143900A1 (en) Video decoding apparatus, video coding apparatus, video decoding method, and video coding method
WO2021200658A1 (ja) 動画像復号装置及び動画像復号方法
WO2020032049A1 (ja) 動画像復号装置、および動画像符号化装置
JP2020170901A (ja) 予測画像生成装置、動画像復号装置および動画像符号化装置
JP2020088577A (ja) 予測画像生成装置、動画像復号装置、および動画像符号化装置
WO2019065537A1 (ja) 動き補償フィルタ装置、画像復号装置および動画像符号化装置
JP7378968B2 (ja) 予測画像生成装置、動画像復号装置および動画像符号化装置
JP7465128B2 (ja) 動画像符号化装置及び動画像復号装置
US12003775B2 (en) Video decoding apparatus and video coding apparatus
WO2021235448A1 (ja) 動画像符号化装置及び動画像復号装置
WO2020122130A1 (ja) 予測画像生成装置、動画像復号装置、動画像符号化装置および予測画像生成方法
JP2022085475A (ja) 動画像符号化装置、復号装置
JP2023003481A (ja) 画像復号装置および画像符号化装置
JP2021180342A (ja) 予測画像生成装置、動画像復号装置、および動画像符号化装置
JP2021125798A (ja) 動画像符号化装置、復号装置
JP2021180344A (ja) 予測画像生成装置、動画像復号装置、および動画像符号化装置
JP2021197558A (ja) 動画像符号化装置及び動画像復号装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination