CN111698519B - 图像解码装置以及图像编码装置 - Google Patents

图像解码装置以及图像编码装置 Download PDF

Info

Publication number
CN111698519B
CN111698519B CN202010158456.6A CN202010158456A CN111698519B CN 111698519 B CN111698519 B CN 111698519B CN 202010158456 A CN202010158456 A CN 202010158456A CN 111698519 B CN111698519 B CN 111698519B
Authority
CN
China
Prior art keywords
image
unit
metadata
division
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010158456.6A
Other languages
English (en)
Other versions
CN111698519A (zh
Inventor
伊藤典男
猪饲知宏
中条健
桥本知典
佐佐木瑛一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to CN202210802732.7A priority Critical patent/CN115022651A/zh
Publication of CN111698519A publication Critical patent/CN111698519A/zh
Application granted granted Critical
Publication of CN111698519B publication Critical patent/CN111698519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Discrete Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

问题实现图像解码装置能适当地执行图像处理的图像解码装置和图像编码装置。解决方法图像解码装置(31)具备：解码部(300)，从编码数据解码出解码图像和分割元数据；分割元数据解码部(320)，生成分割信息；以及图像处理部(330)，参考分割信息对解码图像进行规定的图像处理。

Description

图像解码装置以及图像编码装置
技术领域
本发明的实施方式涉及图像解码装置以及图像编码装置。
背景技术
为了高效地传输或记录运动图像，使用通过对运动图像进行编码而生成编码数据的运动图像编码装置，以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。
作为具体的运动图像编码方式，例如可列举出在H.264/AVC、HEVC(High-Efficiency Video Coding：高效运动图像编码)中提出的方式等。
在这样的运动图像编码方式中，构成运动图像的图像(图片)通过分级结构来管理，并按每个CU进行编码/解码，所述分级结构包括通过分割图像而得到的切片、通过分割切片而得到的编码树单元(CTU：Coding Tree Unit)、通过分割编码树单元而得到的编码单位(有时也称为编码单元(Coding Unit：CU))以及通过分割编码单位而得到的变换单元(TU：Transform Unit)。
此外，在这样的运动图像编码方式中，通常，基于通过对输入图像进行编码/解码而得到的局部解码图像而生成预测图像，对从输入图像(原图像)中减去该预测图像而得到的预测误差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可列举出画面间预测(帧间预测)和画面内预测(帧内预测)。
此外，作为近年来的运动图像编码和解码的技术，可列举出非专利文献1。
现有技术文献
非专利文献
非专利文献1
“Algorithm Description of Joint Exploration Test Model 7”,J VET-G1001,Joint Video Exploration Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,2017-08-19
发明内容
发明要解决的问题
存在为了更适当地进行图像解码装置所解码的解码图像的图像处理，而基于如上所述的现有技术改善图像解码装置和图像编码装置的余地。
本发明是鉴于上述问题而完成的，其目的在于，实现图像解码装置能适当地执行图像处理的图像解码装置和图像编码装置。
技术方案
为了解决上述的问题，本发明的一个方案的图像解码装置具备：解码部，从编码数据解码出解码图像和分割元数据；分割元数据解码部，参考由上述解码部解码的分割元数据来生成分割信息；以及图像处理部，参考上述分割信息来对上述解码图像进行规定的图像处理。
为了解决上述的问题，本发明的一个方案的图像解码装置具备：解码部，从编码数据解码出解码图像和用于超分辨率处理的超分辨元数据；以及超分辨率部，通过参考上述超分辨率元数据对上述解码图像进行超分辨率处理来生成超分辨图像。
为了解决上述的问题，本发明的一个方案的图像解码装置具备：解码部，从编码数据解码出解码图像和超分辨率元数据；以及自动编码器，将上述解码图像和上述超分辨率元数据作为输入，输出超分辨率图像。
为了解决上述的问题，本发明的一个方案的图像编码装置具备：图像处理部，通过对输入图像进行规定的图像处理来生成已处理图像；编码部，通过对上述已处理图像进行编码来生成编码数据；以及分割元数据生成部，参考上述输入图像来生成分割元数据，上述编码部将上述分割元数据包括于上述编码数据。
为了解决上述的问题，本发明的一个方案的图像编码装置具备：图像缩小部，通过对输入图像进行图像缩小处理来生成已缩小图像；编码部，通过对上述已缩小图像进行编码来生成编码数据；以及超分辨率元数据生成部，参考局部解码图像和上述输入图像来生成超分辨率元数据，上述编码部将上述超分辨率元数据包括于上述编码数据。
为了解决上述的问题，本发明的一个方案的图像编码装置具备：图像缩小部，通过对输入图像进行图像缩小处理来生成已缩小图像；编码部，通过对上述已缩小图像进行编码来生成编码数据；以及自动编码器，对上述输入图像进行作用，上述编码部将上述自动编码器的输出数据包括于上述编码数据。
有益效果
根据本发明的一个方案，能实现图像解码装置能适当地执行图像处理的图像解码装置和图像编码装置。
附图说明
图1是表示本实施方式的图像传输系统的构成的概略图。
图2是表示搭载有本实施方式的运动图像编码装置的发送装置和搭载有运动图像解码装置的接收装置的构成的图。图2的(a)表示搭载有运动图像编码装置的发送装置，图2的(b)表示搭载有运动图像解码装置的接收装置。
图3是表示搭载有本实施方式的运动图像编码装置的记录装置和搭载有运动图像解码装置的再现装置的构成的图。图3的(a)表示搭载有运动图像编码装置的记录装置，图3的(b)表示搭载有运动图像解码装置的再现装置。
图4是表示编码流的数据的分级结构的图。
图5是表示CTU的分割例的图。
图6是表示本实施方式的运动图像解码装置的构成的功能框图。
图7是表示本实施方式的运动图像解码装置的分割元数据解码部的构成的功能框图。
图8是表示本实施方式的运动图像编码装置的构成的功能框图。
图9是表示本实施方式的运动图像编码装置的分割元数据生成部的构成的功能框图。
图10是表示分割元数据的一个示例的图。
图11是表示分割元数据中所包括的语法的图。
图12是表示本实施方式的运动图像解码装置的构成的功能框图。
图13是表示本实施方式的运动图像解码装置的分割元数据解码部的构成的功能框图。
图14是表示本实施方式的运动图像编码装置的构成的功能框图。
图15是表示本实施方式的运动图像编码装置的分割元数据生成部的构成的功能框图。
图16是表示本实施方式的运动图像解码装置的构成的功能框图。
图17是表示本实施方式的运动图像解码装置的分割元数据解码部的构成的功能框图。
图18是表示本实施方式的运动图像编码装置的构成的功能框图。
图19是表示本实施方式的运动图像编码装置的分割元数据生成部的构成的功能框图。
图20是表示本实施方式的运动图像解码装置的构成的功能框图。
图21是表示本实施方式的运动图像解码装置的超分辨率部的构成的功能框图。
图22是表示本实施方式的运动图像编码装置的构成的功能框图。
图23是表示本实施方式的运动图像编码装置的超分辨率元数据生成部的构成的功能框图。
图24是表示本实施方式的运动图像解码装置的构成的功能框图。
图25是表示本实施方式的运动图像编码装置的构成的功能框图。
图26是表示本实施方式的运动图像解码装置的超分辨率部的构成的功能框图。
图27是表示本实施方式的运动图像编码装置的超分辨率元数据生成部的构成的功能框图。
具体实施方式
(实施方式)
以下，参照附图对本发明的实施方式进行说明。
图1是表示本实施方式的图像传输系统1的构成的概略图。
图像传输系统1是传输对编码对象图像进行编码而得到的编码流，对所传输的编码流进行解码并显示图像的系统。图像传输系统1构成为包括：运动图像编码装置(图像编码装置)11、网络21、运动图像解码装置(图像解码装置)31以及运动图像显示装置(图像显示装置)41。
运动图像编码装置11被输入图像T。
网络21将运动图像编码装置11所生成的编码流Te传输至运动图像解码装置31。网络21是互联网(Internet)、广域网(WAN：Wide Area Network)、小型网络(LAN：Local AreaNetwork，局域网)或它们的组合。网络21不一定限定于双向的通信网，也可以是传输地面数字广播、卫星广播等广播波的单向的通信网。此外，网络21也可以用DVD(DigitalVersatile Disc：数字通用光盘，注册商标)、BD(Blue-ray Disc：蓝光光盘，注册商标)等记录有编码流Te的存储介质代替。
运动图像解码装置31对网络21所传输的编码流Te分别进行解码，生成解码后的一个或多个解码图像Td。运动图像解码装置31参考所生成的一个或多个解码图像Td来生成一个或多个已处理图像(超分辨图像)Tr。
运动图像显示装置41显示运动图像解码装置31所生成的一个或多个解码图像Td或者一个或多个已处理图像Tr的全部或一部分。运动图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence：电致发光)显示器等显示设备。作为显示器的形式，可列举出固定式、移动式、HMD等。此外，在运动图像解码装置31具有高处理能力的情况下显示画质高的图像，在仅具有较低处理能力的情况下显示不需要高处理能力、高显示能力的图像。
<运算符>
以下记述在本说明书中使用的运算符。
>>为向右位移，<<为向左位移，&为逐位AND，|为逐位OR，|＝为OR代入运算符，||表示逻辑和。
x？y：z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。
Clip3(a，b，c)
是将c限幅于a以上b以下的值的函数，是在c<a的情况下返回a、在c>b的情况下返回b、在其他情况下返回c的函数(其中a<＝b)。
abs(a)是返回a的绝对值的函数。
Int(a)是返回a的整数值的函数。
floor(a)是返回a以下的最大整数的函数。
ceil(a)是返回a以上的最大整数的函数。
a/d表示a除以d(舍去小数点以下)。
<编码流Te的结构>
在对本实施方式的运动图像编码装置11和运动图像解码装置31进行详细说明之前，对由运动图像编码装置11生成并由运动图像解码装置31进行解码的编码流Te的数据结构进行说明。
图4是表示编码流Te中的数据的分级结构的图。编码流Te示例性地包括序列和构成序列的多张图片。图4的(a)～(f)分别是表示既定序列SEQ的编码视频序列、规定图片PICT的编码图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中所包括的编码树单元以及编码树单元中所包括的编码单元的图。
(编码视频序列)
在编码视频序列中，规定有数据的集合，供运动图像解码装置31为了对处理对象的序列SEQ进行解码而参考。序列SEQ如图4的(a)所示，包括视频参数集(Video ParameterSet)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(Picture ParameterSet)、图片PICT以及补充增强信息SEI(Supplemental Enhancement Information)。
视频参数集VPS在由多层构成的运动图像中，规定有多个运动图像通用的编码参数的集合，以及运动图像中所包括的多层和与各层关联的编码参数的集合。
在序列参数集SPS中，规定有运动图像解码装置31为了对对象序列进行解码而参考的编码参数的集合。例如，规定有图片的宽度、高度。需要说明的是，SPS可以存在多个。在该情况下，从PPS中选择多个SPS中的任一个。
在图片参数集PPS中，规定有运动图像解码装置31为了对对象序列内的各图片进行解码而参考的编码参数的集合。例如包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)和指示加权预测的应用的标志(weighted_pred_flag)。需要说明的是，PPS可以存在多个。在该情况下，从对象序列内的各图片中选择多个PPS中的任一个。
(编码图片)
在编码图片中，规定有运动图像解码装置31为了对处理对象的图片PICT进行解码而参考的数据的集合。图片PICT如图4的(b)所示，包括切片0～切片NS-1(NS为图片PICT中所包括的切片的总数)。
需要说明的是，以下，在无需对各切片0～切片NS-1进行区分的情况下，有时会省略代码的下标来进行记述。此外，以下所说明的编码流Te中所包括的且带有下标的其他数据也是同样的。
(编码切片)
在编码切片中，规定有运动图像解码装置31为了对处理对象的切片S进行解码而参考的数据的集合。切片如图4的(c)所示包括切片标头和切片数据。
切片标头中包括运动图像解码装置31为了确定对象切片的解码方法而参考的编码参数组。指定切片类型的切片类型指定信息(slice_type)是切片标头中所包括的编码参数的一个示例。
作为能由切片类型指定信息指定的切片类型，可列举：(1)在进行编码时仅使用帧内预测的I切片、(2)在进行编码时使用单向预测或帧内预测的P切片以及(3)在进行编码时使用单向预测、双向预测或帧内预测的B切片等。需要说明的是，帧间预测不限于单向预测、双向预测，也可以使用更多的参考图片来生成预测图像。以下，称为P、B切片的情况是指包括能使用帧间预测的块的切片。
需要说明的是，切片标头中也可以包括对图片参数集PPS的参考(pic_parameter_set_id)。
(编码切片数据)
在编码切片数据中，规定有运动图像解码装置31为了对处理对象的切片数据进行解码而参考的数据的集合。切片数据如图4的(d)所示包括CTU。CTU是构成切片的固定大小(例如64×64)的块，有时也称为最大编码单位(LCU：Largest Coding Unit)。
(编码树单元)
在图4的(e)中，规定有运动图像解码装置31为了对处理对象的CTU进行解码而参考的数据的集合。CTU通过递归的四叉树分割(QT(Quad Tree)分割)、二叉树分割(BT(Binary Tree)分割)或三叉树分割(TT(Ternary Tree)分割)分割成作为编码处理的基本单位的编码单元CU。将BT分割和TT分割统称为多叉树分割(MT(Multi Tree)分割)。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(Coding Node)。四叉树、二叉树以及三叉树的中间节点为编码节点，CTU本身也被规定为最上层的编码节点。
CT包括以下信息作为CT信息：表示是否进行QT分割的QT分割标志(cu_split_flag)、表示有无MT分割的MT分割标志(split_mt_flag)、表示MT分割的分割方向的MT分割方向(split_mt_dir)、表示MT分割的分割类型的MT分割类型(split_mt_type)。cu_split_flag、split_mt_flag、split_mt_dir、split_mt_type按每个编码节点进行传输。
在cu_split_flag为1的情况下，编码节点分割成4个编码节点(图5的(b))。
在cu_split_flag为0时，split_mt_flag为0的情况下，不分割编码节点，而保持1个CU作为节点(图5的(a))。CU为编码节点的末端节点，且不进行进一步分割。CU为编码处理的基本单位。
在split_mt_flag为1的情况下如下所示地对编码节点进行MT分割。在split_mt_type为0时，split_mt_dir为1的情况下，将编码节点水平分割成2个编码节点(图5的(d))，在split_mt_dir为0的情况下将编码节点垂直分割成2个编码节点(图5的(c))。此外，在split_mt_type为1时，split_mt_dir为1的情况下，将编码节点水平分割成3个编码节点(图5的(f))，在split_mt_dir为0的情况下将编码节点垂直分割成3个编码节点(图5的(e))。将它们在图5的(g)中示出。
此外，在CTU的尺寸为64×64像素的情况下，CU的大小能取64×64像素、64×32像素、32×64像素、32×32像素、64×16像素、16×64像素、32×16像素、16×32像素、16×16像素、64×8像素、8×64像素、32×8像素、8×32像素、16×8像素、8×16像素、8×8像素、64×4像素、4×64像素、32×4像素、4×32像素、16×4像素、4×16像素、8×4像素、4×8像素以及4×4像素中的任一种。
(编码单元)
如图4的(f)所示，规定有运动图像解码装置31为了对处理对象的编码单元进行解码而参考的数据的集合。具体而言，CU由CU标头CUH、预测参数、变换参数、量化变换系数等构成。在CU标头中规定有预测模式等。
预测处理存在以CU为单位进行的情况和以将CU进一步分割后得到的子CU为单位进行的情况。在CU与子CU的大小相等的情况下，CU中的子CU为1个。在CU的大小大于子CU的大小的情况下，CU被分割成子CU。例如，在CU为8×8、子CU为4×4的情况下，CU被分割成4个子CU，包括水平分割的两部分和垂直分割的两部分。
预测的种类(预测模式)存在帧内预测和帧间预测两种。帧内预测是同一图片内的预测，帧间预测是指在互不相同的图片间(例如显示时刻间、层图像间)进行的预测处理。
变换/量化部处理以CU为单位来进行，但量化变换系数也可以以4x4等的子块为单位来进行熵编码。
(预测参数)
预测图像由附加于块的预测参数而推导出。预测参数中存在帧内预测和帧间预测的预测参数。
(运动图像解码装置的构成例1)
对本实施方式的运动图像解码装置31(图6)的构成进行说明。
运动图像解码装置31构成为包括：图像解码部(解码部)300、分割元数据解码部320以及超分辨率部(图像处理部)330。
图像解码部300从图像解码部300的熵解码部301获取编码流(编码数据)Te，并从获取到的编码流Te解码出解码图像Td和分割元数据Tsm。图像解码部300构成为包括：熵解码部301、参数解码部(预测图像解码装置)302、环路滤波器305、参考图片存储器306、预测参数存储器307、预测图像生成部(预测图像生成装置)308、逆量化/逆变换部311以及加法部312。需要说明的是，根据后述的运动图像编码装置11，也存在运动图像解码装置31中不包括环路滤波器305的构成。
此外，参数解码部302构成为包括未图示的帧间预测参数解码部和帧内预测参数解码部。预测图像生成部308构成为包括帧间预测图像生成部309和帧内预测图像生成部310。
此外，在下文中对将CTU、CU用作处理单位的示例进行了记载，但不限于此，也可以以子CU为单位进行处理。或者，也可以设为将CTU、CU替换为块，将子CU替换为子块，以块或子块为单位进行的处理。
熵解码部301对从外部输入的编码流Te进行熵解码，分离各个代码(语法要素)并进行解码。熵编码中存在如下方式：使用根据语法要素的种类、周围的状况而适当选择出的上下文(概率模型)对语法要素进行可变长度编码的方式；以及使用预定的表或计算式对语法要素进行可变长度编码的方式。前者CABAC(Context Adaptive Binary ArithmeticCoding：上下文自适应二进制算术编码)将按每个编码或解码后的图片(切片)进行更新的概率模型储存于存储器。然后，作为P图片或B图片的上下文的初始状态，根据储存于存储器的概率模型，设定使用了相同的切片类型、相同的切片级别的量化参数的图片的概率模型。将该初始状态用于编码、解码处理。分离后的代码中存在用于生成预测图像的预测信息和用于生成差分图像的预测误差等。
熵解码部301将分离后的代码输出至参数解码部302。分离后的代码例如是预测模式predMode、合并标志merge_flag、合并索引merge_idx、帧间预测标识符inter_pred_idc、参考图片索引refIdxLX、预测矢量索引mvp_LX_idx以及差分矢量mvdLX等。基于参数解码部302的指示来进行对哪一个代码进行解码的控制。熵解码部301将包括分割元数据Tsm的编码流Te输出至分割元数据解码部320。
环路滤波器305是设于编码环路内的滤波器，是去除块失真、振铃失真来改善画质的滤波器。环路滤波器305对加法部312所生成的CU的解码图像实施去块滤波、样本自适应偏移(SAO)、自适应环路滤波(ALF)等滤波。
参考图片存储器306将加法部312所生成的CU解码图像按每个对象图片和对象CU存储于预定的位置。
预测参数存储器307将预测参数按每个解码对象的CTU或CU存储于预定的位置。具体而言，预测参数存储器307存储由参数解码部302解码后的参数和由熵解码部301分离后的预测模式predMode等。
预测图像生成部308被输入预测模式predMode、预测参数等。此外，预测图像生成部308从参考图片存储器306中读出参考图片。预测图像生成部308在预测模式predMode所指示的预测模式下，使用预测参数和读出的参考图片(参考图片块)来生成块或子块的预测图像。在此，参考图片块是指参考图片上的像素的集合(通常为矩形因此称为块)，是为了生成预测图像而参考的区域。
逆量化/逆变换部311将从熵解码部301输入的量化变换系数逆量化来求出变换系数。该量化变换系数是在编码处理中对预测误差进行DCT(Discrete Cosine Transform，离散余弦变换)、DST(Discrete Sine Transform，离散正弦变换)、KLT(Karyhnen LoeveTransform，卡胡南列夫变换)等频率变换并量化而得到的系数。逆量化/逆变换部311对求出的变换系数进行逆DCT、逆DST、逆KLT等逆频率变换，计算预测误差。逆量化/逆变换部311将预测误差输出至加法部312。
加法部312将从预测图像生成部308输入的块的预测图像与从逆量化/逆变换部311输入的预测误差按每个像素相加，生成块的解码图像。加法部312将块的解码图像存储于参考图片存储器306，并向环路滤波器305输出。
分割元数据解码部320参考由图像解码部300解码后的分割元数据Tsm来生成分割信息Ts。图7是表示分割元数据解码部320的构成的功能框图。如图7所示，分割元数据解码部320具备自动解码器3201。自动解码器3201通过作用于分割元数据Tsm来生成分割信息Ts。具体而言，自动解码器3201生成分割信息Ts，所述分割信息Ts通过恢复运动图像编码装置11所具备的分割元数据生成部130的自动编码器1302所输出的分割元数据Tsm的维度，使数据量变大而得到。自动解码器3201将所生成的分割信息Ts输出至超分辨率部330。
超分辨率部330参考分割信息Ts对解码图像Td进行规定的图像处理。具体而言，超分辨率部330通过参考分割信息Ts对解码图像Td进行超分辨率处理来生成超分辨率图像Tr。
根据上述的构成，能将分割信息Ts用于超分辨率处理，所述分割信息Ts由运动图像编码装置11通过自动解码器3201将压缩已分割输入图像的维度而得到的分割元数据Tsm的维度恢复而生成。由此，能实现能适当地执行超分辨率处理的运动图像解码装置31。
(运动图像编码装置的构成例1)
接着，对本实施方式的运动图像编码装置11的构成进行说明。图8表示本实施方式的运动图像编码装置11的构成的框图。运动图像编码装置11构成为包括：图像缩小部(图像处理部)120、图像编码部(编码部)100以及分割元数据生成部130。
图像缩小部120通过对输入图像T进行规定的图像处理来生成已处理图像。具体而言，图像缩小部120通过对输入图像T进行图像缩小处理来生成已缩小图像。例如，图像缩小部120通过对分辨率为8K的输入图像T进行图像缩小处理来生成4K的已缩小图像。
图像编码部100通过对已缩小图像(已处理图像)进行编码来生成编码流Te。图像编码部100将分割元数据生成部130所生成的分割元数据Tsm包括于编码流Te。图像编码部100构成为包括：预测图像生成部101、减法部102、变换/量化部103、逆量化/逆变换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参考图片存储器(参考图像存储部、帧存储器)109、编码参数确定部110以及参数编码部111。
预测图像生成部101按将每个图像T的各图片分割而成的区域即CU生成预测图像。预测图像生成部101进行与已说明的预测图像生成部308相同的动作，在此省略其说明。
减法部102从图像T的像素值中减去从预测图像生成部101输入的块的预测图像的像素值，生成预测误差。减法部102将预测误差输出至变换/量化部103。
变换/量化部103对从减法部102输入的预测误差，通过频率变换计算出变换系数，并通过量化导出量化变换系数。变换/量化部103将量化变换系数输出至熵编码部104和逆量化/逆变换部105。
逆量化/逆变换部105与运动图像解码装置31中的逆量化/逆变换部311(图6)相同，在此省略其说明。计算出的预测误差输入至加法部106。
熵编码部104中，从变换/量化部103输入量化变换系数，从参数编码部111输入编码参数。在编码参数中，例如存在参考图片索引refIdxLX、预测矢量索引mvp_LX_idx、差分矢量mvdLX、预测模式predMode以及合并索引merge_idx等代码。
熵编码部104对分割信息、预测参数、量化变换系数等进行熵编码生成编码流Te并输出。
参数编码部111具备：未图示的标头编码部、CT信息编码部、CU编码部(预测模式编码部)、帧间预测参数编码部以及帧内预测参数编码部。CU编码部还具备TU编码部。
加法部106将从预测图像生成部101输入的块的预测图像的像素值与从逆量化/逆变换部105输入的预测误差按每个像素相加，生成局部解码图像Tld。加法部106将所生成的局部解码图像Tld存储于参考图片存储器109。
环路滤波器107对加法部106所生成的局部解码图像Tld实施去块滤波、SAO、ALF。需要说明的是，环路滤波器107不一定包括上述三种滤波器，例如也可以是仅包括去块滤波器的构成。
预测参数存储器108将编码参数确定部110所生成的预测参数按每个对象图片和CU存储于预定的位置。
参考图片存储器109将环路滤波器107所生成的局部解码图像Tld按每张对象图片和CU存储于预定的位置。
编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是指上述的QT、BT或TT分割信息、预测参数或与它们关联生成的作为编码对象的参数。预测图像生成部101使用这些编码参数来生成预测图像。
编码参数确定部110对多个集合的每一个集合计算出表示信息量的大小和编码误差的RD成本值。RD成本值例如是代码量与平方误差乘以系数λ而得到的值之和。代码量是对量化误差和编码参数进行熵编码而得到的编码流Te的信息量。平方误差是在减法部102中计算出的预测误差的平方和。系数λ是大于预先设定的零的实数。编码参数确定部110选择计算出的成本值为最小的编码参数的集合。由此，熵编码部104将所选出的编码参数的集合作为编码流Te输出。编码参数确定部110将所确定的编码参数存储于预测参数存储器108。
需要说明的是，可以通过计算机实现上述的实施方式中的运动图像编码装置11、运动图像解码装置31的一部分，例如，熵解码部301、参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、环路滤波器107、编码参数确定部110以及参数编码部111。在该情况下，可以通过将用于实现该控制功能的程序记录于计算机可读记录介质，使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是，在此提到的“计算机系统”是指内置于运动图像编码装置11、运动图像解码装置31中的任一个的计算机系统，采用包括OS、外围设备等硬件的计算机系统。此外，“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且，“计算机可读记录介质”也可以包括：像经由互联网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的记录介质；以及像作为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样保存程序固定时间的记录介质。此外，上述程序可以是用于实现上述功能的一部分的程序，也可以是能通过与已记录在计算机系统中的程序进行组合来实现上述功能的程序。
分割元数据生成部130参考输入图像T生成分割元数据Tsm。图9是表示分割元数据生成部130的构成的功能框图。如图9所示，分割元数据生成部130具备输入图像分割部1301和自动编码器1302。输入图像分割部1301通过对输入图像T进行分割处理来生成已分割输入图像。分割处理是指按每个输入图像T中所包括的各构成要素的区域进行分割的处理。自动编码器1302作用于已分割输入图像。具体而言，自动编码器1302生成分割元数据Tsm，所述分割元数据Tsm由压缩输入图像分割部1301所生成的已分割输入图像的维度使数据量变小而得到。自动编码器1302将分割元数据Tsm输出至图像编码部100。
(分割元数据)
图10是表示分割元数据Tsm的一个示例的图。图10中左边的图像是输入至输入图像分割部1301的输入图像T的一个示例。图10中右边的图像是通过输入图像分割部1301对该输入图像T进行分割处理而生成的已分割输入图像的一个示例。如图10所示，已分割输入图像是将天空的部分、建筑物的部分、道路的部分等按每个片段不同浓淡的颜色进行区别而得到的图像。例如，在建筑物的情况下，如图10所示，可以将建筑物的部分设为同一片段，也可以将每个建筑物设为不同的片段。片段除了图10所示的片段以外，例如也可以是人、动物、车辆等各种片段。此外，也可以将各部分设为片段。例如，在输入图像T中包括人的情况下，可以将人的眼、鼻、口、头发等各部分设为片段，在输入图像T中包括建筑物的情况下，可以将屋顶、窗、门等各部分设为片段。如此，由运动图像编码装置11的图像编码部100进行分割处理后的已分割输入图像包括于编码流Te，由此运动图像解码装置31能适当地生成超分辨率图像Tr。
(语法)
图11是表示分割元数据Tsm中所包括的语法的图。如图11所示，表示分割数据的序列参数集SPS(在图11中表示为Segmentation_meta_data(分割元数据)(payloadSize：有效载荷大小))中所包括的语法要素的一部分。height表示图像的纵向长度，width表示图像的横向长度。channel表示通道数。
输入图像分割部1301例如生成画面大小为1/n(例如n＝16)的大小的纵向长度(height，i)、横向长度(width，j)以及通道数(channel，k，例如128)之积的数的分割元数据Tsm(meta_data[i][j][k])。输入图像分割部1301将所生成的分割元数据Tsm输出至自动编码器1302。
需要说明的是，Desctiptor(描述符)ue(v)表示与该描述符建立关联的语法为无符号的数值，值被进行可变长度编码。se(v)表示与该描述符建立关联的语法为有符号的数值，分为符号和绝对值进行可变长度编码。
根据上述的构成，运动图像编码装置11能将包括压缩已分割输入图像的维度而得到的分割元数据Tsm的编码流Te输出至运动图像解码装置31。运动图像编码装置11输出包括分割元数据Tsm的编码流Te，由此运动图像解码装置31能将恢复分割元数据Tsm的维度而生成的分割信息Ts用于超分辨率处理。由此，能实现运动图像解码装置31能适当地执行超分辨率处理的运动图像编码装置11。
(运动图像解码装置的构成例2)
对运动图像解码装置的一个示例进行说明。图12是表示本示例的运动图像解码装置31a的构成的功能框图。如图12所示，运动图像解码装置31a是在图6所示的运动图像解码装置31中具备分割元数据解码部320a来代替分割元数据解码部320的构成。
图13是表示分割元数据解码部320a的构成的功能框图。如图13所示，分割元数据解码部320a具备：解码图像分割部3202a、自动编码器3203a、加法部3204a以及自动解码器3201a。
解码图像分割部3202a通过对解码图像Td进行分割处理来生成已分割解码图像。解码图像分割部3202a将所生成的已分割解码图像输出至自动编码器3203a。
自动编码器3203a作用于已分割解码图像。具体而言，自动编码器3203a压缩解码图像分割部3202a所生成的已分割解码图像的维度使数据量变小。自动编码器3203a将压缩后的已分割解码图像(自动编码器3203a的输出数据)输出至加法部3204a。
加法部3204a将分割元数据Tsm与自动编码器3203a的输出数据相加。加法部3204a将相加后的结果(加法部3204a的输出数据)输出至自动解码器3201a。
自动解码器3201a通过作用于加法部3204a的输出数据来生成分割信息Ts。具体而言，自动解码器3201a恢复加法部3204a的输出数据的维度使数据量变大。自动解码器3201a将所生成的分割信息Ts输出至超分辨率部330。
根据上述的构成，能将恢复加法部3204a的输出数据的维度而生成的分割信息Ts用于超分辨率处理，所述加法部将运动图像编码装置11a压缩已分割输入图像的维度使数据量变小而得到的分割元数据Tsm与压缩后的已分割解码图像相加。由此，能实现能适当地执行超分辨率处理的运动图像解码装置31a。
(运动图像编码装置的构成例2)
对生成上述运动图像解码装置31a作为处理对象的编码流Te的运动图像编码装置的一个示例进行说明。图14是表示本示例的运动图像编码装置11a的构成的功能框图。如图14所示，运动图像编码装置11a是在图8所示的运动图像编码装置11中具备分割元数据生成部130a来代替分割元数据生成部130的构成。
图15是表示分割元数据生成部130a的构成的功能框图。如图15所示，分割元数据生成部130a具备：输入图像分割部1301a、第一自动编码器1302a、解码图像分割部1303a、第二自动编码器1304a以及减法部1305a。
输入图像分割部1301a通过对输入图像T进行分割处理来生成已分割输入图像。输入图像分割部1301a将所生成的已分割输入图像输出至第一自动编码器1302a。
第一自动编码器1302a作用于已分割输入图像。具体而言，第一自动编码器1302a压缩输入图像分割部1301a所生成的已分割输入图像的维度使数据量变小。第一自动编码器1302a将压缩维度而得到的已分割输入图像(第一自动编码器1302a的输出数据)输出至减法部1305a。
解码图像分割部1303a从参考图片存储器109获取局部解码图像Tld。解码图像分割部1303a通过对局部解码图像Tld进行分割处理来生成已分割局部解码图像。解码图像分割部1303a将所生成的已分割局部解码图像输出至第二自动编码器1304a。
第二自动编码器1304a作用于已分割局部解码图像。具体而言，第二自动编码器1304a压缩解码图像分割部1303a所生成的已分割局部解码图像的维度使数据量变小。第二自动编码器1304a将压缩维度而得到的已分割局部解码图像(第二自动编码器1304a的输出数据)输出至减法部1305a。
减法部1305a通过取第一自动编码器1302a的输出数据与第二自动编码器1304a的输出数据的差分来生成分割元数据Tsm。减法部1305a将所生成的分割元数据Tsm输出至图像编码部100的熵编码部104。
根据上述的构成，运动图像编码装置11a能将包括分割元数据Tsm的编码流Te输出至运动图像解码装置31a，所述分割元数据Tsm为压缩维度而得到的已分割输入图像与压缩维度而得到的的已分割局部解码图像的差分。运动图像编码装置11a输出包括分割元数据Tsm的编码流Te，由此运动图像解码装置31能将恢复分割元数据Tsm的维度而生成的分割信息Ts用于超分辨率处理。由此，能实现运动图像解码装置31a能适当地执行超分辨率处理的运动图像编码装置11a。
(运动图像解码装置的构成例3)
对运动图像解码装置的一个示例进行说明。图16是表示本示例的运动图像解码装置31b的构成的功能框图。如图16所示，运动图像解码装置31b是将图6所示的运动图像解码装置31中具备分割元数据解码部320b来代替分割元数据解码部320的构成。
图17是表示分割元数据解码部320b的构成的功能框图。如图17所示，分割元数据解码部320b具备：解码图像分割部3202b、自动解码器3201b以及加法部3204b。
解码图像分割部3202b通过对解码图像Td进行分割处理来生成已分割解码图像。解码图像分割部3202b将所生成的已分割解码图像输出至加法部3204b。
自动解码器3201b作用于分割元数据Tsm。具体而言，自动解码器3201b恢复运动图像编码装置11b所具备的分割元数据生成部130b的自动编码器1302b所输出的分割元数据Tsm的维度，使数据量变大。自动解码器3201b将恢复维度而得到的分割元数据Tsm(自动解码器3201b的输出数据)输出至加法部3204b。
加法部3204b通过将已分割解码图像与自动解码器3201b的输出数据相加来生成分割信息Ts。加法部3204b将所生成的分割信息Ts输出至超分辨率部330。
根据上述的构成，能将分割信息Ts用于超分辨率处理，所述分割信息Ts将自动解码器3201b的输出数据与已分割解码图像相加而得到，所述自动解码器3201b的输出数据通过自动解码器3201b恢复由运动图像编码装置11b压缩已分割输入图像的维度使数据量变小而得到的分割元数据Tsm的维度而生成。由此，能实现能适当地执行超分辨率处理的运动图像解码装置31b。
(运动图像编码装置的构成例3)
对生成上述运动图像解码装置31b作为处理对象的编码流的运动图像编码装置的一个示例进行说明。图18是表示本示例的运动图像编码装置11b的构成的功能框图。如图18所示，运动图像编码装置11b是在图8所示的运动图像编码装置11中具备分割元数据生成部130b来代替分割元数据生成部130的构成。
图19是表示分割元数据生成部130b的构成的功能框图。如图19所示，分割元数据生成部130b具备：输入图像分割部1301b、解码图像分割部1303b、减法部1305b以及自动编码器1302b。
输入图像分割部1301b通过对输入图像进行分割处理来生成已分割输入图像。输入图像分割部1301b将所生成的已分割输入图像输出至减法部1305b。
解码图像分割部1303b通过对局部解码图像Tld进行分割处理来生成已分割局部解码图像。解码图像分割部1303b将所生成的已分割局部解码图像输出至减法部1305b。
减法部1305b计算出已分割输入图像与已分割局部解码图像的差分。减法部1305b将计算出的已分割输入图像与已分割局部解码图像的差分(减法部1305b的输出数据)输出至自动编码器1302b。
自动编码器1302b通过作用于减法部1305b的输出数据来生成分割元数据。具体而言，自动编码器1302b作成压缩减法部1305b的输出数据的维度使数据量变小而得到的分割元数据Tsm。自动编码器1302b将所生成的分割元数据Tsm输出至图像编码部100的熵编码部104。
根据上述的构成，运动图像编码装置11a能将包括压缩已分割输入图像与已分割局部解码图像的差分的维度而得到的分割元数据Tsm的编码流Te输出至运动图像解码装置31b。运动图像编码装置11b输出包括分割元数据Tsm的编码流Te，由此运动图像解码装置31b能将恢复分割元数据Tsm的维度而生成的分割信息Ts用于超分辨率处理。由此，能实现运动图像解码装置31b能适当地执行超分率处理的运动图像编码装置11b。(运动图像解码装置的构成例4)
对运动图像解码装置的一个示例进行说明。图20是表示本示例的运动图像解码装置31c的构成的功能框图。如图20所示，在运动图像解码装置31c中，与图6所示的运动图像解码装置31的不同点是，不具备分割元数据解码部320，而具备分辨部330c来代替超分辨率部330。在本示例中，图像解码部300从编码流Te解码出用于解码图像Td和超分辨率处理的超分辨率元数据Trm。超分辨率部330c通过参考超分辨率元数据Trm对解码图像Td进行超分辨率处理来生成超分辨率图像Tr。
图21是表示超分辨率部330c的构成的功能框图。如图21所示，超分辨率部330c具备超分辨率元数据解码部3301c和自动解码器3302c。
超分辨率元数据解码部3301c参考解码图像Td对超分辨率元数据Trm进行解码。超分辨率元数据解码部3301c将解码后的超分辨率元数据Trm(超分辨率元数据解码部3301c的输出数据)输出至自动解码器3302c。
自动解码器3302c被输入超分辨率元数据解码部3301c的输出数据和解码图像Td，输出超分辨率图像Tr。具体而言，自动解码器3302c恢复超分辨率元数据解码部3301c的输出数据的维度，使数据量变大。
根据上述的构成，能将超分辨率元数据Trm用于超分辨率处理，所述超分辨率元数据Trm通过自动解码器3302c将运动图像编码装置11c参考压缩维度而得到的输入图像T和局部解码图像Tld生成的超分辨率元数据的维度恢复而生成。由此，能实现能适当地执行超分辨率处理的运动图像解码装置31c。
运动图像解码装置31c可以具备超分辨率部330c’来代替超分辨率部330c。图26是表示超分辨率部330c’的构成的功能框图。如图26所示，超分辨率部330c’具备超分辨率元数据解码部3301c’和自动解码器3302c。
超分辨率元数据解码部3301c’对超分辨率元数据Trm进行解码。超分辨率元数据解码部3301c’将解码后的超分辨率元数据Trm(超分辨率元数据解码部3301c’的输出数据)输出至自动解码器3302c。
自动解码器3302c被输入超分辨率元数据解码部3301c’的输出数据和解码图像Td，输出超分辨率图像Tr。具体而言，自动解码器3302c恢复超分辨率元数据解码部3301c’的输出数据的维度，使数据量变大。
根据上述的构成，能将超分辨率元数据Trm用于超分辨率处理，所述超分辨率元数据Trm通过自动解码器3302c将运动图像编码装置11c参考压缩维度而得到的输入图像T和局部解码图像Tld生成的超分辨率元数据的维度恢复而生成。由此，能实现能适当地执行超分辨率处理的运动图像解码装置31c。
(运动图像编码装置的构成例4)
对生成上述运动图像解码装置31c作为处理对象的编码流Tr的运动图像编码装置的一个示例进行说明。图22是表示本示例的运动图像编码装置11c的构成的功能框图。如图22所示，运动图像编码装置11c是在图8所示的运动图像编码装置11中具备图像缩小部120、超分辨率元数据生成部140来代替图像缩小部120、分割元数据生成部130的构成。图像缩小部120通过对输入图像T进行图像缩小处理来生成已缩小图像。编码部100通过对已缩小图像进行编码来生成编码流Te。超分辨率元数据生成部140参考局部解码图像Tld和输入图像T来生成超分辨率元数据Trm。图像编码部100将超分辨率元数据Trm包括于编码流Te。
图23是表示超分辨率元数据生成部140的构成的功能框图。如图23所示，超分辨率元数据生成部140具备自动编码器1401和超分辨率元数据编码部1402。
自动编码器1401作用于输入图像T。具体而言，自动编码器1401压缩输入图像T的维度，使数据量变小。自动编码器1401将压缩维度而得到的输入图像T(自动编码器1401的输出数据)输出至超分辨率元数据编码部1402。
超分辨率元数据编码部1402参考自动编码器1401的输出数据和局部解码图像Tld来生成超分辨率元数据Trm。
根据上述的构成，运动图像编码装置11c能将包括参考自动编码器1401的输出数据和局部解码图像Tld而生成的超分辨率元数据的编码流Te输出至运动图像解码装置31c。因此，运动图像解码装置31c能恢复超分辨率元数据Trm的维度来生成超分辨率图像Tr。由此，能实现运动图像解码装置31c能适当地执行超分辨率处理的运动图像编码装置11c。
运动图像编码装置11c也可以具备超分辨率元数据生成部140’来代替超分辨率元数据生成部140。图27是表示超分辨率元数据生成部140’的构成的功能框图。如图27所示，超分辨率元数据生成部140’具备：减法部1501、图像放大部1502、自动编码器1503以及超分辨率元数据编码部1504。通过图像放大部1502将来自参考图片存储器109的局部解码图像Tld放大成与输入图像T相同的分辨率，通过减法部1501取与输入图像T的差分。减法部1501将差分图像(减法部1501的输出数据)输出至自动编码器。自动编码器1503压缩差分图像的维度，使数据量变小。自动编码器1503将压缩维度而得到的输入图像T(自动编码器1503的输出数据)输出至超分辨率元数据编码部1504。
超分辨率元数据编码部1504根据自动编码器1503的输出数据生成超分辨率元数据Trm。
根据上述的构成，运动图像编码装置11c能将编码流Te输出至运动图像解码装置31c，所述编码流Te包括将入图像信号与放大局部解码图像后的图像的差分图像作为自动编码器1503的输入，根据输出数据而生成的超分辨率元数据。因此，运动图像解码装置31c能恢复超分辨率元数据Trm的维度来生成超分辨率图像Tr。由此，能实现运动图像解码装置31c能适当地执行超分辨率处理的运动图像编码装置11c。
(运动图像解码装置的构成例5)
对运动图像解码装置的一个示例进行说明。图24是表示本示例的运动图像解码装置31d的构成的功能框图。如图24所示，运动图像解码装置31d是在图20所示的运动图像解码装置31c中具备自动解码器150来代替超分辨率部330c的构成。图像解码部300从编码流Te解码出解码图像Td和超分辨率元数据Trm。自动解码器150将解码图像Td和超分辨率元数据Trm作为输入，输出超分辨率图像Tr。
运动图像解码装置31d的自动解码器150根据运动图像编码装置11d的自动编码器160的输出数据和解码图像Td来进行学习，以再现输入图像T。
根据上述的构成，运动图像编码装置11d能从包括压缩维度而得到的输入图像T的编码流Te解码出解码图像Td和超分辨率元数据Trm，并用于超分辨率处理。由此，能实现能适当地执行超分辨率处理的运动图像解码装置31d。
(运动图像编码装置的构成例5)
对生成上述运动图像解码装置31d作为处理对象的编码流Te的运动图像编码装置的一个示例进行说明。图25是表示本示例的运动图像编码装置11d的构成的功能框图。如图25所示，运动图像编码装置11d是在图22所示的运动图像编码装置11c中具备自动编码器160来代替超分辨率元数据生成部140的构成。自动编码器160作用于输入图像T。具体而言，自动编码器160压缩输入图像T的维度使数据量变小来生成超分辨率元数据Trm(自动编码器160的输出数据)。图像编码部100将自动编码器160的输出数据包括于编码流Te。
根据上述的构成，运动图像编码装置11d能将包括压缩维度而得到的输入图像T的编码流Te输出至运动图像解码装置31d。因此，运动图像解码装置31d能从被输入的编码流Te解码出解码图像Td和超分辨率元数据Trm，并用于超分辨率处理。由此，能实现运动图像解码装置31d能适当地执行超分辨率处理的运动图像编码装置11d。
此外，也可以将上述的实施方式中的运动图像编码装置11、11a、11b、11c或11d(以下仅称为运动图像编码装置11)、运动图像解码装置31、31a、31b、31c或31d(以下仅称为运动图像解码装置31)的一部分或全部作为LSI(Large Scale Integration：大规模集成电路)等集成电路来实现。运动图像编码装置11、运动图像解码装置31的各功能块可以单独地处理器化，也可以将一部分或全部集成来处理器化。此外，集成电路化的方法并不限于LSI，也可以通过专用电路或通用处理器来实现。此外，在随着半导体技术的进步而出现代替LSI的集成电路化的技术的情况下，也可以使用基于该技术的集成电路。
以上，参照附图对该发明的一实施方式详细地进行了说明，但具体构成并不限于上述实施方式，在不脱离该发明的主旨的范围内，可以进行各种设计变更等。
〔应用例〕
上述运动图像编码装置11和运动图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是，运动图像可以是通过摄像机等拍摄到的自然运动图像，也可以是通过计算机等生成的人工运动图像(包括CG和GUI)。
首先，参照图2对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的发送和接收的情况进行说明。
图2的(a)是表示搭载有运动图像编码装置11的发送装置PROD_A的构成的框图。如图2的(a)所示，发送装置PROD_A具备：通过对运动图像进行编码而得到编码数据的编码部PROD_A1、通过利用编码部PROD_A1所得到的编码数据对载波进行调制而得到调制信号的调制部PROD_A2以及发送调制部PROD_A2所得到的调制信号的发送部PROD_A3。上述的运动图像编码装置11被用作该编码部PROD_A1。
作为输入至编码部PROD_A1的运动图像的供给源，发送装置PROD_A也可以进一步具备：拍摄运动图像的摄像机PROD_A4、记录有运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6以及生成或加工图像的图像处理部PROD_A7。在图2的(a)中举例示出了发送装置PROD_A具备全部这些的构成，但也可以省略一部分。
需要说明的是，记录介质PROD_A5可以是记录有未被编码的运动图像的介质，也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行编码后的运动图像的介质。在后者的情况下，使按照记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)介于记录介质PROD_A5与编码部PROD_A1之间为好。
图2的(b)是表示搭载有运动图像解码装置31的接收装置PROD_B的构成的框图。如图2的(b)所示，接收装置PROD_B具备：接收调制信号的接收部PROD_B1、通过对接收部PROD_B1所接收到的调制信号进行解调而得到编码数据的解调部PROD_B2以及通过对解调部PROD_B2所得到的编码数据进行解码而得到运动图像的解码部PROD_B3。上述的运动图像解码装置31被用作该解码部PROD_B3。
接收装置PROD_B作为解码部PROD_B3所输出的运动图像的供给目的地，也可以进一步具备显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5以及用于将运动图像输出至外部的输出端子PROD_B6。在图2的(b)中举例示出了接收装置PROD_B具备全部这些的构成，但也可以省略一部分。
需要说明的是，记录介质PROD_B5可以是用于记录未被编码的运动图像的介质，也可以是以与传输用的编码方式不同的记录用的编码方式编码后的介质。在后者的情况下，使按照记录用的编码方式对从解码部PROD_B3获取到的运动图像进行编码的编码部(未图示)介于解码部PROD_B3与记录介质PROD_B5之间为好。
需要说明的是，传输调制信号的传输介质可以是无线的，也可以是有线的。此外，传输调制信号的传输方案可以是广播(在此，指发送目的地未预先确定的发送方案)，也可以是通信(在此，指发送目的地已预先确定的发送方案)。即，调制信号的传输可以通过无线广播、有线广播、无线通信以及有线通信的任一个来实现。
例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。此外，有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。
此外，使用互联网的VOD(Video On Demand：视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例(通常，在LAN中使用无线或有线的任一个作为传输介质，在WAN中使用有线作为传输介质)。在此，个人计算机包括台式PC、膝上型PC以及平板型PC。此外，智能手机中也包括多功能便携电话终端。
需要说明的是，运动图像共享服务的客户端除了对从服务器下载的编码数据进行解码并显示于显示器的功能以外，还具有对通过摄像机拍摄到的运动图像进行编码并上传至服务器的功能。即，运动图像共享服务的客户端发挥发送装置PROD_A和接收装置PROD_B这两方的功能。
接着，参照图3，对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的记录和再现的情况进行说明。
图3的(a)是表示搭载有上述的运动图像编码装置11的记录装置PROD_C的构成的框图。如图3的(a)所示，记录装置PROD_C具备：通过对运动图像进行编码而得到编码数据的编码部PROD_C1和将编码部PROD_C1所得到的编码数据写入记录介质PROD_M的写入部PROD_C2。上述的运动图像编码装置11被用作该编码部PROD_C1。
需要说明的是，记录介质PROD_M可以是(1)如HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态硬盘)等那样内置于记录装置PROD_C的类型的记录介质，也可以是(2)如SD存储卡、USB(Universal Serial Bus：通用串行总线)闪存等那样连接于记录装置PROD_C的类型的记录介质，还可以是(3)如DVD(Digital Versatile Disc：数字通用光盘、注册商标)、BD(Blu-ray Disc：蓝光光盘、注册商标)等那样装填至内置于记录装置PROD_C的驱动装置(未图示)的记录介质。
此外，作为输入至编码部PROD_C1的运动图像的供给源，记录装置PROD_C也可以进一步具备：拍摄运动图像的摄像机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5以及生成或加工图像的图像处理部PROD_C6。在图3的(a)中举例示出了记录装置PROD_C具备全部这些的构成，但也可以省略一部分。
需要说明的是，接收部PROD_C5可以接收未被编码的运动图像，也可以接收以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)介于接收部PROD_C5与编码部PROD_C1之间为好。
作为这种记录装置PROD_C，例如可举出：DVD记录器、BD记录器、HDD(Hard DiskDrive)记录器等(在该情况下，输入端子PROD_C4或接收部PROD_C5为运动图像的主要的供给源)。此外，便携式摄像机(在该情况下，摄像机PROD_C3为运动图像的主要的供给源)、个人计算机(在该情况下，接收部PROD_C5或图像处理部PROD_C6为运动图像的主要的供给源)、智能手机(在该情况下，摄像机PROD_C3或接收部PROD_C5为运动图像的主要的供给源)等也是这种记录装置PROD_C的一个示例。
图3的(b)是表示搭载有上述的运动图像解码装置31的再现装置PROD_D的构成的框图。如图3的(b)所示，再现装置PROD_D具备：读出已写入记录介质PROD_M的编码数据的读出部PROD_D1和通过对读出部PROD_D1所读出的编码数据进行解码而得到运动图像的解码部PROD_D2。上述的运动图像解码装置31被用作该解码部PROD_D2。
需要说明的是，记录介质PROD_M可以是(1)如HDD、SSD等那样内置于再现装置PROD_D的类型的记录介质，也可以是(2)如SD存储卡、USB闪存等那样连接于再现装置PROD_D的类型的记录介质，也可以是(3)如DVD、BD等那样装填至内置于再现装置PROD_D的驱动装置(未图示)的记录介质。
此外，作为解码部PROD_D2所输出的运动图像的供给目的地，再现装置PROD_D也可以进一步具备：显示运动图像的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4以及发送运动图像的发送部PROD_D5。在图3的(b)中举例示出了再现装置PROD_D具备全部这些的构成，但也可以省略一部分。
需要说明的是，发送部PROD_D5可以发送未被编码的运动图像，也可以发送以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使以传输用的编码方式对运动图像进行编码的编码部(未图示)介于解码部PROD_D2与发送部PROD_D5之间为好。
作为这种再现装置PROD_D，例如可列举出DVD播放器、BD播放器、HDD播放器等(在该情况下，连接有电视接收机等的输出端子PROD_D4为运动图像的主要供给目的地)。此外，电视接收机(在该情况下，显示器PROD_D3为运动图像的主要供给目的地)、数字标牌(也称为电子看板、电子公告板等，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、台式PC(在该情况下，输出端子PROD_D4或发送部PROD_D5为运动图像的主要供给目的地)、膝上型或平板型PC(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、智能手机(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)等也是这种再现装置PROD_D的一个示例。
(硬件实现以及软件实现)
此外，上述的运动图像解码装置31和运动图像编码装置11的各块可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现，也可以利用CPU(Central ProcessingUnit：中央处理器)而以软件方式地实现。
在后者的情况下，上述各装置具备：执行实现各功能的程序的命令的CPU、储存上述程序的ROM(Read Only Memory：只读存储器)、展开上述程序的RAM(Random AccessMemory：随机存取存储器)、以及储存上述程序和各种数据的存储器等存储装置(记录介质)等。然后，本发明的实施方案的目的在于通过以下方式也能达到：将以计算机可读取的方式记录实现前述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置，该计算机(或CPU、MPU)读出记录于记录介质的程序代码并执行。
作为上述记录介质，例如能使用：磁带、盒式磁带等带类；包括软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory：光盘只读存储器)/MO盘(Magneto-Optical disc：磁光盘)/MD(Mini Disc：迷你磁光盘)/DVD(Digital Versatile Disc：数字通用光盘，注册商标)/CD-R(CD Recordable：光盘刻录片)/蓝光光盘(Blu-ray Disc：注册商标)等光盘的盘类；IC卡(包括存储卡)/光卡等卡类；掩模ROM/EPROM(ErasableProgrammable Read-Only Memory：可擦可编程只读存储器)/EEPROM(ElectricallyErasableandProgrammableRead-OnlyMemory：电可擦可编程只读存储器)/闪存ROM等半导体存储器类；或者PLD(Programmable logic device：可编程逻辑器件)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等逻辑电路类等。
此外，也可以将上述各装置构成为能与通信网络连接，并经由通信网络供给上述程序代码。该通信网络能传输程序代码即可，不被特别限定。例如，可利用互联网、内联网(intranet)、外联网(extranet)、LAN(Local Area Network：局域网)、ISDN(IntegratedServices Digital Network：综合业务数字网)、VAN(Value-Added Network：增值网络)、CATV(Community Antenna television/Cable Television：共用天线电视/有线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。此外，构成该通信网络的传输介质也是为能传输程序代码的介质即可，不限定于特定的构成或种类。例如，无论在IEEE(Institute of Electrical and Electronic Engineers：电气和电子工程师协会)1394、USB、电力线输送、有线TV线路、电话线、ADSL(AsymmetricDigital Subscriber Line：非对称数字用户线路)线路等有线中，还是在如IrDA(InfraredData Association：红外线数据协会)、遥控器那样的红外线、BlueTooth(注册商标)、IEEE802.11无线、HDR(High Data Rate：高数据速率)、NFC(Near Field Communication：近场通讯)、DLNA(Digital Living Network Alliance：数字生活网络联盟，注册商标)、便携电话网、卫星线路、地面数字广播网等无线中都可利用。需要说明的是，本发明的实施方式即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能够实现。
本发明的实施方式并不限定于上述的实施方式，能在权利要求所示的范围内进行各种变更。即，将在权利要求所示的范围内经过适当变更的技术方案组合而获得的实施方式也包括在本发明的技术范围内。
工业上的可利用性
本发明的实施方式能优选地应用于对将图像数据编码而得到的编码数据进行解码的运动图像解码装置，以及生成将图像数据编码而得到的编码数据的运动图像编码装置。此外，能优选地应用于由运动图像编码装置生成并被运动图像解码装置参考的编码数据的数据结构。
符号说明
31、31a、31b、31c、31d图像解码装置(运动图像解码装置)
300解码部(图像解码部)
301熵解码部
302参数解码部
303帧间预测参数解码部
304帧内预测参数解码部
308预测图像生成部
309帧间预测图像生成部
310帧内预测图像生成部
311逆量化/逆变换部
312加法部
320分割元数据解码部
330图像处理部(超分辨率部)
11、11a、11b图像编码装置(运动图像编码装置)
100编码部(图像编码部)
101预测图像生成部
102减法部
103变换/量化部
104熵编码部
105逆量化/逆变换部
107环路滤波器
110编码参数确定部
111参数编码部
112帧间预测参数编码部
113帧内预测参数编码部
120图像处理部(图像缩小部)
130分割元数据生成部

Claims (4)

1.一种图像解码装置，其特征在于，具备：
解码部，从编码数据解码出解码图像和分割元数据；
分割元数据解码部，参考由上述解码部解码出的上述分割元数据来生成分割信息；和
图像处理部，参考上述分割信息来对上述解码图像进行规定的图像处理，
上述分割元数据解码部具备：
解码图像分割部，通过对上述解码图像进行分割处理来生成已分割解码图像；
自动编码器，对上述已分割解码图像进行作用；
加法部，将上述分割元数据与上述自动编码器的输出数据相加；和
自动解码器，通过对上述加法部的输出数据进行作用来生成上述分割信息。
2.根据权利要求1所述的图像解码装置，其特征在于，
上述分割元数据解码部具备
通过对上述分割元数据进行作用来生成上述分割信息的自动解码器。
3.一种图像编码装置，其特征在于，具备：
图像处理部，通过对输入图像进行规定的图像处理来生成已处理图像；
编码部，通过对上述已处理图像进行编码来生成编码数据；和
分割元数据生成部，参考上述输入图像来生成分割元数据，
上述分割元数据生成部具备：
输入图像分割部，通过对输入图像进行分割处理来生成已分割输入图像；
第一自动编码器，对上述已分割输入图像进行作用；
解码图像分割部，通过对局部解码图像进行分割处理来生成已分割局部解码图像；
第二自动编码器，对上述已分割局部解码图像进行作用；和
减法部，通过取上述第一自动编码器的输出数据与上述第二自动编码器的输出数据的差分来生成上述分割元数据，
上述编码部将上述分割元数据包括于上述编码数据。
4.根据权利要求3所述的图像编码装置，其特征在于，
上述分割元数据生成部具备：
输入图像分割部，通过对输入图像进行分割处理来生成已分割输入图像；和
自动编码器，对上述已分割输入图像进行作用。
CN202010158456.6A 2019-03-15 2020-03-09 图像解码装置以及图像编码装置 Active CN111698519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210802732.7A CN115022651A (zh) 2019-03-15 2020-03-09 图像解码装置以及图像编码装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019049005A JP2020150516A (ja) 2019-03-15 2019-03-15 画像復号装置及び画像符号化装置
JP2019-049005 2019-03-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210802732.7A Division CN115022651A (zh) 2019-03-15 2020-03-09 图像解码装置以及图像编码装置

Publications (2)

Publication Number Publication Date
CN111698519A CN111698519A (zh) 2020-09-22
CN111698519B true CN111698519B (zh) 2022-07-19

Family

ID=72422686

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010158456.6A Active CN111698519B (zh) 2019-03-15 2020-03-09 图像解码装置以及图像编码装置
CN202210802732.7A Pending CN115022651A (zh) 2019-03-15 2020-03-09 图像解码装置以及图像编码装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210802732.7A Pending CN115022651A (zh) 2019-03-15 2020-03-09 图像解码装置以及图像编码装置

Country Status (3)

Country Link
US (1) US11328451B2 (zh)
JP (1) JP2020150516A (zh)
CN (2) CN111698519B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11178399B2 (en) * 2019-03-12 2021-11-16 Qualcomm Incorporated Probability initialization for video coding
US11608123B2 (en) * 2020-06-08 2023-03-21 Ventra Group, Co. Vehicle tailgate with fold out step
JP2022045044A (ja) * 2020-09-08 2022-03-18 株式会社三共 遊技機
US20240163491A1 (en) * 2021-04-13 2024-05-16 Sony Group Corporation Information processing device and method thereof
CN113727050B (zh) * 2021-11-04 2022-03-01 山东德普检测技术有限公司 面向移动设备的视频超分辨率处理方法、装置、存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2010052833A1 (ja) 2008-11-07 2012-03-29 三菱電機株式会社 画像符号化装置及び画像復号装置
JP2014532377A (ja) * 2011-10-14 2014-12-04 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ Ｉｎｃｏｒｐｏｒａｔｅｄ 領域ベースの画像圧縮
US9754188B2 (en) * 2014-10-23 2017-09-05 Microsoft Technology Licensing, Llc Tagging personal photos with deep networks
US10593028B2 (en) * 2015-12-03 2020-03-17 Samsung Electronics Co., Ltd. Method and apparatus for view-dependent tone mapping of virtual reality images
JP6624958B2 (ja) * 2016-02-03 2019-12-25 キヤノン株式会社 通信装置、通信システム、通信制御方法およびコンピュータプログラム
US10015504B2 (en) * 2016-07-27 2018-07-03 Qualcomm Incorporated Compressing image segmentation data using video coding
CN110291788B (zh) * 2017-02-20 2022-03-08 索尼公司 图像处理设备和图像处理方法
WO2019009449A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
JP2021166317A (ja) * 2018-06-28 2021-10-14 ソニーグループ株式会社 画像処理装置および方法
US11109065B2 (en) * 2018-09-26 2021-08-31 Google Llc Video encoding by providing geometric proxies
US11526561B2 (en) * 2018-09-27 2022-12-13 Innoplexus Ag System and method for determining temporal citation count

Also Published As

Publication number Publication date
CN115022651A (zh) 2022-09-06
JP2020150516A (ja) 2020-09-17
US20200294272A1 (en) 2020-09-17
CN111698519A (zh) 2020-09-22
US11328451B2 (en) 2022-05-10

Similar Documents

Publication Publication Date Title
CN112544084B (zh) 图像编码装置、编码流提取装置以及图像解码装置
CN111698519B (zh) 图像解码装置以及图像编码装置
JP7469904B2 (ja) 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法
JP2021034980A (ja) 画像符号化装置、および、画像復号装置
WO2013046990A1 (ja) オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造
CN113196776A (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN112532976A (zh) 运动图像解码装置以及运动图像编码装置
CN112204978B (zh) 图像解码装置以及图像编码装置
WO2020184366A1 (ja) 画像復号装置
WO2020067440A1 (ja) 動画像符号化装置および動画像復号装置
JP7073186B2 (ja) 画像フィルタ装置
WO2020004277A1 (ja) 画像復号装置、および画像符号化装置
CN112616059A (zh) 运动图像变换装置以及方法、编码数据生成装置
JP2021150703A (ja) 画像復号装置及び画像符号化装置
JP2020068462A (ja) 画像ビット階調拡張フィルタ装置及び画像符号化装置、画像復号装置
CN113170169B (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
JP7444570B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法
JP7425568B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法
WO2019139012A1 (ja) 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造
JP2020155869A (ja) 画像スケーリング変換、逆変換装置及び方法
JP2021010050A (ja) 動画像符号化装置、動画像復号装置、およびフィルタ装置
JP2023046435A (ja) 動画像復号装置および動画像符号化装置
JP2022105577A (ja) 画像フィルタ装置
JP2022002356A (ja) 動画像符号化装置および動画像復号装置
JP2023142460A (ja) ３ｄデータ符号化装置および３ｄデータ復号装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant