CN112019843B - 编码和解码方法、设备、可读存储介质 - Google Patents

编码和解码方法、设备、可读存储介质 Download PDF

Info

Publication number
CN112019843B
CN112019843B CN202010402038.7A CN202010402038A CN112019843B CN 112019843 B CN112019843 B CN 112019843B CN 202010402038 A CN202010402038 A CN 202010402038A CN 112019843 B CN112019843 B CN 112019843B
Authority
CN
China
Prior art keywords
prediction
image
quantization
learning
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010402038.7A
Other languages
English (en)
Other versions
CN112019843A (zh
Inventor
片山健太朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN112019843A publication Critical patent/CN112019843A/zh
Application granted granted Critical
Publication of CN112019843B publication Critical patent/CN112019843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种编码和解码程序、编码和解码设备、编码和解码方法。一种存储介质，其存储使处理器执行处理的程序，所述处理包括：根据通过画面内预测或画面间预测生成的预测图像与要处理的输入图像之间的差来计算预测残差并且对预测残差执行正交变换处理和量化处理，并且然后执行熵编码处理；获取在对要处理的输入图像进行编码时在量化处理中使用的量化参数、包括在量化处理中出现的量化误差的信号和包括在画面内预测或画面间预测中出现的预测误差的图像；以及获取通过将量化参数、包括量化误差的信号和包括预测误差的图像分别输入至已经学习了所生成的编码失真的滤波器单元而由滤波器单元推理出的编码失真；对用于学习的输入图像进行编码。

Description

编码和解码方法、设备、可读存储介质
技术领域
本文讨论的实施方式涉及编码程序(存储介质)、解码程序、编码设备、解码设备、编码方法和解码方法。
背景技术
在作为用于运动图像数据的压缩编码的下一代国际标准的通用视频编码(VVC)标准中，已经研究了能够推理参考图像中包括的编码失真的人工智能(AI)滤波器作为环路滤波器的应用。
例如，相关技术包括国际公开小册子第WO 2016/199330号。
发明内容
然而，通过环路滤波器处理的参考图像是通过对由画面内预测或画面间预测生成的预测图像加上预测残差(通过对预测图像与输入图像之间的差执行量化处理、逆量化处理等而获得的预测残差)而生成的。
因此，在参考图像中，在画面内预测或画面间预测中出现的“预测误差”和在量化处理中出现的“量化误差”两者被混合。结果，在已经通过使用参考图像作为输入而被学习的AI滤波器的情况下，假定可能无法获得足够的滤波器性能的情况。
在一个方面，本公开内容的目的是提高环路滤波器的滤波器性能。
根据实施方式的一方面，一种存储程序的非暂态计算机可读存储介质，所述程序使计算机中包括的处理器执行处理，所述处理包括：通过根据通过画面内预测或画面间预测生成的预测图像与要处理的输入图像之间的差来计算预测残差并且对所计算的预测残差执行正交变换处理和量化处理，并且然后执行熵编码处理，来对要处理的输入图像进行编码；获取在对要处理的输入图像进行编码时在量化处理中使用的量化参数、包括在量化处理中出现的量化误差的信号和包括在画面内预测或画面间预测中出现的预测误差的图像；以及获取通过将所获取的量化参数、所获取的包括量化误差的信号和所获取的包括预测误差的图像分别输入至已经学习了在对用于学习的输入图像进行编码时生成的编码失真的滤波器单元而由滤波器单元推理出的编码失真。
附图说明
图1是示出图像处理系统的系统配置的示例的图；
图2是示出学习设备、编码设备和解码设备的硬件配置的示例的图；
图3是示出学习设备中的学习数据生成单元的功能配置和所生成的学习数据的示例的图；
图4是示出学习设备中的学习单元的功能配置的示例的图；
图5是示出由学习设备执行的学习处理的流程的流程图；
图6是示出编码设备中的编码单元的功能配置的示例的图；
图7是示出编码设备中的环路滤波器单元的功能配置和NN滤波器单元的功能配置的示例的图；
图8是示出了由编码设备中的NN滤波器单元进行的滤波处理的流程的流程图；
图9是示出比较示例的编码设备中的编码单元的功能配置的示例的图；
图10是示出比较示例的编码设备中的环路滤波器单元的功能配置和 NN滤波器单元的功能配置的示例的图；
图11是示出比较示例的编码设备中的量化误差和预测误差的图；
图12是示出编码设备中的量化误差和预测误差的图；
图13是示出解码设备中的解码单元的功能配置的示例的图；
图14是示出解码设备中的环路滤波器单元的功能配置和NN滤波器单元的功能配置的示例的图；以及
图15是示出由解码设备中的NN滤波器单元进行的滤波处理的流程的流程图。
具体实施方式
在下文中，参照附图描述各实施方式。在本说明书和附图中，具有基本上相同的功能配置的部件被分配相同的附图标记，并且省略重复的描述。
[实施方式]
<图像处理系统的系统配置>
首先，将描述图像处理系统的系统配置。图1是示出图像处理系统的系统配置的示例的图。如图1所示，图像处理系统100包括学习设备110、编码设备120和解码设备130。
学习设备110是生成经学习的卷积神经网络滤波器(CNNF)的设备，经学习的卷积神经网络滤波器是安装在编码设备120和解码设备130的环路滤波器单元上的AI滤波器的示例。
学习设备110中安装有学习程序，并且学习设备110通过执行该程序而用作学习数据生成单元111和学习单元112。
学习数据生成单元111生成用于CNNF学习的学习数据。由学习数据生成单元111生成的学习数据被存储在学习数据存储单元113中。
学习单元112通过使用存储在学习数据存储单元113中的学习数据对 CNNF执行学习处理并且生成经学习的CNNF。由学习单元112生成的经学习的CNNF被传输至编码设备120(或被传输至编码设备120和解码设备130)。
编码设备120是对图像数据进行编码并且生成编码数据的设备。编码设备120中安装有编码程序，并且通过执行该程序，编码设备120用作图像数据获取单元121、编码单元122和编码数据输出单元123。
图像数据获取单元121获取要编码的图像数据。编码单元122对由图像数据获取单元121获取的图像数据进行编码并且生成编码数据。编码单元122在生成编码数据时使用经学习的CNNF。
编码数据输出单元123将由编码单元122生成的编码数据传输至解码设备130。当传输编码数据时，编码数据输出单元123还传输量化参数。当传输编码数据和量化参数时，编码数据输出单元123可以传输用于生成编码数据的经学习的CNNF。
解码设备130是接收编码数据并且对所接收的编码数据进行解码以输出图像数据的设备。解码设备130中安装有解码程序，并且解码设备130通过执行该程序而用作编码数据输入单元131、解码单元132和图像数据输出单元133。
编码数据输入单元131从编码设备120接收编码数据和量化参数。解码单元132对从编码设备120接收的编码数据进行解码并且生成图像数据。当对编码数据进行解码时，解码单元132使用从编码设备120接收的量化参数和从学习设备110(或编码设备120)传输的经学习的CNNF。图像数据输出单元133输出由解码单元132生成的图像数据。
<每个设备的硬件配置>
接下来，将描述学习设备110、编码设备120和解码设备130中的每一个的硬件配置。在本实施方式中，假设学习设备110、编码设备120和解码设备130中的每一个具有相同的硬件配置。
图2是示出学习设备、编码设备和解码设备的硬件配置的示例的图。如图2所示，每个设备包括中央处理单元(CPU)201、只读存储器(ROM) 202和随机存取存储器(RAM)203。CPU 201、ROM 202和RAM 203形成所谓的计算机。
每个设备包括辅助存储设备204、显示设备205、操作设备206、通信设备207和驱动设备208。每个设备中的每个硬件经由总线209相互耦接。
CPU 201是执行安装在辅助存储设备204中的各种程序(例如，学习程序、编码程序、解码程序等)的运算设备。
ROM 202是非易失性存储器。ROM 202用作存储用于CPU 201执行安装在辅助存储设备204中的各种程序的各种程序、数据等的主存储设备。例如，ROM 202用作存储引导程序例如基本输入/输出系统(BIOS)、可扩展固件接口(EFI)等的主存储设备。
RAM 203是易失性存储器，例如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等。RAM 203用作提供当CPU 201执行安装在辅助存储设备204中的各种程序时开发的工作区的主存储设备。
辅助存储设备204是存储各种程序和数据的辅助存储设备。例如，学习数据存储单元113在辅助存储设备204中实现。显示设备205是显示每个设备的内部状态的显示设备。操作设备206是用于使每个设备的用户向每个设备输入各种指令的输入设备。通信设备207是用于每个设备向另一设备传输信息和从另一设备接收信息的通信设备。
驱动设备208是用于设置计算机可读记录介质的设备。记录介质包括用于光学地、电学地或磁性地记录信息的介质，例如CD-ROM、软盘和磁光盘。可替选地，记录介质可以包括用于电学地记录信息的半导体存储器等，例如ROM、闪存等。
例如，可以通过在驱动设备208中设置分布式记录介质并且由驱动设备208读取记录在记录介质上的各种程序来安装要安装在辅助存储设备 204中的各种程序。
<学习设备的细节>
接下来，将描述学习设备110的细节。
(1)学习设备中的学习数据生成单元的功能配置以及学习数据的描述
首先，将描述学习设备中的学习数据生成单元111的功能配置和由学习数据生成单元111生成的学习数据的细节。图3是示出学习设备中的学习数据生成单元的功能配置和所生成的学习数据的示例的图。
如图3所示，学习数据生成单元111包括差分单元301、正交变换单元310、量化单元311、熵编码单元312、逆量化单元313和逆正交变换单元314。学习数据生成单元111包括加法单元302、缓冲器单元315、环路滤波器单元316、帧缓冲器单元317、画面内预测单元318和画面间预测单元319。
差分单元301计算用于学习的输入图像与预测图像之间的差并且输出预测残差信号。
正交变换单元310对由差分单元301输出的预测残差信号执行正交变换处理。
量化单元311对已经经过了正交变换处理的预测残差信号进行量化并且生成量化信号。
熵编码单元312通过对量化信号执行熵编码处理来生成编码数据。
逆量化单元313对量化信号进行逆量化。逆正交变换单元314对逆量化的信号执行逆正交变换处理。
加法单元302通过将从逆正交变换单元314输出的信号与预测图像相加来生成参考图像。缓冲器单元315存储由加法单元302生成的参考图像。
环路滤波器单元316对存储在缓冲器单元315中的参考图像执行滤波处理。环路滤波器单元316包括去块滤波器(DB)、样本自适应偏移滤波器(SAO)和自适应环路滤波器(ALF)。
帧缓冲器单元317以帧为单位存储已经由环路滤波器单元316对其执行了滤波处理的参考图像。
画面内预测单元318基于参考图像执行画面内预测以生成预测图像。画面间预测单元319通过使用用于学习的输入图像和参考图像来执行帧之间的运动补偿以生成预测图像。
由画面内预测单元318或画面间预测单元319生成的预测图像被输出至差分单元301和加法单元302。
学习数据生成单元111获得在对用于学习的输入图像进行编码时从每个单元输出的数据并且生成编码数据以及用于每个单元中的处理的数据，并且将该数据与用于学习的输入图像相关联地存储在学习数据存储单元 113中。
学习数据320示出了存储在学习数据存储单元113中的学习数据的示例。如图3所示，学习数据320包括“图片ID”、“CTU-ID”、“QP”、“从逆正交变换单元输出的信号”、“预测图像”和“用于学习的输入图像”作为信息项。
“图片ID”存储用于标识用于学习的输入图像的每个帧的标识符。“CTU-ID”存储用于在处理每个帧时标识处理单元(CTU)的标识符。
“QP”存储当量化单元311为要处理的处理单元(CTU)生成量化信号时使用的量化参数(QP)。
“从逆正交变换单元输出的信号”存储通过由逆正交变换单元314对要处理的处理单元(CTU)执行逆正交变换处理而输出的信号。
“用于学习的输入图像”存储用于学习的输入图像。
(2)学习设备中的学习单元的功能配置的描述
接下来，将描述学习设备中的学习单元112的功能配置。图4是示出学习设备中的学习单元的功能配置的示例的图。如图4所示，学习单元112 包括CNNF 410、加法单元411和比较/改变单元412。
学习单元112从学习数据存储单元113读取学习数据320。学习单元 112通过将与预定图片ID和预定CTU-ID相关联的“QP”、“从逆正交变换单元输出的信号”和“预测图像”输入至CNNF 410来执行CNNF 410。
加法单元411将从CNNF 410输出的输出结果与输入至CNNF 410的“从逆正交变换单元输出的信号”和“预测图像”相加并且将相加结果输入至比较/改变单元412。通过将“从逆正交变换单元输出的信号”与“预测图像”相加来生成参考图像。例如，加法单元411将从CNNF 410输出的输出结果与参考图像相加并且将相加结果输入至比较/改变单元412。
比较/改变单元412将从加法单元411输出的加法结果与和预定图片 ID和预定CTU-ID相关联的学习数据320的“用于学习的输入图像”进行比较以计算误差。比较/改变单元412通过反向传播所计算的误差来更新 CNNF 410的模型参数。如上面所描述的，学习单元112对CNNF 410执行学习以使得通过将从CNNF 410输出的输出结果与参考图像相加而获得的相加结果接近用于学习的输入图像。
学习单元112通过对学习数据存储单元113的学习数据320中存储的多个图片ID和多个CTU-ID执行相同的处理来对CNNF 410执行学习。
因此，当对用于学习的输入图像进行编码时，学习单元112学习量化参数、从逆正交变换单元输出的信号、预测图像、以及参考图像与用于学习的输入图像之间的差之间的对应关系以生成经学习的CNNF。
参考图像与用于学习的输入图像之间的差不过是当对用于学习的输入图像进行编码时的“编码失真”。例如，从CNNF 410输出的输出结果只不过是编码失真，并且经学习的CNNF通过使用量化参数、从逆正交变换单元输出的信号和预测图像作为输入来推理编码失真。
(3)由学习设备进行的学习处理的流程
接下来，将描述由学习设备110执行的学习处理的流程。图5是示出由学习设备执行的学习处理的流程的流程图。
在步骤S501中，学习数据生成单元111获取用于学习的输入图像。在步骤S502中，学习数据生成单元111执行对所获取的用于学习的输入图像进行编码的编码处理以生成编码数据。
在步骤S503中，学习数据生成单元111存储当生成编码数据时获取的学习数据。
在步骤S504中，学习数据生成单元111确定是否已经存储了预定量的学习数据。在步骤S504中确定没有存储预定量的学习数据的情况下(在步骤S504中为否的情况下)，处理返回至步骤S501。另一方面，在步骤 S504中确定已经存储了预定量的学习数据的情况下(在步骤S504中为是的情况下)，处理进行至步骤S505。
在步骤S505中，学习单元112初始化CNNF 410的每个模型参数。
随后，对学习数据的每个图片ID的图片(帧)和要处理的每个CTU-ID 的CTU(处理单元)执行从步骤S506至步骤S508的处理。
在步骤S506中，学习单元112从学习数据中读取与要处理的CTU-ID 相关联的“QP”、“从逆正交变换单元输出的信号”和“预测图像”。
在步骤S507中，学习单元112通过将“QP”、“从逆正交变换单元输出的信号”和“预测图像”输入至CNNF 410来使CNNF 410执行。加法单元411将从CNNF 410输出的输出结果与参考图像相加并且将相加结果输入至比较/改变单元412。
在步骤S508中，比较/改变单元412将加法单元411的加法结果与“用于学习的输入图像”进行比较以计算误差。比较/改变单元412通过反向传播所计算的误差来更新CNNF410的模型参数。
当对于作为处理目标的学习数据的所有图片ID的图片(帧)和所有 CTU-ID的CTU(处理单元)完成从步骤S506至步骤S508的处理时，学习单元112结束学习处理。
<编码设备的描述>
接下来，将描述编码设备120的细节。
(1)编码设备中的编码单元的功能配置的描述
首先，将描述编码设备120中的编码单元122的功能配置的细节。图 6是示出编码设备中的编码单元的功能配置的示例的图。
如图6所示，编码设备120中的编码单元122的功能配置与参照图3 描述的学习设备110中的学习数据生成单元111的功能配置基本上相同。与学习设备110中的学习数据生成单元111的功能配置的不同之处在于环路滤波器单元600。下面描述环路滤波器单元600。
环路滤波器单元600对存储在缓冲器单元315中的参考图像执行滤波处理。环路滤波器单元600包括去块滤波器(DB)、样本自适应偏移滤波器(SAO)、自适应环路滤波器(ALF)和NN滤波器单元。
在这些滤波器中，去块滤波器、样本自适应偏移滤波器和自适应环路滤波器对存储在缓冲器单元315中的参考图像执行滤波处理以输出滤波后的参考图像。
另一方面，NN滤波器单元包括经学习的CNNF。经学习的CNNF通过输入量化参数、从逆正交变换单元输出的信号和预测图像来推理编码失真。
NN滤波器单元通过将由经学习的CNNF推理的编码失真添加至存储在缓冲器单元315中的参考图像来输出滤波后的参考图像。
(2)编码设备中的环路滤波器单元的功能配置和NN滤波器单元的功能配置
接下来，将描述编码设备120中的环路滤波器单元600的功能配置和 NN滤波器单元的功能配置的细节。图7是示出编码设备中的环路滤波器单元的功能配置和NN滤波器单元的功能配置的示例的图；
如图7所示，环路滤波器单元600包括DB 700、SAO 701、ALF 702、划分单元703、NN滤波器单元710、划分单元711和率失真优化单元720。
在这些滤波器中，去块滤波器(DB)700对参考图像执行滤波处理以减少当输入图像被编码时在每个CTU的块边界处生成的失真。
样本自适应偏移滤波器(SAO)701以像素为单位对由DB 700滤波的参考图像进行分类并且将与该分类相对应的偏移值添加至每个像素。
自适应环路滤波器(ALF)702对已经通过SAO 701向其添加了偏移值的参考图像执行滤波处理以减少与相对应输入图像的误差。
划分单元703将通过ALF 702滤波的滤波后的参考图像划分成预定大小(例如，64像素×64像素)的块。
NN滤波器单元710是第一获取单元和第二获取单元的示例并且包括经学习的CNNF。NN滤波器单元710从量化单元311获取量化参数。NN 滤波器单元710获取从逆正交变换单元314输出的信号。NN滤波器单元 710获得从画面内预测单元318或画面间预测单元319输出的预测图像。
NN滤波器单元710通过对获取的量化参数、从逆正交变换单元314 输出的信号和预测图像进行划分并且将其输入至经学习的CNNF 730来执行经学习的CNNF。由此，在经学习的CNNF中，推理出编码失真。
NN滤波器单元710将通过经学习的CNNF推理出的编码失真添加至参考图像(通过将从逆正交变换单元314输出的信号与预测图像相加而获得的参考图像)。从而，NN滤波器单元710输出滤波后的参考图像。
划分单元711将从NN滤波器单元710输出的滤波后的参考图像划分成预定大小(例如，64像素×64像素)的块。
率失真优化单元720分别计算由划分单元703划分的块的率失真和由划分单元711划分的块的率失真。率失真优化单元720输出具有较小率失真的块作为环路滤波器单元600的最终滤波后的参考图像。
(3)由编码设备中的NN滤波器单元进行的滤波处理的流程
接下来，将描述由编码设备120中的NN滤波器单元710进行的滤波处理的流程。图8是示出由编码设备中的NN滤波器单元进行的滤波处理的流程的流程图。
对于要处理的输入图像的每个图片(每个帧)和每个CTU(每个处理单元)执行从步骤S801之步骤S803的处理。
在步骤S801中，NN滤波器单元710获得要处理的CTU的量化参数、从逆正交变换单元输出的信号和预测图像。
在步骤S802中，NN滤波器单元710通过对量化参数、从逆正交变换单元输出的信号和预测图像进行划分并且将其输入至经学习的CNNF 730来执行经学习的CNNF 730。NN滤波器单元710获取由经学习的 CNNF 730推理出的编码失真。
在步骤S803中，NN滤波器单元710通过将获得的编码失真添加至参考图像来计算滤波后的参考图像。
当对于包括在要处理的输入图像中的所有图片(帧)和所有CTU(处理单元)完成从步骤S801至步骤S803的处理时，NN滤波器单元710结束滤波处理。
<与比较示例的编码设备的比较>
接下来，通过将编码设备120中的编码单元122的功能配置与比较示例的编码设备的功能配置进行比较来阐明编码设备120的特征。比较示例的编码设备是指应用推理参考图像中包括的编码失真的AI滤波器(已经通过使用参考图像作为输入而被学习的AI滤波器)作为环路滤波器单元的编码设备。
(1)比较示例的编码设备的功能配置
图9是示出比较示例的编码设备中的编码单元的功能配置的示例的图。在比较示例的编码设备中的编码单元900的情况下，环路滤波器单元 910中包括的NN滤波器单元包括通过学习量化参数、参考图像和编码失真之间的对应关系而生成的经学习的CNNF。
因此，类似于去块滤波器、样本自适应偏移滤波器和自适应环路滤波器，将存储在缓冲器单元315中的参考图像输入至NN滤波器单元。
然而，在NN滤波器单元的情况下，还输入量化参数并且执行经学习的CNNF。NN滤波器单元通过将由经学习的CNNF推理出的编码失真添加至参考图像来输出滤波后的参考图像。
(2)比较示例的编码设备中的环路滤波器单元的功能配置和NN滤波器单元的功能配置
接下来，将描述比较示例的编码设备中的环路滤波器单元910的功能配置和NN滤波器单元的功能配置的细节。图10是示出比较示例的编码设备中的环路滤波器单元的功能配置和NN滤波器单元的功能配置的示例的图。
与图7中所示的编码设备120的环路滤波器单元600的不同之处在于，在图10的情况下，参考图像和量化参数被输入至NN滤波器单元1010，并且经学习的CNNF 1011推理编码失真。
(3)由于功能配置差异而产生的效果差异
接下来，将通过使用图11和图12来描述由于编码设备120与比较示例的编码设备之间的功能配置的差异而产生的效果差异。图11是示出比较示例的编码设备中的量化误差和预测误差的图。
如上面所描述的，在比较示例的编码设备的情况下，参考图像和量化参数被输入至经学习的CNNF 1011以推理编码失真。如图11所示，通过将从逆正交变换单元314输出的信号与预测图像相加来生成参考图像。
通过对预测残差信号执行正交变换处理和量化处理并且然后执行逆量化处理和逆正交变换处理，来获得从逆正交变换单元314输出的信号。因此，从逆正交变换单元314输出的信号包括当执行量化处理时的量化误差。
另一方面，预测图像是通过执行画面内预测处理或画面间预测处理而获得的图像，并且包括预测误差。
例如，通过将从逆正交变换单元314输出的信号与预测图像相加而获得的参考图像只不过是通过将包括量化误差的信号与包括预测误差的图像相加而获得的图像，并且量化误差和预测误差两者都混合在参考图像中。
因此，根据用于学习的输入图像，当生成经学习的CNNF 1011时，可能发生学习处理不收敛的情况。根据要处理的输入图像，可能发生由经学习的CNNF 1011推理的编码失真的推理准确度低并且可能不能获得足够的滤波器性能的情况。
图12是示出编码设备中的量化误差和预测误差的图。如上面所描述的，通过在学习处理时单独输入包括量化误差的信号和包括预测误差的图像来生成包括在编码设备120中的经学习的CNNF 730。因此，无论用于学习的输入图像如何，都可以避免学习处理都不能收敛的情况。
包括在编码设备120中的经学习的CNNF 730在推理时分别输入包括量化误差的信号和包括预测误差的图像。出于该原因，无论要处理的输入图像如何，都可以以高的推理准确度来推理编码失真，并且可以提高滤波器性能。
<解码设备的描述>
接下来，将描述解码设备130的细节。
(1)解码设备中的解码单元的功能配置的描述
首先，将描述解码设备130中的解码单元132的功能配置的细节。图 13是示出解码设备中的解码单元的功能配置的示例的图。
如图13所示，解码设备130中的解码单元132包括熵解码单元1310、逆量化单元1311、逆正交变换单元1312、画面内预测单元1313、运动补偿单元1314和加法单元1301。解码单元132包括环路滤波器单元1315 和帧缓冲器单元1316。
熵解码单元1310对接收到的编码数据进行解码并且输出量化信号。熵解码单元1310提取量化参数并且通知环路滤波器单元1315。在编码设备120传输编码数据的情况下，当已经传输了用于生成编码数据的经学习的CNNF时，熵解码单元1310获取经学习的CNNF并且通知环路滤波器单元1315。
逆量化单元1311对经量化的信号进行逆量化并且将结果输出至逆正交变换单元1312。逆正交变换单元1312通过对经逆量化的信号执行逆正交变换处理来获得预测残差信号。
加法单元1301将通过逆正交变换单元1312获得的预测残差信号、由画面内预测单元1313生成的预测图像或由运动补偿单元1314运动补偿的预测图像相加以输出参考图像。
环路滤波器单元1315执行滤波处理。环路滤波器单元1315包括去块滤波器、样本自适应偏移滤波器、自适应环路滤波器和NN滤波器单元。 NN滤波器单元包括从学习设备110通知的经学习的CNNF(或者当由编码设备120传输时从熵解码单元1310通知的经学习的CNNF)。
在执行滤波处理时，环路滤波器单元1315获取通过将预测图像与预测残差信号相加而生成的参考图像，或者分别获取从逆正交变换单元1312 输出的预测残差信号、由画面内预测单元1313或运动补偿单元1314生成的预测图像以及由熵解码单元1310通知的量化参数。
环路滤波器单元1315输出滤波后的参考图像作为解码图像并且将参考图像存储在帧缓冲器单元1316中。
画面内预测单元1313通过使用滤波后的参考图像来执行画面内预测以生成预测图像。运动补偿单元1314基于滤波后的参考图像的每一帧来执行运动补偿以生成预测图像。
当输出通过画面内预测单元1313的画面内预测而生成的预测图像或通过运动补偿单元1314的运动补偿而生成的预测图像时，加法单元1301 将输出的预测图像与由逆正交变换单元1312输出的预测残差信号相加。
(2)解码设备中的环路滤波器单元的功能配置和NN滤波器单元的功能配置
接下来，将描述解码设备130中的环路滤波器单元1315的功能配置和的NN滤波器单元的功能配置的细节。图14是示出解码设备中的环路滤波器单元的功能配置和NN滤波器单元的功能配置的示例的图。
如图14所示，环路滤波器单元1315包括DB 1400、SAO 1401、ALF 1402、划分单元1403、作为第一获取单元和第二获取单元的示例的NN滤波器单元1410、划分单元1411和率失真优化单元1420。
环路滤波器单元1315中包括的每个单元的功能与参照图7描述的环路滤波器单元600中包括的每个单元的功能相同，并且将不重复其描述。
(3)由解码设备中的NN滤波器单元进行的滤波处理的流程
接下来，将描述由解码设备130中的NN滤波器单元1410进行的滤波处理的流程。图15是示出由解码设备中的NN滤波器单元进行的滤波处理的流程的流程图。
针对要处理的编码数据的每个图片(每个帧)和每个CTU(每个处理单元)执行从步骤S1501至步骤S1503的处理。
在步骤S1501中，NN滤波器单元1410获取要处理的CTU的量化参数、从逆正交变换单元1312输出的信号和预测图像。
在步骤S1502中，NN滤波器单元1410通过对量化参数、从逆正交变换单元1312输出的信号和预测图像进行划分并且将其输入至经学习的 CNNF 730来执行经学习的CNNF730。NN滤波器单元1410获取由经学习的CNNF 730推理的编码失真。
在步骤S1503中，NN滤波器单元1410通过将获得的编码失真添加至参考图像来计算滤波后的参考图像。
当针对要处理的编码数据中包括的所有图片(帧)和所有CTU(处理单元)完成从步骤S1501至步骤S1503的处理时，NN滤波器单元1410 结束滤波处理。
根据上面的描述中可以清楚，根据本实施方式的学习设备通过使用设置有现有环路滤波器单元的编码单元对用于学习的输入图像执行编码处理，并且将从编码单元的每个单元输出的数据存储为学习数据。当通过使用学习数据学习编码失真时，根据本实施方式的学习设备将包括量化误差的信号和包括预测误差的图像分别输入至CNNF。
因此，根据本实施方式的学习设备，可以划分量化误差和预测误差，并且学习编码失真。结果，根据本实施方式的学习设备，可以避免在学习编码失真时学习处理不收敛的情况。
根据本实施方式的编码设备包括NN滤波器单元，该NN滤波器单元包括通过由学习设备执行学习处理而生成的经学习的CNNF，并且该编码设备获取通过单独输入包括量化误差的信号和包括预测误差的图像而推理出的编码失真。
因此，根据本实施方式的编码设备，可以以高推理准确度推理编码失真，并且可以提高滤波器性能。
根据本实施方式的解码设备包括NN滤波器单元，该NN滤波器单元包括通过由学习设备执行学习处理而生成的经学习的CNNF，并且该解码设备通过单独输入包括量化误差的信号和包括预测误差的图像而推理出的编码失真。
因此，根据本实施方式的解码设备，可以以高推理准确度推理编码失真，并且可以提高滤波器性能。
如上面所描述的，根据本实施方式，可以提高环路滤波器单元的滤波器性能。
本公开内容不限于本文所示的配置，而根据前述实施方式例示的配置例如也可以与其他元素组合。这些方面可以在不脱离本公开内容的主旨的情况下进行改变并且可以根据其应用模式而适当设置。

Claims (17)

1.一种存储程序的非暂态计算机可读存储介质，所述程序使包括在计算机中的处理器执行处理，所述处理包括：
通过根据通过画面内预测或画面间预测生成的预测图像与要处理的输入图像之间的差来计算预测残差并且对所计算的预测残差执行正交变换处理和量化处理，并且然后执行熵编码处理，来对所述要处理的输入图像进行编码；
获取在对所述要处理的输入图像进行编码时在所述量化处理中使用的量化参数、包括在所述量化处理中出现的量化误差的信号和包括在所述画面内预测或所述画面间预测中出现的预测误差的图像；以及
获取通过将所获取的量化参数、所获取的包括所述量化误差的信号和所获取的包括所述预测误差的图像分别输入至已经学习了在对用于学习的输入图像进行编码时生成的编码失真的环路滤波器单元而由所述滤波器单元推理出的编码失真。
2.根据权利要求1所述的非暂态计算机可读存储介质，其中，
包括在所述量化处理中出现的量化误差的信号是通过对所述量化处理的结果执行逆量化处理和逆正交变换处理而获得的信号，以及
包括所述预测误差的图像是通过所述画面内预测或所述画面间预测生成的预测图像。
3.根据权利要求2所述的非暂态计算机可读存储介质，其中，所述处理还包括：
通过将通过执行所述逆正交变换处理而获得的所述信号与所述预测图像相加来生成参考图像；以及
通过将通过分别将所获取的量化参数、通过执行所述逆正交变换处理而获得的所述信号和所述预测图像输入至所述滤波器单元而推理出的所述编码失真添加至所生成的参考图像来输出第一滤波后的参考图像。
4.根据权利要求3所述的非暂态计算机可读存储介质，其中，所述处理还包括：
通过将所生成的参考图像输入至另一滤波器单元来输出第二滤波后的参考图像；以及
输出所述第一滤波后的参考图像和所述第二滤波后的参考图像中的率失真较小的一者作为最终滤波后的参考图像。
5.根据权利要求4所述的非暂态计算机可读存储介质，其中，
所述滤波器单元是通过使用当对所述用于学习的输入图像进行编码时获得的学习数据进行学习来生成的。
6.根据权利要求5所述的非暂态计算机可读存储介质，其中，
所述学习数据包括：
通过画面内预测或画面间预测而生成的预测图像，
在对根据所述预测图像与所述用于学习的输入图像之间的差计算出的预测残差执行正交变换处理和量化处理时使用的量化参数，
通过对所述量化处理的结果执行逆量化处理和逆正交变换处理而获得的信号，以及
所述用于学习的输入图像。
7.根据权利要求6所述的非暂态计算机可读存储介质，其中，
所述滤波器单元是通过执行学习使得通过将所述预测图像和所述信号与当所述学习数据中包括的所述预测图像、所述量化参数和所述信号被输入时的输出相加而获得的相加结果接近所述学习数据中包括的所述用于学习的输入图像来生成的。
8.一种存储程序的非暂态计算机可读存储介质，所述程序使包括在计算机中的处理器执行处理，所述处理包括：
通过将通过对量化信号执行逆量化处理和逆正交变换处理而获得的信号与通过执行画面内预测或运动补偿而获得的预测图像相加并且执行滤波处理，来对编码数据进行解码，所述量化信号通过对所述编码数据执行熵解码而获得；
获取在对所述编码数据进行解码时的量化参数、包括量化误差的信号和包括在所述画面内预测或所述运动补偿中出现的预测误差的图像；以及
获取通过将所获取的量化参数、所获取的包括所述量化误差的信号和所获取的包括所述预测误差的图像分别输入至已经学习了在对用于学习的输入图像进行编码时生成的编码失真的环路滤波器单元而由所述滤波器单元推理出的编码失真。
9.根据权利要求8所述的非暂态计算机可读存储介质，其中，
包括所述量化误差的信号是通过对所述量化信号执行逆量化处理和逆正交变换处理而获得的信号，以及
包括所述预测误差的图像是通过所述画面内预测或所述运动补偿生成的预测图像。
10.根据权利要求9所述的非暂态计算机可读存储介质，其中，所述处理还包括：
通过将通过执行所述逆正交变换处理而获得的所述信号与所述预测图像相加来生成参考图像；以及
通过将通过分别将所获取的量化参数、通过执行所述逆正交变换处理而获得的所述信号和所述预测图像输入至所述滤波器单元而推理出的所述编码失真添加至所生成的参考图像来输出第一滤波后的参考图像，以对所述编码数据进行解码。
11.根据权利要求10所述的非暂态计算机可读存储介质，其中，
所述滤波器单元是通过使用当对所述用于学习的输入图像进行编码时获得的学习数据进行学习来生成的。
12.根据权利要求11所述的非暂态计算机可读存储介质，其中，
所述学习数据包括：
通过所述画面内预测或所述画面间预测而生成的预测图像，
在对根据所述预测图像与所述用于学习的输入图像之间的差计算出的预测残差执行正交变换处理和量化处理时使用的量化参数，
通过对所述量化处理的结果执行逆量化处理和逆正交变换处理而获得的信号，以及
所述用于学习的输入图像。
13.根据权利要求12所述的非暂态计算机可读存储介质，其中，
所述滤波器单元是通过执行学习使得通过将所述预测图像和所述信号与当所述学习数据中包括的所述预测图像、所述量化参数和所述信号被输入时的输出相加而获得的相加结果接近所述学习数据中包括的所述用于学习的输入图像来生成的。
14.一种编码设备，其通过根据通过画面内预测或画面间预测生成的预测图像与要处理的输入图像之间的差来计算预测残差并且对所计算的预测残差执行正交变换处理和量化处理，并且然后执行熵编码处理，来对所述要处理的输入图像进行编码，所述设备包括：
第一获取单元，其获取在对所述要处理的输入图像进行编码时在所述量化处理中使用的量化参数、包括在所述量化处理中出现的量化误差的信号和包括在所述画面内预测或所述画面间预测中出现的预测误差的图像；以及
第二获取单元，其获取通过将所获取的量化参数、所获取的包括所述量化误差的信号和所获取的包括所述预测误差的图像分别输入至已经学习了在对用于学习的输入图像进行编码时生成的编码失真的环路滤波器单元而由所述滤波器单元推理出的编码失真。
15.一种解码设备，其通过将通过对量化信号执行逆量化处理和逆正交变换处理而获得的信号与通过执行画面内预测或运动补偿而获得的预测图像相加并且执行滤波处理，来对编码数据进行解码，所述量化信号通过对所述编码数据执行熵解码而获得，所述设备包括：
第一获取单元，其获取在对所述编码数据进行解码时的量化参数、包括量化误差的信号和包括在所述画面内预测或所述运动补偿中出现的预测误差的图像；以及
第二获取单元，其获取通过将所获取的量化参数、所获取的包括所述量化误差的信号和所获取的包括所述预测误差的图像分别输入至已经学习了在对用于学习的输入图像进行编码时生成的编码失真的环路滤波器单元而由所述滤波器单元推理出的编码失真。
16.一种编码方法，其用于通过根据通过画面内预测或画面间预测生成的预测图像与要处理的输入图像之间的差来计算预测残差并且对所计算的预测残差执行正交变换处理和量化处理，并且然后执行熵编码处理，来对所述要处理的输入图像进行编码，所述方法包括：
通过计算机进行以下操作：
获取在对所述要处理的输入图像进行编码时在所述量化处理中使用的量化参数、包括在所述量化处理中出现的量化误差的信号和包括在所述画面内预测或所述画面间预测中出现的预测误差的图像；以及
获取通过将所获取的量化参数、所获取的包括所述量化误差的信号和所获取的包括所述预测误差的图像分别输入至已经学习了在对用于学习的输入图像进行编码时生成的编码失真的环路滤波器单元而由所述滤波器单元推理出的编码失真。
17.一种解码方法，其用于通过将通过对量化信号执行逆量化处理和逆正交变换处理而获得的信号与通过执行画面内预测或运动补偿而获得的预测图像相加并且执行滤波处理，来对编码数据进行解码，所述量化信号通过对所述编码数据执行熵解码而获得，所述方法包括：
通过计算机进行以下操作：
获取在对所述编码数据进行解码时的量化参数、包括量化误差的信号和包括在所述画面内预测或所述运动补偿中出现的预测误差的图像；以及
获取通过将所获取的量化参数、所获取的包括所述量化误差的信号和所获取的包括所述预测误差的图像分别输入至已经学习了在对用于学习的输入图像进行编码时生成的编码失真的环路滤波器单元而由所述滤波器单元推理出的编码失真。
CN202010402038.7A 2019-05-30 2020-05-13 编码和解码方法、设备、可读存储介质 Active CN112019843B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019101629A JP7318314B2 (ja) 2019-05-30 2019-05-30 符号化プログラム、復号プログラム、符号化装置、復号装置、符号化方法及び復号方法
JP2019-101629 2019-05-30

Publications (2)

Publication Number Publication Date
CN112019843A CN112019843A (zh) 2020-12-01
CN112019843B true CN112019843B (zh) 2022-07-15

Family

ID=70482381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010402038.7A Active CN112019843B (zh) 2019-05-30 2020-05-13 编码和解码方法、设备、可读存储介质

Country Status (4)

Country Link
US (1) US11128873B2 (zh)
EP (1) EP3745720A1 (zh)
JP (1) JP7318314B2 (zh)
CN (1) CN112019843B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7475842B2 (ja) 2019-11-26 2024-04-30 キヤノン株式会社 画像復号装置、制御方法、およびプログラム
CN114868390A (zh) * 2020-12-04 2022-08-05 深圳市大疆创新科技有限公司 视频编码方法、解码方法、编码器、解码器以及ai加速器
WO2023014065A1 (ko) * 2021-08-06 2023-02-09 삼성전자 주식회사 영상에 대한 ai 기반 필터링을 위한 장치 및 방법
WO2023051654A1 (en) * 2021-09-29 2023-04-06 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197260A (zh) * 2017-06-12 2017-09-22 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN107925762A (zh) * 2015-09-03 2018-04-17 联发科技股份有限公司 基于神经网络的视频编解码处理方法和装置
CN109644268A (zh) * 2016-06-24 2019-04-16 韩国科学技术院 包括基于cnn的环路滤波器的编码方法与装置及解码方法与装置
WO2019072097A1 (en) * 2017-10-12 2019-04-18 Mediatek Inc. VIDEO ENCODING METHOD USING NEURAL NETWORK
CN109688406A (zh) * 2017-10-19 2019-04-26 三星电子株式会社 使用机器学习的图像编码器及图像编码器的数据处理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013223050A (ja) 2012-04-13 2013-10-28 Sharp Corp フィルタ装置、復号装置、および符号化装置
US10321128B2 (en) * 2015-02-06 2019-06-11 Sony Corporation Image encoding apparatus and image encoding method
CN107736027B (zh) 2015-06-12 2021-06-01 松下知识产权经营株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
WO2019039283A1 (ja) * 2017-08-22 2019-02-28 ソニー株式会社 画像処理装置及び画像処理方法
WO2019087905A1 (ja) * 2017-10-31 2019-05-09 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107925762A (zh) * 2015-09-03 2018-04-17 联发科技股份有限公司 基于神经网络的视频编解码处理方法和装置
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN109644268A (zh) * 2016-06-24 2019-04-16 韩国科学技术院 包括基于cnn的环路滤波器的编码方法与装置及解码方法与装置
CN107197260A (zh) * 2017-06-12 2017-09-22 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法
WO2019072097A1 (en) * 2017-10-12 2019-04-18 Mediatek Inc. VIDEO ENCODING METHOD USING NEURAL NETWORK
CN109688406A (zh) * 2017-10-19 2019-04-26 三星电子株式会社 使用机器学习的图像编码器及图像编码器的数据处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于神经网络的图像视频编码;贾川民;《电信科学》;20190520;全文 *

Also Published As

Publication number Publication date
US11128873B2 (en) 2021-09-21
JP2020198463A (ja) 2020-12-10
EP3745720A1 (en) 2020-12-02
US20200382794A1 (en) 2020-12-03
CN112019843A (zh) 2020-12-01
JP7318314B2 (ja) 2023-08-01

Similar Documents

Publication Publication Date Title
CN112019843B (zh) 编码和解码方法、设备、可读存储介质
US11375229B2 (en) Method, device, and computer program for optimizing transmission of motion vector related information when transmitting a video stream from an encoder to a decoder
US11284117B2 (en) Deblocking filtering
US11943476B2 (en) Methods and apparatuses for coding video data with adaptive secondary transform signaling
US10911757B2 (en) Methods and apparatuses of processing pictures in an image or video coding system
US11438590B2 (en) Methods and apparatuses of chroma quantization parameter derivation in video processing system
US11051009B2 (en) Video processing methods and apparatuses for processing video data coded in large size coding units
CN117857807A (zh) 一种编码器、解码器及去块滤波器的边界强度的对应推导方法
KR20210002630A (ko) 적응적 변환 타입의 공간 가변 변환
US11330282B2 (en) Encoding and decoding with signaling of SAO parameters
US11477445B2 (en) Methods and apparatuses of video data coding with tile grouping
CN114793282A (zh) 带有比特分配的基于神经网络的视频压缩
KR20220057620A (ko) 변환-스킵 모드에서 비디오 데이터를 코딩하기 위한 방법 및 장치
US10992942B2 (en) Coding method, decoding method, and coding device
WO2023122969A1 (zh) 帧内预测方法、设备、系统、及存储介质
WO2023051653A1 (en) Method, apparatus, and medium for video processing
JP6270472B2 (ja) 画像符号化装置、画像符号化方法、及びプログラム
US20160150245A1 (en) System and a method for video encoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant