CN111699692A - 使用上采样调整器处理信号数据 - Google Patents

使用上采样调整器处理信号数据 Download PDF

Info

Publication number
CN111699692A
CN111699692A CN201880088547.8A CN201880088547A CN111699692A CN 111699692 A CN111699692 A CN 111699692A CN 201880088547 A CN201880088547 A CN 201880088547A CN 111699692 A CN111699692 A CN 111699692A
Authority
CN
China
Prior art keywords
representation
data
quality
level
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880088547.8A
Other languages
English (en)
Inventor
伊万·马基夫
米歇尔·萨纳
巴拉兹·凯斯泰利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
V-Nova Ltd
V Nova International Ltd
Original Assignee
V-Nova Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by V-Nova Ltd filed Critical V-Nova Ltd
Publication of CN111699692A publication Critical patent/CN111699692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

在编码器装置(108)上处理信号数据。获得信号在第一质量水平下的表示。使用编码器装置(108)中的上采样器来对第一水平下的表示进行上采样，以导出信号在更高的第二质量水平下的初步表示。将第一水平下的表示用作与编码器装置(108)中的上采样器并行布置的上采样调整器的输入来导出调整数据。所述调整数据可由编码器装置(108)用于调整初步表示。使用初步表示和调整数据来导出信号在第二水平下的调整后的表示。使用调整后的表示导出可由解码器装置(110)使用的残差数据，以使用调整后的表示重构信号在第二水平下的参考表示。

Description

使用上采样调整器处理信号数据
技术领域
本发明涉及使用上采样调整器处理信号数据。
背景技术
信号的压缩和解压缩是许多已知系统中的重要考虑因素。
许多类型的信号，例如视频、图像、音频或体积信号，可以被压缩和编码以例如通过数据通信网络进行传输。其他信号可以以压缩形式存储在例如诸如数字多功能光盘(DVD)之类的存储介质上。当对这样的信号进行解码时，可能希望提高信号的质量水平和/或恢复原始信号中包含的尽可能多的信息。
一些已知的系统利用可伸缩编码技术。可伸缩编码涉及对信号以及信息进行编码，以允许根据解码器的能力和可用带宽以不同的质量水平重构信号。但是，可能需要存储和/或传输相对大量的信息，尤其是随着更高质量、更高清晰度视频的使用变得更加普遍，更是如此。
一些已知的可伸缩编码系统使用上采样器来对信号数据进行上采样。但是，上采样的数据和原始信号之间可能会有差异。低效率可能与解码器用来重构原始信号的编码数据有关。
发明内容
根据本发明的第一方面，提供了一种在编码器装置上处理信号数据的方法，该方法包括：
获得信号在第一质量水平下的表示；
使用所述编码器装置中的上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的初步表示；
将所述第一质量水平下的所述表示用作与所述编码器装置中的所述上采样器并行布置的上采样调整器的输入来导出调整数据，所述调整数据可由所述编码器装置用于调整所述初步表示；
使用所述初步表示和所述调整数据来导出所述信号在所述第二质量水平下的调整后的表示；以及
使用所述调整后的表示导出残差数据，所述残差数据可由解码器装置用于使用所述调整后的表示重构所述信号在所述第二质量水平下的参考表示。
根据本发明的第二方面，提供了一种在解码器装置上处理信号数据的方法，该方法包括：
获得信号在第一质量水平下的表示；
使用所述解码器装置中的上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的初步表示；
将所述第一质量水平下的所述表示用作与所述解码器装置中的所述上采样器并行布置的上采样调整器的输入来导出调整数据，所述调整数据可由所述解码器装置用于调整所述初步表示；
使用所述初步表示和所述调整数据来导出所述信号在所述第二质量水平下的调整后的表示；
接收可由所述解码器装置用于导出残差数据的数据，所述残差数据可由所述解码器装置用于使用所述调整后的表示重构所述信号在所述第二质量水平下的参考表示；
使用所接收的数据导出所述残差数据；以及
使用所述调整后的表示和所述残差数据来重构所述参考表示。
根据本发明的第三方面，提供了一种在编码器装置上处理信号数据的方法，该方法包括：
获得信号在第一质量水平下的表示；
使用所述编码器装置中的第一上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的第一初步表示；
将所述第一质量水平下的所述表示用作与所述编码器装置中的所述第一上采样器并行布置的第一上采样调整器的输入来导出第一调整数据，所述第一调整数据可由所述编码器装置用于调整所述第一初步表示；
使用所述第一初步表示和所述第一调整数据来导出所述信号在所述第二质量水平下的第一调整后的表示；
使用所述第一调整后的表示导出第一残差数据，所述第一残差数据可由解码器装置用于使用所述第一调整后的表示重构所述信号在所述第二质量水平下的参考表示；
使用所述第一调整后的表示和所述第一残差数据，重构所述第二质量水平下的所述参考表示；
使用所述编码器装置中的第二上采样器来对所述第二质量水平下的所述参考表示进行上采样，以导出所述信号在高于所述第二质量水平的第三质量水平下的第二初步表示；
将所述第二质量水平下的所述参考表示和从所述第一上采样调整器输出的数据用作与所述编码器装置中的所述第二上采样器并行布置的第二上采样调整器的输入来导出第二调整数据，所述第二调整数据可由所述编码器装置用于调整所述第二初步表示；
使用所述第二初步表示和所述第二调整数据来导出所述信号在所述第三质量水平下的第二调整后的表示；以及
使用所述第二调整后的表示导出第二残差数据，所述第二残差数据可由解码器装置用于使用所述第二调整后的表示重构所述信号在所述第三质量水平下的参考表示。
根据本发明的第四方面，提供了一种在解码器装置上处理信号数据的方法，该方法包括：
获得信号在第一质量水平下的表示；
使用所述解码器装置中的第一上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的第一初步表示；
将所述第一质量水平下的所述表示用作与所述解码器装置中的所述第一上采样器并行布置的第一上采样调整器的输入来导出第一调整数据，所述第一调整数据可由所述解码器装置用于调整所述第一初步表示；
使用所述第一初步表示和所述第一调整数据来导出所述信号在所述第二质量水平下的第一调整后的表示；
接收可由所述解码器装置用于导出第一残差数据的第一数据，所述第一残差数据可由所述解码器装置用于使用所述第一调整后的表示重构所述信号在更高的第二质量水平下的参考表示；
使用所接收的第一数据导出所述第一残差数据；
使用所述第一调整后的表示和所述第一残差数据重构所述第二质量水平下的所述参考表示；
使用所述解码器装置中的第二上采样器来对所述第二质量水平下的所述参考表示进行上采样，以导出所述信号在高于所述第二质量水平的第三质量水平下的第二初步表示；
将所述第二质量水平下的所述参考表示和从所述第一上采样调整器输出的数据用作与所述解码器装置中的所述第二上采样器并行布置的第二上采样调整器的输入来导出第二调整数据，所述第二调整数据可由所述解码器装置用于调整所述第二初步表示；
使用所述第二初步表示和所述第二调整数据来导出所述信号在所述第三质量水平下的第二调整后的表示；
接收可由所述解码器装置用于导出第二残差数据的第二数据，所述第二残差数据可由所述解码器装置用于使用所述第二调整后的表示重构所述信号在所述第三质量水平下的参考表示；
使用所接收的第二数据导出所述第二残差数据；以及
使用所述第二调整后的表示和所述第二残差数据重构所述第三质量水平下的所述参考表示。
根据本发明的第五方面，提供了一种设备，所述设备被布置成执行根据本发明的第一方面、第二方面、第三方面或第四方面中的任一项的方法。
根据本发明的第六方面，提供了一种包括指令的计算机程序，所述指令在被执行时致使设备执行根据本发明的第一方面、第二方面、第三方面或第四方面中的任一项的方法。
附图说明
图1示出了根据本发明的实施例的信号处理系统的示例的示意性框图；
图2示出了根据本发明的实施例的信号处理技术的示例的示意图；
图3示出了根据本发明的实施例的信号处理技术的另一个示例的示意图；
图4示出了卷积神经网络的示例的示意图；
图5示出了根据本发明的实施例的信号处理技术的另一个示例的示意图；并且
图6示出了根据本发明的实施例的设备的示例的示意性框图。
具体实施方式
参考图1，示出了信号处理系统100的示例。信号处理系统100用于处理信号。信号类型的示例包括但不限于视频信号、图像信号、音频信号、体积信号(诸如在医学、科学或全息成像中使用的那些信号)、或其他多维信号。
信号处理系统100包括第一设备102和第二设备104。第一设备102和第二设备104可以具有客户端-服务器关系，其中第一设备102执行服务器装置的功能，并且第二设备104执行客户端装置的功能。信号处理系统100可以包括至少一个附加设备。第一设备102和/或第二设备104可以包括一个或多个部件。部件可以以硬件和/或软件实现。一个或多个部件可以在信号处理系统100中位于同一位置或可以彼此远离。设备类型的示例包括但不限于计算机化的装置、路由器、工作站、手持式或膝上型计算机、平板计算机、移动装置、游戏控制台、智能电视、机顶盒等。
第一设备102经由数据通信网络106通信地联接到第二设备104。数据通信网络106的示例包括但不限于互联网、局域网(LAN)和广域网(WAN)。第一和/或第二设备102、104可以具有与数据通信网络106的有线和/或无线连接。
第一设备102包括编码器装置108。编码器装置108被配置为编码信号数据。编码器装置108除了编码信号数据之外还可以执行一个或多个其他功能。编码器装置108可以以各种不同的方式体现。例如，编码器装置108可以体现为硬件和/或软件。
第二设备104包括解码器装置110。解码器装置110被配置为解码信号数据。解码器装置110除了解码信号数据之外还可以执行一个或多个其他功能。解码器装置110可以以各种不同的方式体现。例如，解码器装置110可以体现为硬件和/或软件。
编码器装置108对信号数据进行编码，并且经由数据通信网络106将编码后的信号数据传输至解码器装置110。解码器装置110对接收到的编码后的信号数据进行解码，并生成解码后的信号数据。解码器装置110可以输出解码后的信号数据或使用解码后的信号数据导出的数据。例如，解码器装置110可以输出这样的数据以在与第二设备104相关联的一个或多个显示装置上显示。
在本文描述的一些示例中，编码器装置108传输信息，解码器装置110可以使用该信息来重构信号在一种或多种更高的质量水平下的表示。这样的信息可以被称为“重构数据”。在一些示例中，表示的“重构”涉及获得并非原始表示的精确副本的表示。所述表示与原始表示相同的程度可能取决于各种因素，包括但不限于量化水平。信号在给定质量水平下的表示可以被认为是给定质量水平下信号中包括的数据的再现、版本或描绘。在一些示例中，重构数据被包括在由编码器装置108编码并且被传输到解码器装置110的信号数据中。例如，重构数据可以呈元数据的形式。在一些示例中，重构数据与信号数据被分开编码和传输。重构数据是压缩数据的示例。压缩数据可以包括与压缩数据流相关联的数据。
解码器装置110用于重构信号在一种或多种更高质量水平下的表示的信息可以包括残差数据，如下文更详细地描述。残差数据是重构数据的示例。读者可以参考国际专利申请PCT/EP2013/059847，其发表为WO2013/171173。PCT/EP2013/059847描述了在分层层次结构中残差数据的使用。PCT/EP2013/059847的全部内容通过引用并入本文。此外，关于与本发明所设想的使用相一致的编码和解码的层次方法的更多细节，读者可以参考美国专利8,977,065、8,948,248、8,711,943、9,129,411、8,531,321、9,510,018、9,509,990，这些专利以引用方式并入本文。
相比于一些已知的技术，本文所描述的示例涉及传输相对少量的信息来用于这种重构。与某些已知技术相比，这减少了经由数据通信网络106传输的数据量。在信号数据对应于高质量视频数据的情况下，在已知系统中传输的信息量可能特别高的情况下，节省可能是特别有意义的。
在本文描述的示例中，提供了措施以允许残差数据具有期望的一个或多个属性。例如，可能期望将残差数据的大小减小到目标大小以下和/或配置残差数据以进行有效编码。这样，本文所述的示例允许以灵活的方式控制残差数据和/或残差数据的编码。
参考图2，示意性地示出了信号处理技术200的示例。信号处理技术200可以由编码器装置108和/或解码器装置110执行。
获得输入数据210。输入数据210可以由执行信号处理技术200的设备(例如编码器装置108或解码器装置110)导出，或者输入数据210可以从一个或多个其他实体接收。例如，当由解码器装置110执行信号处理技术200时，解码器装置110可以生成输入数据作为信号在较低质量水平下的表示，并且在处理200中将其用作输入数据210。替代地，解码器装置110可以从编码器装置108和/或从另一个实体(诸如将输入数据210中继到解码器装置110的中间装置)接收输入数据210。可以经由压缩数据流来接收输入数据210。
输入数据210包括信号在第一质量水平下的表示。例如，输入数据210可以包括具有给定分辨率的图像数据。第一质量水平可以是包括多个不同质量水平的分层层次结构中的给定质量水平。第一质量水平可以是分层层次结构中的最低质量水平，或者可以是分层层次结构中介于最高质量水平和最低质量水平之间的中间质量水平。读者可以参考国际专利申请PCT/EP2013/059847，其描述了质量水平的分层层次结构。
可以使用信号在第二质量水平下的参考表示来导出获得的输入数据210。输入数据210可以由执行信号处理技术200的设备导出，或者输入数据可以由一个或多个其他实体导出。第二质量水平高于第一质量水平。例如，第二质量水平可以是分层层次结构中单独的相对于第一质量水平更高的质量水平。第二质量水平可以是分层层次结构中的最高质量水平，或者可以是分层层次结构中介于最高质量水平和最低质量水平之间的中间质量水平。可以通过对第二质量水平下的参考表示执行下采样操作来导出输入数据210。
使用上采样器220对输入数据210进行上采样。上采样器220可以是执行信号处理技术200的设备的物理或逻辑部件。上采样器220可以配置有一个或多个预定上采样功能。上采样功能的示例包括但不限于最近邻插值、双线性插值和双三次插值。
上采样器220对输入数据210进行上采样以导出上采样数据225。上采样数据225是信号在第二质量水平下的初步表示。
输入数据210还用作上采样调整器230的输入。在该示例中，上采样调整器230与上采样器220平行布置。本文使用术语“并行”来表示上采样调整器230和上采样器220接收共同输入，即输入数据210。上采样调整器230用于导出调整数据235。调整数据235可用于调整由上采样器220导出的上采样数据225。
在一些示例中，上采样调整器230包括上采样补偿器。上采样补偿器允许对上采样器220的上采样性质进行补偿。这样的上采样性质可能是上采样器220和/或由上采样器220导出的上采样数据225的不期望性质。例如，上采样性质可以涉及上采样数据225中的不想要的伪像。可以通过使用调整数据235调整上采样数据225来补偿上采样性质。
在一些示例中，上采样调整器230包括上采样增强器。上采样增强器允许上采样器220的输出被增强。本文所述的“增强”可以与“补偿”区分开，因为增强涉及改善特定的上采样性质，而补偿涉及补偿特定的上采样性质，例如不期望的性质。例如，可以通过使用上采样调整器230来改善上采样数据220的视觉质量。可以通过使用调整数据235调整上采样数据225来增强来自上采样器220的输出。
上采样调整器230可以是执行信号处理技术200的设备的物理或逻辑部件。在该示例中，上采样调整器230和上采样器220为并行布置的单独部件。在其他示例中，上采样调整器230和上采样器220被包括在单个部件中。
在一些示例中，上采样调整器230使用机器学习来导出调整数据235。例如，可以在“离线”模式下使用一个或多个训练数据集来训练上采样调整器230。然后，上采样调整器230可以使用在训练期间获得的知识来导出调整数据235。与不使用机器学习技术的情况相比，使用机器学习技术来导出用于调整上采样数据225的调整数据235提高了调整后的上采样数据240的准确度。调整后的上采样数据240的准确度可以涉及调整后的上采样数据240与参考表示的相似程度。通过提高调整后的上采样数据240的准确度，可以提高残差数据的编码效率。例如，可以减小残差数据的大小和/或与编码残差数据相关联的熵。
在一些示例中，上采样调整器230包括经训练的人工神经网络。这种经训练的人工神经网络的示例是卷积神经网络。卷积神经网络是一种类型的深度前馈人工神经网络。卷积神经网络可以包括卷积层和池层。卷积神经网络可以提供比其他类型的神经网络更高的准确度，尤其是在图像处理应用中。但是，在准确度和处理资源之间可能会有权衡。例如，某些其他类型的神经网络可以使用比卷积神经网络(例如，单层或多层感知机网络)更少的处理资源，但会牺牲准确度。
设计为处理图像的人工神经网络的示例可以对具有F(x,θi)＝y形式的函数进行建模，其中x是输入图像，θi是通过训练网络优化的参数，并且y是输出。函数F可以是线性的或非线性的。输入图像x可以具有尺寸h×w。在示例中，输出y具有尺寸2h×2w，应当理解，在其他示例中，y可以具有其他尺寸。这样，函数F可以被认为是上采样器函数，因为输出是具有比输入图像大至少一个尺寸的图像。
可以使用包括多个训练图像的训练数据集来训练网络。对于N个训练图像，训练数据集包括
Figure BDA0002617102670000111
其中xt是训练图像，并且yt是预期的或“基本事实”输出。对于yt，可以使用更高质量水平下的原始图像，诸如第二质量水平下的参考表示。xt是yt的尚未上采样的版本，也可以称为yt的下采样版本。网络尝试重构yt。训练涉及计算损失并相应地更新网络的参数。损失函数用于找出使误差E＝||F(xt，θi)-yt||最小化的参数θi。换句话说，将训练图像的网络输出与该图像的预期输出进行比较。网络还使用在优化参数θi之前设置的超参数。超参数可以指定网络本身的结构和/或如何训练和/或使用网络。超参数在网络训练期间可以是固定的。
在一些示例中，代替人工神经网络或除人工神经网络之外，上采样调整器230包括查找表。查找表可以包括与不同的上采样和/或图像属性相关联的一个或多个预定调整数据集。查找表可能比人工神经网络更容易实现，因为它不需要训练。但是，查找表在调整上采样数据225方面可能不如人工神经网络准确和/或可靠。
上采样数据225和调整数据235被用于导出调整后的上采样数据240。调整后的上采样数据240包括信号在第二质量水平下的调整后的表示。在一些示例中，调整数据235用于调整上采样数据225以导出调整后的上采样数据240。例如，调整数据235可以包括要应用于上采样数据240的附加校正。在其他示例中，上采样数据225应用于调整数据235以导出调整后的上采样数据240。
在一些示例中，例如，当由编码器装置108执行信号处理技术200时，调整后的表示240被用于导出残差数据。残差数据可由解码器装置110用于使用调整后的表示240重构参考表示。可以通过将调整后的表示240与参考表示进行比较来导出残差数据。在一些示例中，通过计算调整后的表示240与参考表示之间的差异来导出残差数据。用于确定残差数据的在参考表示与调整后的表示240之间做出的比较可以例如在解码器装置110处被反转，使得可以通过将调整后的表示240与残差数据进行比较来获得参考表示。
输出数据可以由编码器装置108生成。输出数据可由解码器装置110用于导出输入数据210。可用于导出输入数据210的数据可以包括输入数据210本身。在一些示例中，可用于导出输入数据210的数据包括来自相对于第一质量水平更低的一个或多个质量水平的数据，该数据可由解码器装置110用来获得输入数据210。输出数据也可由解码器装置110用于导出残差数据。输出数据可以被编码以传输到解码器装置110，以允许解码器装置110重构参考表示。例如，可以经由数据通信网络106将输出数据作为压缩数据流进行传输。可以在传输之前对输出数据进行编码，以减少在将输出数据传输至解码器装置110时涉及的数据量。
在一些示例中，例如，当由解码器装置110执行信号处理技术200时，接收到可用于导出残差数据的数据。可用于导出残差数据的数据包括残差数据或转换后的残差数据(在本文中统称为“残差数据”)、编码后的残差数据或可由解码器装置110用来导出残差数据的其他数据。可以从编码器装置108接收可用于导出残差数据的数据。可用于导出残差数据的数据可以作为压缩数据流的一部分被接收。解码器装置110可以接收可用于导出残差数据的数据以及可用于获得输入数据210的数据。解码器装置110可使用残差数据和调整后的表示240来重构参考表示。
使用上采样调整器230(例如，其可以是卷积神经网络)来调整上采样数据225与不使用上采样调整器230的情况相比会允许更大程度地控制或影响用于信号重构的残差数据。与上采样数据225相比，调整后的表示240可更类似于参考表示。因此，调整后的表示240与参考表示之间的差异可以小于上采样数据225与参考表示之间的差异。这样，调整上采样数据225可以减小可用于重构参考表示的所得残差数据的大小。附加地或替代地，使用上采样调整器230调整上采样数据225可以使残差数据能够被更有效地编码。例如，使用上采样调整器230调整上采样数据225可以减小残差数据的编码熵。在一些示例中，与不使用上采样调整器230的情况相比，可以使用更少的唯一符号来表示残差数据，从而提高编码效率。
在一些示例中，在编码器装置108处导出的调整数据不输出到解码器装置110。编码器装置108的配置和解码器装置110的配置之间可能存在已知的关系。例如，解码器装置110可以包括以与编码器装置108处的上采样调整器相似的方式配置的上采样调整器。因此，解码器装置110处的上采样调整器可以独立地导出调整数据，而不需要解码器装置110从编码器装置108接收调整数据。
在一些示例中，上采样调整器230被布置成实现残差数据的目标编码性质。目标编码性质可以包括诸如香农熵(Shannon entropy)的熵。在一些示例中，目标编码性质与残差数据的值有关。例如，可能希望减小或最小化这些值，和/或可能希望减小不同残差数据元素的值之间的差异。
在该示例中，上采样调整器230与上采样器220平行布置。这种设计是特别有效的，因为通过有效地向上采样器220提供增强的功能，上采样调整器230可以用于补充现有的上采样器。上采样调整器230可以追溯地合并到包括上采样器220的系统中，从而减少对构造包括上采样调整器230的功能的新上采样器的需求，并且增加上采样器220的使用寿命。此外，由于可以独立地控制、启用和/或禁用系统的不同部分，因此将上采样调整器应用于现有的上采样器提高了信号处理系统的灵活性。此外，在上采样调整器230包括人工神经网络的示例中，现有的上采样器220在人工神经网络的训练期间提供指导。例如，现有的上采样器220可以提供用于训练人工神经网络的“起点”，从而促进人工神经网络的效率和/或准确度的提高。
参考图3，示意性地示出了信号处理技术300的示例。信号处理技术300可以由编码器装置108和/或解码器装置110执行。图3所示的某些项目与图2所示的项目相同或相似。因此，相同或相似的项目使用了对应的附图标记(增加了100)。
在该示例中，上采样调整器330接收输入数据310作为第一输入，即，信号在第一质量水平下的表示。上采样调整器330还接收另外的数据350作为第二输入。另外的数据350可以与第一质量水平相关联。
在该示例中，另外的数据350包括使用另外的上采样调整器(未示出)导出的数据。另外的上采样调整器可以布置在执行信号处理技术300的设备中。另外的上采样调整器与另外的上采样器(未示出)相关联。另外的上采样器用于对信号在低于第一质量水平的质量水平下的表示进行上采样。使用另外的上采样调整器导出的数据可用于在导出调整数据335时引导或指导上采样调整器330。
在一些示例中，从另外的上采样调整器接收另外的数据350。在其他示例中，从存储器检索另外的数据350。
另外的上采样调整器可以使用机器学习。例如，另外的上采样调整器可以包括人工神经网络，诸如卷积神经网络。另外的上采样调整器可以与上采样调整器330分开。另外的上采样调整器可操作以导出调整数据，所述调整数据可用于调整信号在第一质量水平下的初步表示，所述初步表示通过对信号在低于第一质量水平的质量水平下的表示进行上采样而导出。
这样，对于给定的质量水平，图3所示的上采样器320和上采样调整器330的布置也可以以一个或多个其他质量水平来提供。例如，可以以较低的质量水平提供对应的上采样器和上采样调整器。
在一些示例中，上采样调整器330和另外的上采样调整器包括人工神经网络，该人工神经网络被布置为对信号在不同质量水平下的表示进行操作。信号处理技术300因此可以涉及链接与不同质量水平相关联的人工神经网络。因此，可以在与不同质量水平相关联的人工神经网络之间共享信息。在人工神经网络之间共享信息可以提高一个或两个人工神经网络的准确度和/或处理效率。除了通过使用上采样调整器330本身所获得的效果之外，这种效果是附加的，即使得能够对残差数据进行附加控制。在一些示例中，例如在上采样调整器330和另外的上采样调整器包括人工神经网络的情况下，另外的数据350包括从另外的上采样调整器输出的数据。在示例中，另外的数据350包括在导出调整数据的过程中由另外的上采样调整器使用的中间数据。例如，另外的数据350可以包括由另外的上采样调整器使用的一个或多个内核、滤波器、参数、权重等。
在上采样调整器330和另外的上采样调整器包括卷积神经网络的示例中，另外的上采样调整器所使用的卷积滤波器可以成比例地大于上采样调整器330所使用的卷积滤波器。这归因于另外的上采样调整器对比上采样调整器330操作的信号更低质量水平的信号表示进行操作。
链接神经网络特别有利。由于神经网络越“深”，它们的性能越好(即，神经网络的层级越多，它们的性能就越好)，因此可能需要尝试使深度最大化。但是，神经网络越深，它们的计算成本就越高，因此使得它们对于实时处理(诸如直播视频所需的处理)或不具备必要计算能力的装置来说不切实际。这样，常规的神经网络可能难以在诸如视频处理的应用中使用。然而，在本发明中提出的将多个独立的神经网络链接在一起的设计是指，在较高层级上工作的神经网络实际上与链接的神经网络的堆栈一样深，从而有效地利用了神经网络在较低层级生成的知识。例如，如果在层次结构中的第一层级工作的神经网络具有三个边层级，并且在层次结构中的第二层级工作的神经网络具有三个边层级，并且两个神经网络被链接，则在层次结构中的第二层级工作的神经网络实际上具有六个边层级，因此其深度加倍，而没有附加计算成本。这样，通过将第二质量水平下的神经网络与第一质量水平下的神经网络链接起来，可以增强第二质量水平下的神经网络的有效深度。因此，通过链接与不同层次的质量水平相关联的神经网络，可以利用信号处理布置的层次性来在神经网络之间共享信息。在一些示例中，链接神经网络减小了经重构信号中不希望的与转换相关的伪像的影响。
因此，神经网络可以用于进行上采样，作为编码/解码过程的一部分。神经网络的这种使用不同于用于获得超分辨率图像的神经网络的使用。换句话说，在本文的编码/解码管道的上下文中使用人工神经网络。
在一些示例中，另外的数据350包括上采样器属性数据。上采样器属性数据指示上采样器320的属性。例如，另外的数据350可以包括指示上采样的类型和/或上采样器320使用的一个或多个上采样参数的数据。
在一些示例中，另外的数据350包括信号属性数据。信号属性数据指示信号和/或输入数据310的属性。例如，在信号包括图像的情况下，另外的数据350可以包括指示可能影响上采样调整器330的一个或多个图像参数或特性的数据。
在该示例中，如果存在也使用上采样调整器的第二质量水平，则上采样调整器330可以输出附加数据360。附加数据360可由与用于对信号在第二质量水平下的表示进行上采样的上采样器相关联的上采样调整器使用。这样，上采样调整器330可以生成要馈送到与更高质量水平相关联的另一上采样调整器的数据。可以将附加数据360发送到与更高质量水平相关联的上采样调整器，或者可以将附加数据360存储在存储器中，以供该上采样调整器随后使用。在上采样调整器330包括人工神经网络的情况下，附加数据360可以包括人工神经网络的附加输出，该附加输出可以用于指导与更高质量水平相关联的另一个人工神经网络。
在一些示例中，从上采样调整器330输出的附加数据360是使用上采样调整器330从对第一质量水平下的表示进行上采样的过程中导出的信息。由于与不同质量水平相关联的上采样调整器之间的信息共享，因此附加数据360可由与更高质量水平相关联的上采样调整器用来提高与更高质量水平相关联的上采样调整器的准确度。
在一些示例中，在分层层次结构中的每个质量水平处提供上采样器和对应的上采样调整器。在这样的示例中，处于给定质量水平的上采样调整器与处于下一个较低质量水平的上采样调整器和处于下一个较高质量水平的上采样调整器链接。这样，可以在处于不同层次层级的上采样调整器之间共享信息，以便提高上采样调整的准确度和/或提高使用上采样调整器的处理效率。
在一些示例中，例如在给定的上采样调整器包括人工神经网络的情况下，通过在层次结构中的多个质量水平提供互连神经网络来利用信号处理布置的层次性。神经网络(可以一起被视为整个神经网络体系结构)可以具有优化的总体目标功能，其对应于层次结构中每个质量水平的误差总和，而非仅是最高质量水平的误差。这样的神经网络体系结构可以提供“逐步”或“逐级”标准，这有助于对神经网络进行有效和准确的训练，因为处于不同质量水平的神经网络能够共享信息，因此在优化过程中互相指导。与神经网络不链接的情况或仅层次结构中最高质量水平具有人工神经网络的情况相比，这种“逐步”标准可以提供更有效的训练。
参考图4，示出了卷积神经网络(CNN)400的示例的示意图。可以根据本文描述的信号处理方法来使用CNN 400。在一些示例中，不同的卷积神经网络在具有多个质量水平的分层层次结构中以不同的信号质量水平进行操作。在该示例中，卷积神经网络400包括四个层，即一个输入层、两个隐藏层和一个输出层。每一层包括一个或多个节点，所述节点可以称为“神经元”。在此示例中，输入层包含5个神经元，并且输出层包含1个神经元。卷积神经网络400中的神经元可以以三个维度(宽度、高度、深度)布置。对于图像输入，例如，深度尺寸可以是图像的颜色通道的数量。每个神经元可具有可在训练期间进行调整的一个或多个可学习的权重或“偏置”。给定神经元的一组一个或多个权重可以被称为“过滤器”或“内核”，其与输入图像卷积以产生输出。CNN 400通常还将包括用于处理处于较低输入质量水平的输入数据的补丁提取和表示部件，以及用于生成处于较高输出质量水平的输出数据的重构部件。
参考图5，示意性地示出了信号处理技术500的示例。信号处理技术500可以由编码器装置108和/或解码器装置110执行。图5所示的某些项目与图3所示的项目相同或相似。因此，相同或相似的项目使用了对应的附图标记(增加了200)。信号处理技术500可以包括用作上采样调整器的CNN，诸如关于图4所描述的CNN。
如图5所示，在该示例中，提供了上采样器520N、CNN 530N和残差处理器545N，以生成处于给定质量水平(LOQN)的信号。部件的这种布置也可以以一个或多个较低质量水平和/或一个或多个较高质量水平提供。例如，对应的上采样器(未示出)、CNN(未示出)和残差处理器(未示出)可以以较低质量水平(LOQN-1)提供。替代地或附加地，对应的上采样器520N+1、CNN 530N+1和残差处理器545N+1可以以较高质量水平(LOQN+1)提供。
在该示例中，CNN 530N被布置成作为上采样调整器操作，该上采样调整器接收输入数据510N-1(即，信号在第一质量水平(LOQN-1)下的表示)作为第一输入。上采样调整器CNN530N还接收另外的输入数据550N-1作为第二输入。另外的输入数据550N-1可以与第一质量水平相关联。上采样调整器CNN 530N生成第二质量水平(LOQN)下的调整数据535N，该第二质量水平例如可以是第一质量水平的分辨率的两倍。上采样调整器CNN 530N还生成另外的调整输出数据550N作为第二输入。另外的输出数据550N可以与第二质量水平相关联。
在示例中，另外的输入数据550N-1包括使用在第一质量水平(LOQ N-1)下用作上采样调整器的较低层级的CNN(未示出)导出的数据。较低层级的CNN与较低层级的上采样器(未示出)相关联。较低层级的上采样器用于对信号在低于第一质量水平的质量水平下的表示进行上采样。使用较低层级的CNN导出的另外的输入数据550N-1可用于引导或指导CNN530N导出调整数据535N和另外的输出数据550N。
替代地，如果第一质量水平是信号处理技术500中的最低质量水平，则可以不提供另外的输入数据550N-1。
在示例中，另外的输出数据550N包括使用在第二质量水平(LOQN)下用作上采样调整器的CNN 530N导出的数据。CNN 530N与上采样器520N相关联。上采样器520N用于对信号在第一质量水平下的表示进行上采样。使用CNN 530N导出的另外的输出数据550N可用于引导或指导较高层级的CNN 530N+1导出较高水平的调整数据535N+1和较高水平的另外的输出数据550N+1。
替代地，如果CNN 530N在最高质量水平下操作，则可能不会生成另外的输出数据550N。
在一些示例中，另外的输入数据550N-1包括潜在表示数据。潜在表示数据指示第一输入数据510N-1的一个或多个属性。例如，在信号包括图像的情况下，另外的输入数据550N-1可以包括指示可能影响CNN 530N的一个或多个图像特性的数据。这些数据是使用较低层级的CNN(未示出)导出的。可以提供另外的输入数据550N-1作为来自较低层级的CNN的潜在表示数据的一个或多个通道。类似地，可以提供另外的输出数据550N作为来自CNN N的潜在表示数据的一个或多个通道。在本发明的一些示例中，另外的输入数据550N-1的通道数量大于另外的输出数据550N的通道数量。这可以实现更高的效率，因为可以相应地减少CNN中与较高质量水平相关联的处理量。
图5所示的布置可用于进行上采样，作为编码/解码过程的一部分。当在编码器中实施时，残差处理器545N将其输入信号540N与和残差处理器操作的质量水平(LOQN)相关联的参考图像进行比较，并生成残差数据信号(未示出)以传输至解码器，并且残差处理器545N将残差数据信号作为校正应用于输入信号以生成其输出信号510N。当在解码器中实施时，残差处理器545N使用与残差处理器操作的质量水平(LOQN)相关联的接收到的残差数据信号(未示出)来校正其输入信号540N，并生成其输出信号510N，该输出信号可以可选地输出以进行显示。
参考图6，示出了设备600的示例的示意性框图。
在示例中，设备600包括编码器装置。在另一示例中，设备600包括解码器装置。
设备600的其他示例包括但不限于移动计算机、个人计算机系统、无线装置、基站、电话装置、桌上型计算机、膝上型计算机、上网本、笔记型计算机、大型计算机系统、手持式计算机、工作站、网络计算机、应用服务器、存储装置、诸如相机的消费型电子装置、摄像机、移动装置、视频游戏控制台、手持式视频游戏装置、或大体来说任何类型的计算或电子装置。
在该示例中，设备600包括被配置为处理信息和/或指令的一个或多个处理器601。一个或多个处理器601可以包括中央处理单元(CPU)。一个或多个处理器601与总线602耦合。一个或多个处理器601执行的操作可以由硬件和/或软件执行。一个或多个处理器601可包括多个位于同一位置的处理器或多个位于不同位置的处理器。
在该示例中，设备600包括被配置为为一个或多个处理器601存储信息和/或指令的计算机可用易失性存储器603。计算机可用易失性存储器603与总线602耦合。计算机可用易失性存储器603可以包括随机存取存储器(RAM)。
在该示例中，设备600包括被配置为为一个或多个处理器601存储信息和/或指令的计算机可用非易失性存储器604。计算机可用非易失性存储器604与总线602耦合。计算机可用非易失性存储器604可以包括只读存储器(ROM)。
在该示例中，设备600包括被配置为存储信息和/或指令的一个或多个数据存储单元605。一个或多个数据存储单元605与总线602耦合。一个或多个数据存储单元605可以例如包括磁盘或光盘以及磁盘驱动器或固态驱动器(SSD)。
在该示例中，设备600包括被配置为将信息传送给一个或多个处理器601和/或从一个或多个处理器601传送信息的一个或多个输入/输出(I/O)装置606。一个或多个I/O装置606与总线602耦合。一个或多个I/O装置606可以包括至少一个网络接口。所述至少一个网络接口可以使设备600能够经由一个或多个数据通信网络进行通信。数据通信网络的示例包括但不限于互联网和局域网(LAN)。一个或多个I/O装置606可以使用户能够经由一个或多个输入装置(未示出)向设备600提供输入。一个或多个输入装置可以包括例如遥控器、一个或多个物理按钮等。一个或多个I/O装置606可以使信息能够经由一个或多个输出装置(未示出)提供给用户。一个或多个输出装置可以例如包括显示屏。
描绘了设备600的各种其他实体。例如，当存在时，操作系统607、信号处理模块608、一个或多个另外的模块609以及数据610被示出为驻留在计算机可用易失性存储器603、计算机可用非易失性存储器604和一个或多个数据存储单元605中的一者中或者它们的组合中。信号处理模块608可以通过存储在计算机可用非易失性存储器604内的存储器位置、一个或多个数据存储单元605内的计算机可读存储介质和/或其他有形的计算机可读存储介质中的计算机程序代码来实现。有形的计算机可读存储介质的示例包括但不限于光学介质(例如，CD-ROM、DVD-ROM或蓝光)、闪存卡、软盘或硬盘或者能够存储计算机可读指令或作为专用集成电路(ASIC)的任何其他介质，所述计算机可读指令诸如至少一个ROM或RAM或可编程ROM(PROM)芯片中的固件或微代码。
设备600因此可以包括信号处理模块608，其可以由一个或多个处理器601执行。信号处理模块608可以被配置为包括用以实现本文描述的至少一些操作的指令。在操作期间，一个或多个处理器601启动、运行、执行、解释或以其他方式执行信号处理模块608中的指令。
尽管本文参考附图描述的示例的至少一些方面包括在处理系统或处理器中执行的计算机过程，但是本文描述的示例还扩展到计算机程序，例如载体上或载体中的适于将示例付诸实践的计算机程序。载体可以是能够承载程序的任何实体或装置。
应该理解，设备600可以包括与图6所描绘的部件相比更多、更少和/或不同的部件。
设备600可以位于单个位置或可以分布在多个位置。这样的位置可以是本地或远程的。
本文描述的技术可以以软件或硬件来实现，或者可以使用软件和硬件的组合来实现。所述技术可包括将设备配置为执行和/或支持本文描述的任何或全部技术。
提供各种措施(例如，设备、方法、计算机程序和计算机可读介质)，其中编码器装置获得信号在第一质量水平下的表示。使用所述编码器装置中的上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的初步表示。将所述第一质量水平下的所述表示用作与所述编码器装置中的所述上采样器并行布置的上采样调整器的输入来导出调整数据，所述调整数据可由所述编码器装置用于调整所述初步表示。使用所述初步表示和所述调整数据来导出所述信号在所述第二质量水平下的调整后的表示。使用所述调整后的表示导出残差数据，所述残差数据可由解码器装置用于使用所述调整后的表示重构所述信号在所述第二质量水平下的参考表示。
在一些示例中，编码器装置输出可由解码器装置用于导出第一质量水平下的表示的数据和可由解码器装置用于导出残差数据的数据。
提供各种措施(例如，设备、方法、计算机程序和计算机可读介质)，其中解码器装置获得信号在第一质量水平下的表示。使用所述解码器装置中的上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的初步表示。将所述第一质量水平下的所述表示用作与所述解码器装置中的所述上采样器并行布置的上采样调整器的输入来导出调整数据，所述调整数据可由所述解码器装置用于调整所述初步表示。使用所述初步表示和所述调整数据来导出所述信号在所述第二质量水平下的调整后的表示。解码器装置接收可用于导出残差数据的数据。残差数据可由解码器装置用于使用所述调整后的表示重构所述信号在所述第二质量水平下的参考表示。解码器装置使用接收到的数据导出残差数据。解码器装置使用所述调整后的表示和所述残差数据来重构所述参考表示。
在一些示例中，导出所述调整数据包括将另外的数据用作所述上采样调整器的另外的输入。
在一些示例中，另外的数据包括使用另外的上采样调整器导出的数据。另外的上采样调整器与另外的上采样器相关联，该另外的上采样器用于对信号在低于第一质量水平的质量水平下的表示进行上采样。
在一些示例中，上采样调整器使用机器学习来导出调整数据。
在一些示例中，上采样调整器包括经训练的人工神经网络。
在一些示例中，上采样调整器包括卷积神经网络。
在一些示例中，上采样调整器被布置成实现残差数据的目标编码性质。
在一些示例中，上采样调整器包括上采样补偿器。
在一些示例中，使用所述上采样调整器包括输出数据，所述数据可由与用于对所述信号在所述第二质量水平下的表示进行上采样的上采样器相关联的上采样调整器使用。
提供各种措施(例如，设备、方法、计算机程序和计算机可读介质)，其中编码器装置获得信号在第一质量水平下的表示。编码器装置使用所述编码器装置中的上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的初步表示。编码器装置导出调整数据，所述调整数据可由编码器装置用于调整所述初步表示。将第一质量水平下的表示用作编码器装置中的上采样调整器的第一输入来导出调整数据。将另外的数据用作所述上采样调整器的第二输入来导出所述调整数据。另外的数据包括使用编码器装置中的另外的上采样调整器导出的数据。另外的上采样调整器与另外的上采样器相关联，该另外的上采样器用于对信号在低于第一质量水平的质量水平下的表示进行上采样。编码器装置使用所述初步表示和所述调整数据来导出所述信号在所述第二质量水平下的调整后的表示。编码器装置使用所述调整后的表示导出残差数据，所述残差数据可由解码器装置用于使用所述调整后的表示重构所述第二质量水平下的参考表示。编码器装置输出可由解码器装置用于导出第一质量水平下的表示的数据和可由解码器装置用于导出残差数据的数据。
提供各种措施(例如，设备、方法、计算机程序和计算机可读介质)，其中解码器装置获得信号在第一质量水平下的表示。解码器装置使用所述解码器装置中的上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的初步表示。解码器装置导出调整数据，所述调整数据可由解码器装置用于调整所述初步表示。将第一质量水平下的表示用作解码器装置中的上采样调整器的第一输入来导出调整数据。将另外的数据用作所述上采样调整器的第二输入来导出调整数据。另外的数据包括使用解码器装置中的另外的上采样调整器导出的数据。另外的上采样调整器与另外的上采样器相关联，该另外的上采样器用于对信号在低于第一质量水平的质量水平下的表示进行上采样。解码器装置使用所述初步表示和所述调整数据来导出所述信号在所述第二质量水平下的调整后的表示。解码器装置接收可用于导出残差数据的数据。残差数据可由解码器装置用于重构所述信号在所述第二质量水平下的参考表示。解码器装置使用接收到的数据导出残差数据。解码器装置使用所述调整后的表示和所述残差数据来重构所述参考表示。
在一些示例中，另外的数据包括指示上采样器的属性的上采样器属性数据。
在一些示例中，所述另外的数据包括指示信号在所述第一质量水平下的所述表示的属性的信号属性数据。
提供各种措施(例如，设备、方法、计算机程序和计算机可读介质)，其中编码器装置获得信号在第一质量水平下的表示。编码器装置使用所述编码器装置中的第一上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的第一初步表示。编码器装置将所述第一质量水平下的所述表示用作与所述编码器装置中的所述第一上采样器并行布置的第一上采样调整器的输入来导出第一调整数据。所述第一调整数据可由编码器装置用于调整所述初步表示。编码器装置使用所述第一初步表示和所述第一调整数据来导出所述信号在所述第二质量水平下的第一调整后的表示。编码器装置使用所述第一调整后的表示导出第一残差数据，所述第一残差数据可由解码器装置用于使用所述第一调整后的表示重构所述信号在所述第二质量水平下的参考表示。编码器装置使用所述第一调整后的表示和所述第一残差数据来重构所述第二质量水平下的所述参考表示。然后，编码器装置使用所述编码器装置中的第二上采样器来对所述第二质量水平下的所述参考表示进行上采样，以导出所述信号在第三质量水平下的第二初步表示。第三质量水平高于第二质量水平。编码器装置将所述第二质量水平下的所述参考表示和从所述第一上采样调整器输出的数据用作与所述编码器装置中的所述第二上采样器并行布置的第二上采样调整器的输入来导出第二调整数据。所述第二调整数据可由编码器装置用于调整所述第二初步表示。编码器装置使用所述第二初步表示和所述第二调整数据来导出所述信号在所述第三质量水平下的第二调整后的表示。编码器装置使用第二调整后的表示来导出第二残差数据。第二残差数据可由解码器装置用于使用所述第二调整后的表示重构所述信号在所述第三质量水平下的参考表示。
在一些示例中，编码器装置输出可由解码器装置用于导出第一质量水平下的表示的数据、可由解码器装置用于导出第一残差数据的数据和可由解码器装置用于导出第二残差数据的数据。
提供各种措施(例如，设备、方法、计算机程序和计算机可读介质)，其中解码器装置获得信号在第一质量水平下的表示。解码器装置使用所述解码器装置中的第一上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的第一初步表示。解码器装置将所述第一质量水平下的所述表示用作与所述解码器装置中的所述第一上采样器并行布置的第一上采样调整器的输入来导出第一调整数据。所述第一调整数据可由解码器装置用于调整所述初步表示。解码器装置使用所述第一初步表示和所述第一调整数据来导出所述信号在所述第二质量水平下的第一调整后的表示。解码器装置接收可由所述解码器装置用于导出第一残差数据的第一数据，所述第一残差数据可由所述解码器装置用于使用所述第一调整后的表示重构所述信号在第二质量水平下的参考表示。解码器装置使用接收到的第一数据导出第一残差数据。解码器装置使用所述第一调整后的表示和所述第一残差数据重构所述第二质量水平下的所述参考表示。然后，解码器装置使用所述解码器装置中的第二上采样器来对所述第二质量水平下的所述参考表示进行上采样，以导出所述信号在第三质量水平下的第二初步表示。第三质量水平高于第二质量水平。解码器装置将所述第二质量水平下的所述参考表示和从所述第一上采样调整器输出的数据用作与所述解码器装置中的所述第二上采样器并行布置的第二上采样调整器的输入来导出第二调整数据。所述第二调整数据可由解码器装置用于调整所述第二初步表示。解码器装置使用所述第二初步表示和所述第二调整数据来导出所述信号在所述第三质量水平下的第二调整后的表示。解码器装置接收可由所述解码器装置用于导出第二残差数据的第二数据，所述第二残差数据可由所述解码器装置用于使用所述第二调整后的表示重构所述信号在所述第三质量水平下的参考表示。解码器装置使用接收到的第二数据导出第二残差数据。解码器装置使用所述第二调整后的表示和所述第二残差数据重构所述第三质量水平下的所述参考表示。
在一些示例中，从所述第一上采样调整器输出的所述数据是使用所述第一上采样调整器从对所述第一质量水平下的所述表示进行上采样的过程中导出的信息，并且能够由所述第二上采样调整器用于提高所述第二上采样调整器的准确度。
在一些示例中，所述第二上采样调整器包括神经网络，并且从所述第一上采样调整器输出的所述数据被用作所述神经网络的数据输入。
在一些示例中，第一上采样调整器包括神经网络。
在一些示例中，第一上采样调整器和/或第二上采样调整器包括卷积神经网络。
提供各种措施(例如，设备、方法、计算机程序和计算机可读介质)，其中编码器装置获得信号在第一质量水平下的表示，该第一质量水平下的表示已经使用信号在更高的第二质量水平下的参考表示导出。使用所述编码器装置中的上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在第二质量水平下的初步表示。将第一质量水平下的表示用作编码器装置中的上采样调整器的输入来导出调整数据。上采样调整器和上采样器是编码器装置的独立元件。所述调整数据可由编码器装置用于调整所述初步表示。使用所述初步表示和所述调整数据来导出所述信号在所述第二质量水平下的调整后的表示。使用所述调整后的表示导出残差数据，所述残差数据可由解码器装置用于使用所述调整后的表示重构参考表示。输出可由解码器装置用于导出第一质量水平下的表示和残差数据的数据。调整器和调整数据的使用有助于残差数据的控制。
上述实施例应被理解为说明性示例。设想了其他的实施例。
在本文描述的一些示例中，上采样器和上采样调整器与所述编码器装置或解码器装置并行布置。在其他示例中，上采样器和上采样调整器以不同的配置布置。例如，上采样器和上采样调整器可以串联布置。这样，上采样调整器可以接收使用上采样器导出的数据作为输入。在其他示例中，上采样器和上采样调整器被组合。这样，上采样器和上采样调整器可以被包括在单个物理或逻辑部件中。例如，这样的组合部件可以包括执行上采样和上采样调整两者的经训练的人工神经网络。在一些情况下，与使用单独的上采样器和上采样调整器的情况相比，使用组合的上采样器和上采样调整器可以减少处理能力、逻辑、使用的存储空间、复杂度和/或成本的总量。
在一些示例中，由上采样调整器导出的调整数据与输入数据相结合，以导出调整后的输入数据。然后可以将调整后的输入数据输入到上采样器。例如，可以基于关于上采样器将如何处理输入数据以生成上采样数据的知识来修改输入数据。这样的知识可以通过训练来获取，例如，在上采样调整器包括人工神经网络的情况下。在这种示例中，当将调整数据应用于输入数据而非高分辨率的上采样数据时，调整数据的分辨率可能低于将调整数据应用于上采样数据的情况。因此，与将更高分辨率的调整数据和更高分辨率的上采样数据组合在一起的情况相比，可以提高处理效率。
应当理解，关于任一个实施例所描述的任何特征都可以单独使用，或者与所描述的其他特征结合使用，并且还可以与任何其他实施例的一个或多个特征结合使用，或者与任何其他实施例的任何组合结合使用。此外，在不脱离所附权利要求限定的本发明的范围的情况下，还可以采用上面未描述的等效物和修改形式。

Claims (23)

1.一种在编码器装置上处理信号数据的方法，所述方法包括：
获得信号在第一质量水平下的表示；
使用所述编码器装置中的上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的初步表示；
将所述第一质量水平下的所述表示用作与所述编码器装置中的所述上采样器并行布置的上采样调整器的输入来导出调整数据，所述调整数据能够由所述编码器装置用于调整所述初步表示；
使用所述初步表示和所述调整数据来导出所述信号在所述第二质量水平下的调整后的表示；以及
使用所述调整后的表示导出残差数据，所述残差数据能够由解码器装置用于使用所述调整后的表示重构所述信号在所述第二质量水平下的参考表示。
2.根据权利要求1所述的方法，所述方法包括：
输出数据，所述数据能够由所述解码器装置用于导出：
所述第一质量水平下的所述表示；和
所述残差数据。
3.一种在解码器装置上处理信号数据的方法，所述方法包括：
获得信号在第一质量水平下的表示；
使用所述解码器装置中的上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的初步表示；
将所述第一质量水平下的所述表示用作与所述解码器装置中的所述上采样器并行布置的上采样调整器的输入来导出调整数据，所述调整数据能够由所述解码器装置用于调整所述初步表示；
使用所述初步表示和所述调整数据来导出所述信号在所述第二质量水平下的调整后的表示；
接收能够由所述解码器装置用于导出残差数据的数据，所述残差数据能够由所述解码器装置用于使用所述调整后的表示重构所述信号在所述第二质量水平下的参考表示；
使用所接收的数据导出所述残差数据；以及
使用所述调整后的表示和所述残差数据来重构所述参考表示。
4.根据权利要求1至3中任一项所述的方法，其中所述调整数据的所述导出包括将另外的数据用作所述上采样调整器的另外的输入。
5.根据权利要求4所述的方法，其中所述另外的数据包括使用另外的上采样调整器导出的数据，所述另外的上采样调整器与用于对所述信号在低于所述第一质量水平的质量水平下的表示进行上采样的另外的上采样器相关联。
6.根据权利要求4或权利要求5所述的方法，其中所述另外的数据包括指示所述上采样器的属性的上采样器属性数据。
7.根据权利要求4至6中任一项所述的方法，其中所述另外的数据包括指示所述第一质量水平下的所述表示的属性的信号属性数据。
8.根据权利要求1至7中任一项所述的方法，其中所述上采样调整器使用机器学习来导出所述调整数据。
9.根据权利要求1至8中任一项所述的方法，其中所述上采样调整器包括经训练的人工神经网络。
10.根据权利要求1至9中任一项所述的方法，其中所述上采样调整器包括卷积神经网络。
11.根据权利要求1至10中任一项所述的方法，其中所述上采样调整器被布置成实现所述残差数据的目标编码性质。
12.根据权利要求1至11中任一项所述的方法，其中所述上采样调整器包括上采样补偿器。
13.根据权利要求1至12中任一项所述的方法，其中使用所述上采样调整器包括输出数据，所述数据能够由与用于对所述信号在所述第二质量水平下的表示进行上采样的上采样器相关联的上采样调整器使用。
14.一种在编码器装置上处理信号数据的方法，所述方法包括：
获得信号在第一质量水平下的表示；
使用所述编码器装置中的第一上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的第一初步表示；
将所述第一质量水平下的所述表示用作与所述编码器装置中的所述第一上采样器并行布置的第一上采样调整器的输入来导出第一调整数据，所述第一调整数据能够由所述编码器装置用于调整所述第一初步表示；
使用所述第一初步表示和所述第一调整数据来导出所述信号在所述第二质量水平下的第一调整后的表示；
使用所述第一调整后的表示导出第一残差数据，所述第一残差数据能够由解码器装置用于使用所述第一调整后的表示重构所述信号在所述第二质量水平下的参考表示；
使用所述第一调整后的表示和所述第一残差数据，重构所述第二质量水平下的所述参考表示；
使用所述编码器装置中的第二上采样器来对所述第二质量水平下的所述参考表示进行上采样，以导出所述信号在高于所述第二质量水平的第三质量水平下的第二初步表示；
将所述第二质量水平下的所述参考表示和从所述第一上采样调整器输出的数据用作与所述编码器装置中的所述第二上采样器并行布置的第二上采样调整器的输入来导出第二调整数据，所述第二调整数据能够由所述编码器装置用于调整所述第二初步表示；
使用所述第二初步表示和所述第二调整数据来导出所述信号在所述第三质量水平下的第二调整后的表示；以及
使用所述第二调整后的表示导出第二残差数据，所述第二残差数据能够由解码器装置用于使用所述第二调整后的表示重构所述信号在所述第三质量水平下的参考表示。
15.根据权利要求14所述的方法，所述方法包括：
输出数据，所述数据能够由所述解码器装置用于导出：
所述第一质量水平下的所述表示；
所述第一残差数据；和
所述第二残差数据。
16.一种在解码器装置上处理信号数据的方法，所述方法包括：
获得信号在第一质量水平下的表示；
使用所述解码器装置中的第一上采样器来对所述第一质量水平下的所述表示进行上采样，以导出所述信号在更高的第二质量水平下的第一初步表示；
将所述第一质量水平下的所述表示用作与所述解码器装置中的所述第一上采样器并行布置的第一上采样调整器的输入来导出第一调整数据，所述第一调整数据能够由所述解码器装置用于调整所述第一初步表示；
使用所述第一初步表示和所述第一调整数据来导出所述信号在所述第二质量水平下的第一调整后的表示；
接收能够由所述解码器装置用于导出第一残差数据的第一数据，所述第一残差数据能够由所述解码器装置用于使用所述第一调整后的表示重构所述信号在更高的第二质量水平下的参考表示；
使用所接收的第一数据导出所述第一残差数据；
使用所述第一调整后的表示和所述第一残差数据重构所述第二质量水平下的所述参考表示；
使用所述解码器装置中的第二上采样器来对所述第二质量水平下的所述参考表示进行上采样，以导出所述信号在高于所述第二质量水平的第三质量水平下的第二初步表示；
将所述第二质量水平下的所述参考表示和从所述第一上采样调整器输出的数据用作与所述解码器装置中的所述第二上采样器并行布置的第二上采样调整器的输入来导出第二调整数据，所述第二调整数据能够由所述解码器装置用于调整所述第二初步表示；
使用所述第二初步表示和所述第二调整数据来导出所述信号在所述第三质量水平下的第二调整后的表示；
接收能够由所述解码器装置用于导出第二残差数据的第二数据，所述第二残差数据能够由所述解码器装置用于使用所述第二调整后的表示重构所述信号在所述第三质量水平下的参考表示；
使用所接收的第二数据导出所述第二残差数据；以及
使用所述第二调整后的表示和所述第二残差数据重构所述第三质量水平下的所述参考表示。
17.根据权利要求14至16中任一项所述的方法，其中从所述第一上采样调整器输出的所述数据是使用所述第一上采样调整器从对所述第一质量水平下的所述表示进行上采样的过程中导出的信息，并且能够由所述第二上采样调整器用于提高所述第二上采样调整器的准确度。
18.根据权利要求14至17中任一项所述的方法，其中所述第二上采样调整器包括神经网络，并且从所述第一上采样调整器输出的所述数据被用作所述神经网络的数据输入。
19.根据权利要求14至18中任一项所述的方法，其中所述第一上采样调整器包括神经网络。
20.根据权利要求14至19中任一项所述的方法，其中所述第一上采样调整器和/或所述第二上采样调整器包括卷积神经网络。
21.一种设备，其被布置成执行权利要求1至20中任一项所述的方法。
22.一种计算机程序，其包括指令，所述指令在被执行时致使设备执行权利要求1至20中任一项所述的方法。
23.一种计算机可读介质，其包括权利要求22所述的计算机程序。
CN201880088547.8A 2017-12-06 2018-12-06 使用上采样调整器处理信号数据 Pending CN111699692A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1720365.4 2017-12-06
GB1720365.4A GB2573486B (en) 2017-12-06 2017-12-06 Processing signal data using an upsampling adjuster
PCT/GB2018/053553 WO2019111011A1 (en) 2017-12-06 2018-12-06 Processing signal data using an upsampling adjuster

Publications (1)

Publication Number Publication Date
CN111699692A true CN111699692A (zh) 2020-09-22

Family

ID=60950325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880088547.8A Pending CN111699692A (zh) 2017-12-06 2018-12-06 使用上采样调整器处理信号数据

Country Status (6)

Country Link
US (1) US11375198B2 (zh)
EP (1) EP3721628B1 (zh)
KR (1) KR20200106160A (zh)
CN (1) CN111699692A (zh)
GB (1) GB2573486B (zh)
WO (1) WO2019111011A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188237A1 (en) * 2019-03-20 2020-09-24 V-Nova International Ltd Residual filtering in signal enhancement coding
GB2618718B (en) 2019-03-20 2024-03-13 V Nova Int Ltd Low complexity enhancement video coding
CN115191116A (zh) 2019-10-02 2022-10-14 威诺瓦国际有限公司 使用嵌入信令来校正信号损伤
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
KR20220025449A (ko) 2020-08-24 2022-03-03 엘지디스플레이 주식회사 표시장치와 그 구동방법
US20220067879A1 (en) 2020-09-03 2022-03-03 Nvidia Corporation Image enhancement using one or more neural networks
US20230028736A1 (en) * 2021-07-22 2023-01-26 Qualcomm Incorporated Configurable image enhancement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006044370A1 (en) * 2004-10-13 2006-04-27 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
US20130294495A1 (en) * 2011-07-21 2013-11-07 Luca Rossato Tiered signal decoding and signal reconstruction
CN103858427A (zh) * 2011-07-21 2014-06-11 卢卡·罗萨托 用于空间可伸缩视频编码的自适应插值
US20170256033A1 (en) * 2016-03-03 2017-09-07 Mitsubishi Electric Research Laboratories, Inc. Image Upsampling using Global and Local Constraints

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107938A9 (en) * 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
EP3108650A1 (en) * 2014-02-21 2016-12-28 Koninklijke Philips N.V. High definition and high dynamic range capable video decoder
US20180176588A1 (en) * 2014-03-14 2018-06-21 Samsung Electronics Co., Ltd. Scalable video encoding/decoding method and apparatus
US9875750B2 (en) * 2016-06-24 2018-01-23 Cirrus Logic, Inc. Digital volume control
GB2552353B (en) * 2016-07-20 2022-04-20 V Nova Int Ltd Apparatuses, methods, computer programs and computer-readable media
GB2553557B (en) * 2016-09-08 2022-04-20 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
US10748062B2 (en) * 2016-12-15 2020-08-18 WaveOne Inc. Deep learning based adaptive arithmetic coding and codelength regularization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006044370A1 (en) * 2004-10-13 2006-04-27 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
US20130294495A1 (en) * 2011-07-21 2013-11-07 Luca Rossato Tiered signal decoding and signal reconstruction
CN103858427A (zh) * 2011-07-21 2014-06-11 卢卡·罗萨托 用于空间可伸缩视频编码的自适应插值
US20170256033A1 (en) * 2016-03-03 2017-09-07 Mitsubishi Electric Research Laboratories, Inc. Image Upsampling using Global and Local Constraints

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FENGMEI LIANG ET AL: "An Image Interpolation Scheme Combined with Artificial Neural Network", 《IEEE XPLORE》, 5 November 2007 (2007-11-05), pages 1 - 4 *

Also Published As

Publication number Publication date
WO2019111011A1 (en) 2019-06-13
GB2573486B (en) 2022-12-21
GB201720365D0 (en) 2018-01-17
US11375198B2 (en) 2022-06-28
US20210185320A1 (en) 2021-06-17
KR20200106160A (ko) 2020-09-11
EP3721628A1 (en) 2020-10-14
GB2573486A (en) 2019-11-13
EP3721628B1 (en) 2024-05-01

Similar Documents

Publication Publication Date Title
EP3721628B1 (en) Processing signal data using an upsampling adjuster
CN113014927B (zh) 图像压缩方法和图像压缩装置
CN109923864B (zh) 数据处理设备、方法、计算机程序和计算机可读介质
KR20160021417A (ko) 공간적으로 확장 가능한 비디오 코딩을 위한 적응적 보간
KR20140051344A (ko) 계층형 신호 디코딩 및 신호 복원
US20240048738A1 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
CN114612289A (zh) 风格化图像生成方法、装置及图像处理设备
Ma et al. Learning-based image restoration for compressed images
JP7303783B2 (ja) 不明のダウンスケーリングカーネルで生成された画像をアップスケールするための手法
He et al. RECOMBINER: Robust and enhanced compression with Bayesian implicit neural representations
US20240040160A1 (en) Video encoding using pre-processing
Wahed et al. A simplified parabolic interpolation based reversible data hiding scheme
WO2020263112A1 (en) Image processing method and apparatus and computer program product for the same
JP7419478B2 (ja) コーデックレート歪み補償ダウンサンプラ
TWI771250B (zh) 用於降低資料維度的裝置及方法、用於轉換資料維度的裝置的操作方法
Ye et al. Learning multi-granularity semantic interactive representation for joint low-light image enhancement and super-resolution
TW202348027A (zh) 用於應用預測平均值修改之上取樣濾波器
US20210385501A1 (en) Weighted downsampling and weighted transformations for signal coding
EP4226325A1 (en) A method and apparatus for encoding or decoding a picture using a neural network
CN117616753A (zh) 使用光流的视频压缩

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination