CN119856489A - 虚拟边界处的非对称环路滤波器 - Google Patents

虚拟边界处的非对称环路滤波器 Download PDF

Info

Publication number
CN119856489A
CN119856489A CN202380065378.7A CN202380065378A CN119856489A CN 119856489 A CN119856489 A CN 119856489A CN 202380065378 A CN202380065378 A CN 202380065378A CN 119856489 A CN119856489 A CN 119856489A
Authority
CN
China
Prior art keywords
region
pixel
filtering
encoded information
perform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202380065378.7A
Other languages
English (en)
Inventor
王利民
洪承郁
K·帕纽索庞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN119856489A publication Critical patent/CN119856489A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本发明的示例实施例，至少存在一种方法和一种装置来执行以下项：确定将图像或图像的一部分分开成第一区域和第二区域的虚拟边界；以及当第二区域的编码信息将被用于执行第一区域的至少一个像素的滤波时，确定利用从第一区域得出的第二区域的编码信息、或利用设置为至少一个值的第二区域的编码信息来执行第一区域的至少一个像素的滤波，或者当第二区域的编码信息将被用于执行第一区域的至少一个像素的滤波时，确定不执行第一区域的至少一个像素的滤波。

Description

虚拟边界处的非对称环路滤波器
技术领域
示例和非限制性实施例一般涉及多媒体传送和信息编码和解码，更具体地，涉及虚拟边界处的非对称环路滤波器。
背景技术
已知在多媒体系统中执行数据压缩和解码。
附图说明
上述方面和其他特征在以下结合附图的描述中被解释，在附图中：
图1示意性地显示了采用本文所述示例的实施例的电子设备。
图2示意性地显示了适合采用本文所述示例的实施例的用户设备。
图3还示意性地显示了使用无线和有线网络连接连接的采用本文所述示例的实施例的电子设备。
图4示意性地显示了被用于一般水平数据压缩的编码器的框图。
图5示出了刷新区域不被允许使用非刷新区域的编码信息。
图6示出了非刷新区域被允许使用刷新区域的编码信息。
图7示出了去块化可以不被应用于像素pi,i＝0,1,2，或者仍然被应用于非刷新区域中被填充的像素qi,i＝0,1,2。
图8显示了四个边缘类。
图9显示了四个边缘类别。
图10A描绘SAO边缘偏移可能不被应用于像素p0，或者仍然被应用于被填充的像素q0。
图10B描绘SAO边缘偏移可能不被应用于像素q0，或者仍然被应用于被填充的像素p0。
图11描绘BIF-luma、SAO和CCSAO的偏移被添加到去块输出。
图12A描绘BIF可能不被应用于像素p0,0，或者仍然被应用于填充的包括qi,0,i＝0,1的相关联像素。
图12B描绘BIF可能不被应用于像素q0,0，或者仍然被应用于填充的包括pi,0,i＝0,1的相关联像素。
图13描述CCSAO的解码工作流程。
图14示出了对于共置色度样本，共置亮度样本可以从9个候选位置中被选择。
图15A显示了CCSAO可能不被应用于像素p0，或者仍然被应用于填充的像素q0。
图15B显示了CCSAO可能不被应用于像素q0，或者仍然被应用于填充的像素p0。
图16A显示了ALF可能不被应用于像素p0,0，或者仍然被应用于填充的包括qi,0,i＝0,1,2的相关联像素。
图16B显示了ALF可能不被应用于像素q0,0，或者仍然被应用于填充的包括pi,0,i＝0,1,2的相关联像素。
图17是VVC中CCALF的基本图示。
图18描绘ECM中用于CCALF的25抽头滤波器。
图19A显示了CCALF可能不被应用于共置色度像素的至少一个，或者仍然被应用于填充的亮度像素qi,j,i＝0,1,2,3和j＝0,1。
图19B显示了CCALF可能不被应用于共置色度像素的至少一个像素，或者仍然被应用于填充的亮度像素pi,j,i＝0,1,2,3和j＝0,1。
图20是基于本文所述示例的被配置为在虚拟边界处实现非对称环路滤波器的示例装置。
图21是基于本文所述示例的在虚拟边界处实现非对称环路滤波器的示例方法。
具体实施方式
本文描述了一种在虚拟边界处实现非对称环路滤波器的实用方法。本文描述的模型可以被用于执行任何任务，诸如数据压缩、数据解压缩、视频压缩、视频解压缩、图像或视频分类、对象分类、对象检测、对象跟踪、语音识别、语言翻译、音乐转录等。
下面详细描述了在虚拟边界处实现非对称环路滤波器的方面的合适装置和可能的机制。在这方面，首先参考图1和图2，其中图1显示了装置50的示例框图。该装置可以是物联网(IoT)装置，被配置为执行各种功能，诸如例如，通过一个或多个传感器来收集信息、接收或发送信息、分析由该装置收集或接收的信息等。该装置可以包括神经网络权重更新编码系统，该系统可以包含编解码器。图2显示了根据示例实施例的装置的布局。图1和图2的元素接下来被解释。
电子设备50可以例如是无线通信系统的移动终端或用户设备、传感器设备、标签或其他较低功率设备。可替换地，电子设备可以是非移动的计算机或计算机的一部分。然而，应当理解的是，本文所述示例的实施例可以在任何可以处理数据的电子设备或装置内被实现。
装置50可以包括用于结合和保护设备的外壳30。装置50还可以包括液晶显示器形式的显示器32。在本文所述示例的其他实施例中，显示器可以是适合显示图像或视频的任何合适显示技术。装置50还可以包括键盘34(或触摸区域34)。在本文所述示例的其他实施例中，任何合适的数据或用户接口机制可以被采用。例如，用户接口可以被实现为虚拟键盘或作为触摸感应显示器的一部分的数据输入系统。
该装置可以包括麦克风36或任何合适的音频输入，该输入可以是数字或模拟信号输入。装置50还可以包括音频输出设备，该音频输出设备在本文所述示例的实施例中可以是以下项中的任一项：耳机38、扬声器或模拟音频或数字音频输出连接。装置50还可以包括电池(或者在本文所述示例的其他实施例中，该设备可以由任何合适的移动能源设备供电，诸如太阳能电池、燃料电池或发条发电机)。该装置还可以包括能够记录或捕获图像和/或视频的相机42。装置50还可以包括红外端口，用于与其他设备进行短距离视线通信。在其他实施例中，装置50还可以包括任何合适的短距离通信解决方案，诸如例如蓝牙无线连接或USB/火线有线连接。
装置50可以包括控制器56、处理器或处理器电路系统，用于控制装置50。控制器56可以连接到存储器58，存储器58在本文所述示例的实施例中可以存储图像和音频数据形式的数据两者和/或还可以存储用于控制器56上的实现的指令。控制器56还可以连接到编解码器电路系统54，编解码器电路系统54适用于执行神经网络权重更新的编码/压缩和/或音频和/或视频数据的解码或协助由控制器执行的编码和/或解码。
装置50还可以包括读卡器48和智能卡46，例如UICC和UICC读卡器，用于提供用户信息并且适用于提供用于网络处的用户的认证和授权的认证信息。
装置50可以包括连接到控制器的无线电接口电路系统52，无线电接口电路系统52适合于生成无线通信信号，例如用于与蜂窝通信网络、无线通信系统或无线局域网通信。装置50还可以包括连接到无线电接口电路系统52的天线44，用于向(多个)其他装置(诸如网络节点)发送在无线电接口电路系统52处生成的射频信号和/或用于从(多个)其他装置接收射频信号。
装置50可以包括能够记录或检测单独帧的相机，然后单独的帧被传递到编解码器54或控制器以供处理。装置可以在传输和/或存储之前从另一设备接收视频图像数据或机器学习数据以供处理。装置50还可以通过无线或有线连接接收图像以进行编码/解码。上述装置50的结构元件表示用于执行对应功能的部件的示例。
关于图3，本文所述示例的实施例可以在其中被利用的系统的示例而被显示。系统10包括可以通过一个或多个网络通信的多个通信设备。系统10可以包括有线或无线网络的任何组合，包括但不限于无线蜂窝电话网络(诸如GSM、UMTS、CDMA、LTE、4G、5G网络等)、无线局域网(WLAN)(诸如由任何IEEE 802.x标准定义)、蓝牙个人局域网、以太网局域网、令牌环局域网、广域网和互联网。
系统10可以包括适合于实现本文所述示例的实施例的有线和无线通信设备和/或装置50两者。
例如，图3所示的系统显示了移动电话网络11和互联网28的表示，它们使用通信链路2(有线或无线)对图3所示的各种设备可接入。与互联网28的连接可以包括但不限于长距离无线连接、短距离无线连接和各种有线连接，包括但不限于电话线、电缆线、电力线和类似的通信路径。
系统10中所示的示例通信设备可以包括但不限于电子设备或装置50、个人数字助理(PDA)和移动电话14的组合、PDA 16、集成消息设备(IMD)18、台式计算机20、笔记本电脑22。装置50可以是静止的，也可以是由移动的个人携带的移动的。装置50还可以位于交通工具中，包括但不限于汽车、卡车、出租车、公共汽车、火车、船、飞机、自行车、摩托车或任何类似的合适交通工具，或头戴式显示器(HMD)17。
实施例还可以在机顶盒中被实现；即数字TV接收器，该数字TV接收器可以/可以不具有显示或无线能力，在平板电脑或(膝上型)个人计算机(PC)中被实现，它具有硬件和/或软件来处理神经网络数据，在各种操作系统中，以及在提供基于硬件/软件的编码的芯片组、处理器、DSP和/或嵌入式系统中被实现。
一些或另外的装置可以通过与基站24的无线连接25发送和接收呼叫和消息并且与服务提供方通信。基站24可以连接到网络服务器26，该网络服务器26允许移动电话网络11和互联网28之间的通信。该系统可以包括附加通信设备和各种类型的通信设备。
通信设备可以使用各种传输技术进行通信，包括但不限于码分多址(CDMA)、全球移动通信系统(GSM)、通用移动电信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议-互联网协议(TCP-IP)、短消息服务(SMS)、多媒体消息服务(MMS)、电子邮件、即时消息服务(IMS)、蓝牙、IEEE 802.11、3GPP窄带IoT和任何类似的无线通信技术。实现本文所述示例的各种实施例所涉及的通信设备可以使用各种介质通信，包括但不限于无线电、红外线、激光、电缆连接和任何合适的连接。
在电信和数据网络中，信道可以指代物理信道或逻辑信道。物理信道可以指代物理传输介质，诸如电线，而逻辑信道可以指代多路复用介质上的逻辑连接，能够传送多个逻辑信道。信道可以被用于将信息信号(例如比特流)从一个或若干个发送器(或发射器)传送到一个或若干个接收器。
实施例还可以在所谓的IoT设备中被实现。物联网(IoT)可以被定义为例如现有互联网基础设施内唯一可标识的嵌入式计算设备的互连。各种技术的融合已经并可能使许多嵌入式系统领域(诸如无线传感器网络、控制系统、家庭/楼宇自动化等)能够被纳入物联网(IoT)。为了利用互联网，IoT设备被提供有IP地址作为唯一标识符。IoT设备可能被提供有无线电发送器，诸如WLAN或蓝牙发送器或RFID标签。可替换地，IoT设备可以经由有线网络(诸如基于以太网的网络或电力线连接(PLC))来具有对基于IP的网络的接入。
虚拟边界处的非对称环内滤波器和压缩增量学习中的模型水平更新跳过很重要的一个应用是基于神经网络的编解码器的用例，诸如基于神经网络的视频编解码器。视频编解码器可以使用一个或多个神经网络。在第一种情况下，视频编解码器可以是常规视频编解码器，例如已经经过修改以包括一个或多个神经网络的多功能视频编解码器(VVC/H.266)。这些神经网络的示例为：
1.将被用作VVC的环路滤波器中的一个环路滤波器的神经网络滤波器
2.来替换VVC的(多个)环路滤波器中的一个或多个环路滤波器的神经网络滤波器
3.将被用作后处理滤波器的神经网络滤波器
4.将被用于执行帧内预测的神经网络
5.将被用于执行帧间预测的神经网络。
在第二种情况下，其通常被称为端到端学习视频编解码器，视频编解码器可以包括将输入数据转换为更可压缩表示的神经网络。新的表示可以被量化、无损压缩，然后无损解压缩、去量化，然后另一个神经网络可以将其输入转换为重建或解码的数据。
在上述两种情况下，解码器侧可能存在一个或多个神经网络，并且考虑一个神经网络滤波器的示例。编码器可以通过使用编码器侧可用的真实数据(未压缩的数据)来微调神经网络滤波器。微调可以被执行以在神经网络滤波器在被应用于当前输入数据(诸如一个或多个视频帧)时改进该神经网络滤波器。微调可以包括对神经网络滤波器的部分或全部可学习权重运行一个或多个优化迭代。优化迭代可以包括计算损失函数相对于神经网络滤波器的部分或全部可学习权重的梯度，例如通过使用反向传播算法，然后通过使用优化器(诸如随机梯度下降优化器)更新部分或全部可学习权重。损失函数可以包括一个或多个损失项。一个示例损失项可以是均方误差(MSE)。其他失真度量可以被用作损失项。损失函数可以通过向神经网络滤波器的输入提供一个或多个数据、从神经网络滤波器获得一个或多个对应的输出、以及通过使用来自神经网络滤波器的一个或多个输出和一个或多个真实数据计算损失项来计算。微调后的神经网络的权重与微调前的神经网络的权重之间的差异被称为权重更新。该权重更新需要被编码，与被编码的视频数据一起被提供给解码器侧，并且在解码器侧使用用于更新神经网络滤波器。然后，更新后的神经网络滤波器被用作视频解码过程的一部分或视频后处理过程的一部分。希望对权重更新进行编码，使得权重需要较少的比特数。因此，本文描述的示例还将基于神经网络的编解码器的这种用例视为权重更新的压缩的潜在应用。
在基于神经网络的编解码器用例的进一步描述中，ISO/IEC 13818-1或ITU-T建议H.222.0中规定的MPEG-2传输流(TS)是一种用于在多路复用流中携带音频、视频和其他媒体以及节目元数据或其他元数据的格式。分组标识符(PID)被用于标识TS内的基本流(又被称分组基本流)。因此，MPEG-2TS内的逻辑信道可以被认为对应于特定的PID值。
可用的媒体文件格式标准包括ISO基本媒体文件格式(ISO/IEC 14496-12，其可以被缩写为ISOBMFF)和用于NAL单元结构化视频的文件格式(ISO/IEC 14496-15)，后者从ISOBMFF中得出。
视频编解码器包括编码器和解码器，编码器将输入视频转换为适合于存储/传输的压缩表示，并且解码器可以将压缩的视频表示解压缩回可查看的形式。视频编码器和/或视频解码器也可以彼此分开，即不需要形成编解码器。通常，编码器丢弃原始视频序列中的某些信息，以便以更紧凑的形式(即，以较低的比特率)表示视频。
典型的混合视频编码器，例如ITU-T H.263和H.264的许多编码器实现，分两个阶段对视频信息进行编码。首先，特定图像区域(或“块”)中的像素值例如通过运动补偿手段(在先前编码的视频帧中的一个视频帧中查找并且指示与被编码的块紧密对应的区域)或通过空间手段(以指定的方式使用要被编码的块周围的像素值)被预测。其次，预测误差(即预测像素块与原始像素块之间的差异)被编码。这通常通过使用指定的变换(例如离散余弦变换(DCT)或其变体)来变换像素值的差异、量化系数并且对量化系数进行熵编码来完成。通过改变量化过程的保真度，编码器可以控制像素表示的准确性(图像质量)与所得编码视频表示的大小(文件大小或传输比特率)之间的平衡。
在时间预测中，预测的来源是先前解码的图像(又被称为参考图像)。在块内复制(IBC；又被称为块内复制预测和当前图像参考)中，预测被应用类似于时间预测，但参考图像是当前图像，并且在预测过程中仅先前解码的样本可以被参考。层间或视图间预测可以类似地被应用于时间预测，但参考图像相应地是来自另一个可伸缩层或来自另一个视图的解码图像。在某些情况下，帧间预测可能仅指代时间预测，而在其他情况下，帧间预测可以被统称时间预测以及帧内块复制、层间预测和视图间预测中的任何一者，只要它们利用与时间预测相同或类似的过程被执行。帧间预测或时间预测有时可以被称为运动补偿或运动补偿预测。
帧间预测(它也可以被称为时间预测、运动补偿或运动补偿预测)可以减少时间冗余。在帧间预测中，预测源是先前解码的图像。帧内预测利用了相同图像内的相邻像素可能相关的事实。帧内预测可以在空间或变换域中被执行，即样本值或变换系数可以被预测。帧内预测通常在帧内编码中被利用，在其中没有帧间预测被应用。
编码过程的一个结果是编码参数集合，诸如运动向量和量化变换系数。如果许多参数首先从空间或时间相邻的参数被预测，则其可以更有效地被熵编码。例如，运动向量可以从空间相邻的运动向量而被预测，并且仅相对于运动向量预测器的差异可以被编码。编码参数的预测和帧内预测可以被统称为画面内预测。
图4显示了视频编码器的一般结构的框图。图4示出了用于两层的编码器，但应当理解的是，所呈现的编码器可以被类似地扩展以编码多于两层。图4示出了视频编码器，该视频编码器包括用于基础层的第一编码器部分500和用于增强层的第二编码器部分502。第一编码器部分500和第二编码器部分502中的每一者可以包括用于编码传入图像的类似元件。编码器部分500、502可以包括像素预测器302、402、预测误差编码器303、403和预测误差解码器304、404。图4还将像素预测器302、402的实施例显示为包括帧间预测器306、406(Pinter)、帧内预测器308、408(Pintra)、模式选择器310、410、滤波器316、416(F)和参考帧存储器318、418(RFM)。第一编码器部分500的像素预测器302接收要在帧间预测器306(其确定图像与运动补偿参考帧318之间的差异)和帧内预测器308(其仅基于当前帧或图像的已处理部分确定用于图像块的预测)两者处编码的视频流的300个基层图像(I0,n)。帧间预测器和帧内预测器两者的输出均被传递到模式选择器310。帧内预测器308可以具有多于一个帧内预测模式。因此，每个模式都可以执行帧内预测并且向模式选择器310提供预测的信号。模式选择器310还接收基础层图像300的副本。对应地，第二编码器部分502的像素预测器402接收要在帧间预测器406(其确定图像与运动补偿参考帧418之间的差异)和帧内预测器408(其仅基于当前帧或图像的已处理部分确定图像块的预测)两者处编码的视频流的400个增强层图像(I1,n)。帧间预测器和帧内预测器两者的输出均被传递到模式选择器410。帧内预测器408可以具有多于一个帧内预测模式。因此，每种模式都可以执行帧内预测并且向模式选择器410提供预测的信号。模式选择器410还接收增强层图像400的副本。
取决于哪种编码模式被选择来编码当前块，帧间预测器306、406的输出或可选帧内预测器模式中的一者的输出或模式选择器内的表面编码器的输出被传递到模式选择器310、410的输出。模式选择器的输出被传递到第一求和设备321、421。第一求和设备可以从基层图像300/增强层图像400中减去像素预测器302、402的输出，以产生第一预测误差信号320、420(Dn)，该第一预测误差信号被输入到预测误差编码器303、403。
像素预测器302、402还从初步重构器339、439接收图像块312、412的预测表示(P’n)和预测误差解码器304、404的输出338、438(D’n)的组合。初步重构图像314、414(I’n)可以被传递到帧内预测器308、408和滤波器316、416。接收初步表示的滤波器316、416可以滤波初步表示并输出最终重构图像340、440(R’n)，该最终重构图像340、440(R’n)可以被保存在参考帧存储器318、418中。参考帧存储器318可以连接到帧间预测器306以被用作在帧间预测操作中与未来基础层图像300相比较的参考图像。根据一些实施例，受制于基础层被选择并且被指示为用于增强层的层间样本预测和/或层间运动信息预测的源，参考帧存储器318还可以连接到帧间预测器406，以被用作在帧间预测操作中与未来增强层图像400相比较的参考图像。另外，参考帧存储器418可以连接到帧间预测器406，以被用作在帧间预测操作中与未来增强层图像400相比较的参考图像。
根据一些实施例，受制于基础层被选择并且被指示为用于增强层的滤波参数的预测源，来自第一编码器部分500的滤波器316的滤波参数可以被提供给第二编码器部分502。
预测误差编码器303、403包括变换单元342、442(T)和量化器344、444(Q)。变换单元342、442将第一预测误差信号320、420变换到变换域。该变换例如是DCT变换。量化器344、444量化变换域信号(例如DCT系数)，以形成量化系数。
预测误差解码器304、404接收来自预测误差编码器303、403的输出，并执行与预测误差编码器303、403相反的过程以产生解码的预测误差信号338、438，该解码的预测误差信号338、438当与第二求和设备339、439处的图像块312、412的预测表示相组合时，产生初步重构图像314、414。预测误差解码器304、404可以被认为包括反量化器346、446(Q-1)和逆变换单元348、448(T-1)，反量化器346、446(Q-1)对量化系数值进行反量化，例如DCT系数，以重建变换信号，逆变换单元348、448(T-1)对重建的变换信号执行逆变换，其中逆变换单元348、448的输出包含(多个)重建块。预测误差解码器还可以包括块滤波器，该块滤波器可以根据另外的解码的信息和滤波器参数来对(多个)重建块进行滤波。
熵编码器330、430(E)接收预测误差编码器303、403的输出，并且可以对信号执行适当的熵编码/可变长度编码以提供错误检测和校正能力。熵编码器330、430的输出可以被插入到比特流中，例如通过多路复用器508(M)。
虚拟边界的概念在VVC中被引入。从编码依赖性角度来看，图像可以通过虚拟边界被划分为不同的区域。例如，360°：虚拟边界被用于定义CMP格式的360°图像的不同面的边界，以及GDR(参考由本申请人提交的美国临时申请号63/296,590，“New Gradual DecodingRefresh for ECM”)，其中虚拟边界将GDR/恢复图像的刷新区域和非刷新区域分开。在VVC中，虚拟边界在SPS和/或图像头中被指定。
VVC中存在三个环路滤波器。它们是去块、SAO和ALF。ECM利用新特征增强了环路滤波器，新特征包括双边(JVET-F0034、JVET-V0094)、用于色度的BIF(JVET-X0067)、CCSAO(JVET-V0153、JVET-Y0106)、CCALF(JVET-X0045)和用于ALF的备选频带分类器(JVET-X0070)。
当前像素的环路滤波通常需要使用它的邻居的编码信息。因此，在虚拟边界的一侧上进行滤波可能涉及使用关于虚拟边界的另一侧的编码信息。
对于某些应用，可能不允许环路滤波跨越虚拟边界。例如，在GDR中，GDR/恢复图像可以通过虚拟边界被分为刷新区域和非刷新区域。参考图5，为了避免泄漏，刷新区域510不能使用非刷新区域530的任何信息，因为没有保证非刷新区域530在解码器处被正确解码。错误解码的编码信息可能污染刷新区域510，这可能引起编码器和解码器在恢复点图像和连续图像处出现泄漏或不匹配。因此，如由箭头540所示，对于GDR/恢复图像，环路滤波不能跨越从刷新区域510到非刷新区域530的虚拟边界520。
另一方面，有时让环路滤波跨越虚拟边界是完全没问题的。例如，如图6所示，在GDR的相同示例中，非刷新区域630可以使用刷新区域610的信息。因此，如由箭头640所示，对于GDR/恢复图像，环路滤波可以跨越从非刷新区域630到刷新区域610的虚拟边界620。
在VVC和ECM的当前设计中，环路滤波不能跨越虚拟边界。
由本申请的申请人提交的美国临时申请号63/362,243，“In-Loop Filtering atVirtual Boundaries”，提出了在虚拟边界处进行环路滤波的若干种可能选项。其中包括在虚拟边界处进行非对称环路滤波。利用这种非对称选项，环路滤波不能从虚拟边界的一侧跨越虚拟边界到虚拟边界的另一侧，但可以从另一侧跨越到该一侧。
具体地，虚拟边界的一侧的环路滤波不能使用虚拟边界另一侧的信息，但虚拟边界另一侧的环路滤波可以使用该一侧的信息。如果对虚拟边界的一侧的像素进行环路滤波需要使用另一侧的任何信息(例如像素、编码模式、QP等)，则环路滤波要么不对该像素而被执行，要么仍然针对该像素而被执行但要填充另一侧的信息。
在虚拟边界处进行非对称环路滤波的情况下，一侧的环路滤波不能使用另一侧的信息，但另一侧的环路滤波可以使用该一侧的信息。
如果像素的环路滤波需要使用另一侧的编码信息，则该一侧的像素的环路滤波可能无法被正常执行。
通常，另一侧的像素的环路滤波可以被正常地执行，因为像素的环路滤波可以使用该一侧和另一侧的编码信息两者。但是，另一侧可以选择不使用该一侧的编码信息，在这种情况下，如果像素的环路滤波需要使用该一侧的编码信息，则另一侧的像素的环路滤波可能无法被正常地执行。
由于一侧的编码信息可用于另一侧，因此基于该一侧的环路滤波的偏移可以被添加到另一侧的环路滤波的输出。
虚拟边界是一条线，该线被用于将图像或图像的一部分分成两个区域：第一区域和第二区域。
虚拟边界可以是垂直的或水平的。在VVC和ECM中，虚拟边界语法被包括在SPS和/或图像头中。在一个实施例中，诸如在虚拟边界处进行不对称操作的情况下，第一区域不被允许使用第二区域的任何信息，但第二区域可以使用第一区域的信息。
在一个实施例中，在GDR/恢复图像中，第一区域是干净(刷新)区域，第二区域是脏(未刷新)区域。干净(刷新)区域不能使用脏(未刷新)区域的任何信息，但脏(未刷新)区域可以使用干净(刷新)区域的信息。用于像素的环路滤波可能涉及使用其邻居的编码信息。
如果第一区域中的像素的环路滤波需要使用第二区域的编码信息(例如像素、编码模式、参考图像、MV、QP等)，则像素的环路滤波可能无法被正常执行。用于像素的实际环路滤波可以采用两种可能选项中的一个选项，选项1，其中用于第一区域中的像素的环路滤波不被执行，或者选项2，其中用于第一区域中的像素的环路滤波仍然被执行，但在需要时利用从第一区域得出的第二区域的编码信息或被设置为预定值的第二区域的编码信息。
与选项2相关的一个实施例是，如果第一区域中的像素的环路滤波需要使用第二区域中的像素，则第二区域中的像素被从第一区域中的像素填充。
与选项2相关的另一个实施例是，如果第一区域中的像素的环路滤波需要使用在第二区域中的像素，则第二区域中的像素将被从第一区域外推出的像素替换。
使像素的正常环路滤波是使用所有必要信息对像素进行的理想环路滤波，而像素的实际环路滤波是使用或不使用所有必要信息对像素进行的实际环路滤波。
无论是选项1还是2，像素的实际环路滤波生成输出可能与像素的正常环路滤波不同，后者可以使用第一区域和第二区域两者的编码信息。
用于第二区域中的像素的环路滤波通常可以被正常执行，因为用于第二区域中的像素的环路滤波被允许使用第一区域和第二区域两者的编码信息。
使pi,j成为第一区域内的像素，并且和相应地为pi,j的正常和实际环路滤波输出，并且使qi,j成为第二区域内的像素，并且和相应地为qi,j的正常环路滤波输出和实际环路滤波输出。
在虚拟边界处，如果像素pi,j的环路滤波需要使用第二区域的编码信息，则第一区域中像素pi,j的实际环路滤波可能不等于该像素的正常环路滤波，即
另一方面，在虚拟边界处，第二区域中像素qi,j的实际环路滤波通常地等于像素的正常环路滤波，即因为像素qi,j的实际环路滤波可以使用第一区域和第二区域两者的编码信息。
为了补偿虚拟边界处的不平衡环路滤波，第一区域的正常环路滤波与实际环路滤波之间的差异可以通过第二区域的环路滤波而被补偿。注意，使用第一区域来抵消第二区域是可行的，因为第二区域可以使用第一区域的编码信息。
具体地，如果第一区域中像素pi,j的正常和实际环路滤波不同，即则差值或其近似值可以被用来抵消第二区域中对应的像素qm,n的环路滤波的输出。一个可能的示例如下。
其中是qm,n的环路滤波的最终输出，而wi,j是用于对qm,n贡献的权重。
在一个实施例中，第二区域可以选择不使用第一区域的编码信息。在这种情况下，如果第二区域中的像素的环路滤波需要使用第一区域的编码信息，则像素的环路滤波可能无法被正常执行。与第一区域类似，用于像素的实际环路滤波可以采用两种可能选项中的一个选项，选项1，其中用于第二区域中的像素的环路滤波不被执行，或者选项2，其中用于第二区域中的像素的环路滤波仍然被执行，但在需要时利用从第二区域得出的第一区域的编码信息或者被设置为预定值的第一区域的。
与上述选项2相关的一个实施例是，如果第二区域中的像素的环路滤波需要使用第一区域中的像素，则第一区域中的像素被从第二区域中的像素填充。
与上述选项2相关的另一个实施例是，如果第二区域中的像素的环路滤波需要使用第一区域中的像素，则第一区域中的像素被从第二区域外推出的像素替换。
第一区域中的像素pi,j的目标环路滤波与实际环路滤波之间的差异可以被用于抵消第二区域中的对应像素qm,n的环路滤波的输出。一个可能的示例如下。
其中是qm,n的环路滤波的最终输出，是qm,n的环路滤波的输出，是pi,j的目标环路滤波的输出，并且wi,j是用于对qm,n贡献的权重。
在一个实施例中，如果第一区域和第二区域对虚拟边界周围的像素的环路滤波选择相同的选项，即不执行环路滤波或利用填充来执行它，则第一区域和第二区域的环路滤波可以被视为平衡。虚拟边界的两侧可能不需要补偿。
一个实施例涉及VVC和ECM中的去块滤波器。去块滤波被应用于(水平或垂直)块边界，涉及块边界两侧的像素。
假设虚拟边界将图像或图像的一部分分开为第一区域和第二区域，并且第一区域不被允许使用第二区域中的编码信息，但第二区域可以使用第一区域中的编码信息。
如果块边界与虚拟边界对齐，则对第一区域中距离虚拟边界最多n个像素位置(例如，对于色度弱滤波器为1，对于亮度弱滤波器为2，对于亮度和色度强滤波器为3，对于VVC和ECM的当前设计中的亮度双线性(长)滤波器为3、5、7)的像素进行去块滤波需要使用第二区域中的编码信息(例如像素、编码模式、QP等)。
由于第一区域不被允许使用第二区域中的编码信息，因此对于第一区域中距离虚拟边界最多n个像素位置的像素去使能去块滤波。图7显示了GDR/恢复图像的刷新区域(第一区域)7010不被允许使用非刷新区域(第二区域)7030的编码信息的示例。去块(例如，强滤波器)7040对于刷新区域7010中紧接着虚拟边界7020的像素pi，i＝0,1,2被去使能。
可替换地，去块滤波7040仍然被应用于第一区域中距离虚拟边界7020最多n个像素位置的像素，但第二区域中的编码信息从第一区域得出或被设置为预定值(当需要时)。例如，在图7中，去块化(例如强滤波)仍然被应用于刷新区域7010中紧接着虚拟边界7020像素(通常为7040)pi，i＝0,1,2，但非刷新区域7030中的相关联的像素7050(包括qi，i＝0,1,2)从刷新区域7010得出。例如，qi，i＝0,1,2可以被设置为等于p0，或者pi，i＝0,1,2的平均值或中值。
用于第二区域上的像素的去块化可以正常被执行，被允许使用第一区域7010和第二区域7030两者的编码信息。
如果第一区域7010中的像素pi的实际去块滤波与正常的去块滤波不同，则差异可以从对应像素qi偏移为
其中是qi的去块滤波的最终输出，是qi的去块滤波的输出，是使用包括第一区域7010和/或第二区域7030的信息的所有必要信息对pi进行正常去块滤波的输出，是pi的实际去块滤波的输出，wi,j是用于对qi贡献的权重，并且i和j是指示远离虚拟边界的位置的像素索引(例如，i＝0指示紧邻虚拟边界的位置)。
一个可能的实施例可以如下，
对于i＝0,…,sq-1其中sp和sq相应地是用于第一区域中的像素pi和第二区域中的像素qi的滤波器长度。
一个简单的实施例甚至可以如下，
如图7所示，对应像素pi和qi是第一区域7010和第二区域7030中在去块之前相对于块边界或虚拟边界7020的镜像像素。
如果第二区域7030选择不使用第一区域7010的编码信息，则去块滤波不被应用于第二区域7030中距离虚拟边界最多n个像素位置(例如，对于色度弱滤波器为1，对于亮度弱滤波器为2，对于亮度和色度强滤波器为3，对于VVC和ECM的当前设计中的亮度双线性(长)滤波器为3、5、7)的像素。图7可以显示GDR/恢复图像的非刷新区域(第二区域)7030选择不使用刷新区域(第一区域)7010的编码信息的示例。对于非刷新区域7030中紧接着虚拟边界7020的像素qi，i＝0,1,2，去块化(例如，强滤波器)被去使能。
可替换地，去块滤波仍然被应用于第二区域7030中距离虚拟边界7020最多n个像素位置的那些像素7050，但第一区域7010中的编码信息从第二区域7030得出或被设置为预定值。例如，在图中7，去块化(例如强滤波器)仍可以被应用于非刷新区域7030中紧接着虚拟边界7020的像素(通常为7050)qi，i＝0,1,2，但刷新区域7010中的相关联像素7040(包括pi，,i＝0,1,2)从非刷新区域7030而被得出。例如，pi，i＝0,1,2可以被设置为等于q0，或qi，i＝0,1,2的平均值或中值。
一个实施例涉及SAO边缘偏移滤波器。在VVC中，SAO具有两个部分。它们是带偏移和边缘偏移。每个CTU可以选择使用带偏移或边缘偏移。每个CTU的带偏移或边缘偏移的选择都被用信号发送。对于CTU，如果边缘偏移被使用，则参数集合(如图8所示的边缘类，以及如图9所示的用于四个边缘类别的偏移)被用信号发送。
参考图8，示出了四个边缘类的示例。在示例810中，像素a和b与像素c水平相邻。在示例820中，像素a和b与像素c垂直相邻。在示例830中，像素a和b沿着从左上到右下的斜率与像素c相邻。在示例840中，像素a和b沿着从左下到右上的斜率与像素c相邻。
参考图9，示出了四个边缘类别的示例。在类别1(910)中，像素c的值低于像素a和b的值。在类别2(920)中，像素c和b的值可能相似，而像素a的值可能高于像素c和b的值。可替换地，像素a和c的值可能相似，而像素b的值可能高于像素a和c的值。在类别3(930)中，像素a和c的值可能相似，而像素b的值可能低于像素a和c的值。可替换地，像素c和b的值可能相似，而像素a的值可能低于像素c和b的值。在类别4(940)中，像素c的值可能高于像素a和b的值。
从图8和图9可以看出，对像素的边缘进行分类涉及使用相邻像素。
假设虚拟边界将图像或图像的一部分分开为第一区域和第二区域，并且第一区域不被允许使用第二区域中的编码信息，但第二区域可以使用第一区域中的编码信息。
用于第一区域中紧邻虚拟边界的像素的SAO边缘偏移可能需要使用如图8所示的第二区域中的编码信息(例如像素)。
由于第一区域不被允许使用第二区域的编码信息，因此SAO边缘偏移不被应用于第一区域中紧邻虚拟边界的那些像素。图10A显示了GDR/恢复图像的刷新区域(第一区域)1010不被允许使用非刷新区域(第二区域)1030的编码信息的示例。对于刷新区域1010中紧邻虚拟边界1020的像素p0，具有对角线类方向1040的SAO边缘偏移被去使能。
可替换地，SAO边缘偏移(例如，1040)仍然被应用于第一区域1010中紧接着虚拟边界1020的像素，但在需要时利用从第一区域1010得出的第二区域1030中的编码信息(例如像素)或被设置为预定值的第二区域1030中的编码信息。例如，在图中10A中，SAO边缘偏移仍然被应用于刷新区域1010中紧接着虚拟边界1020的像素p0，但非刷新区域1030上的相关联像素q0被从刷新区域1010填充(或被设置为预定值，例如2BD-1，其中BD是比特深度)。
对于第二区域1030中紧接着虚拟边界1020的像素，SAO边缘偏移可以被正常执行，被允许使用第一区域1010和第二区域1030两者的编码信息。
如果第一区域1010中像素p0的实际SAO边缘偏移滤波与正常的SAO边缘偏移滤波不同，则差异可以从对应的像素q0偏移为
其中为q0的SAO边缘偏移滤波的最终输出，为q0的SAO边缘偏移滤波的输出，为使用包括第一区域1010和/或第二区域1030的信息的所有必要信息对p0进行正常SAO边缘偏移滤波的输出，并且为p0的实际SAO边缘偏移滤波的输出。
如图10A所示，对应像素p0和q0是沿选定的SAO边缘类方向线1040相对于虚拟边界和SAO边缘偏移类方向线的结合点的镜像像素。
如果第二区域选择不使用第一区域的编码信息，则SAO边缘偏移不被应用于第二区域中紧接着虚拟边界的像素。图10B显示了GDR/恢复图像的非刷新区域(第二区域)1070选择不使用刷新区域(第一区域)1060的编码信息的示例。SAO边缘偏移不被应用于非刷新区域1070中紧接着虚拟边界1080的像素q0。
可替换地，SAO边缘偏移仍然被应用于紧接着第二区域1070中虚拟边界1080的那些像素，但在需要时利用从第二区域1070得出的第一区域1060中的编码信息或被设置为预定值的第一区域1060中的编码信息。例如，在图10B中，SAO边缘偏移仍然被应用于非刷新区域1070中紧接着虚拟边界1080的像素q0，但刷新区域1060中的相关联像素p0被从未刷新区域1070填充。图10B中显示了边缘类方向线1090。
一个实施例涉及用于亮度和色度的双边滤波器(BIF)。ECM通过添加新的滤波器特征来增强VVC的环路滤波器。它们之中包括双边滤波器。如图11所示，BIF 1130与SAO 1120和CCSAO过程1140并行执行。BIF(1130)、SAO(1120)和CCSAO(1140)使用由去块滤波器(1110)产生的相同样本作为输入，并且并行地生成每个样本的三个偏移。然后这三个偏移被添加到输入样本(操作1150)以获得总和，然后总和被削峰以形成最终输出样本值(1160)，然后再进行到ALF。BIF-色度在CTU水平和切片水平上提供开/关控制机制。
如图12A所示，双边滤波器对于亮度和色度两者都是5x5菱形，其中双边滤波器被应用于紧接着虚拟边界的像素。
假设虚拟边界将图像或图像的一部分分成第一区域和第二区域，并且第一区域不被允许使用第二区域中的编码信息，但第二区域可以使用第一区域中的编码信息。
对第一区域中距离虚拟边界最多n个(例如，在BIF的当前设计中为2个)像素位置的像素进行BIF滤波需要使用第二区域中的编码信息(例如像素)。
由于第一区域不被允许使用第二区域的编码信息，因此BIF滤波可以对第一区域中距离虚拟边界最多n个(例如，在BIF的当前设计中为2个)像素位置的那些像素被去使能。图12A显示了GDR/恢复图像的刷新区域(第一区域)1210不被允许使用非刷新区域(第二区域)1230的编码信息的示例。BIF滤波不对刷新区域1210中紧接着虚拟边界1220的像素p0,0执行。
可替换地，BIF滤波仍然对第一区域中距离虚拟边界最多n个(例如，在BIF的当前设计中为2个)像素位置的那些像素1240执行，但在需要时利用从第一区域得出的关于第二区域的编码信息或被设置为预定值的关于第二区域的编码信息。例如，在图12A中，BIF滤波仍然被应用于刷新区域1210中紧接着虚拟边界1220的像素p0,0，但非刷新区域1230中的相关联像素(包括qi,0，i＝0,1)被从刷新区域填充(或被设置为预定值，例如2BD-1，其中BD是比特深度)。
第二区域1230上的像素1250的BIF滤波可以被正常执行，被允许使用第一区域1210和第二区域1230两者的编码信息。
如果第一区域1210中的像素pi,j的实际BIF滤波与正常的去块滤波不同，则差异可以从对应像素qm,n偏移为
其中是qm,n的BIF滤波的最终输出，是qm,n的BIF滤波的输出，是使用包括第一区域1210和/或第二区域1230的信息的所有必要信息对pi,j的正常BIF滤波的输出，并且是pi,j的实际BIF滤波的输出。
对应像素pi,j和qi,j为第一区域1210和第二区域1230中在BIF之前相对于虚拟边界1220的镜像像素，如图12A所示。
如果第二区域选择不使用第一区域的编码信息，则BIF滤波不被应用于第二区域中距离虚拟边界最多n个像素位置(例如，在BIF的当前设计中为2个)的像素。图12B示出了GDR/恢复图像的非刷新区域(第二区域1280)选择不使用刷新区域(第一区域)1260的编码信息的示例。对于非刷新区域1280中紧接着虚拟边界1270的像素q0,0，BIF被去使能。
可替换地，BIF滤波仍然被应用于第二区域1280中距离虚拟边界1270最多n个像素位置的那些像素1295，但在需要时利用从第二区域1280得出的第一区域1260中的编码信息或被设置为预定值的第一区域1260中的编码信息。例如，在图12B中，BIF滤波仍然被应用于非刷新区域1280中紧接着虚拟边界1270的像素(通常为1295)(包括q0,0)，但刷新区域1260中的相关联像素(通常为1290)(包括pi,0，i＝0,1)被从非刷新区1280填充。
一个实施例涉及CCSAO滤波器。跨分量取样自适应偏移(CCSAO)被用于细化重构样本。与SAO类似，CCSAO将重构样本分类为不同的类别，为每个类别得出一个偏移，并且将该偏移添加到该类别中的重构样本。然而，如图13所示，与使用当前样本的单个亮度/色度分量(1310、1320、1330中的一个)作为输入的SAO(1340、1350、1360)不同，CCSAO(1370、1380、1390)利用所有三个分量(1310、1320、1330)将当前样本分类为不同的类别。为了促进并行处理，来自去块滤波器的输出样本被用作CCSAO的输入。
CCSAO Y 1370的输出使用操作1391与SAO Y 1340的输出相组合(例如，相加或相减)以生成Y 1394。CCSAO U 1380的输出使用操作1392与SAO U 1350的输出相组合(例如，相加或相减)以生成U 1395。CCSAO V 1390的输出使用操作1393与SAO V 1350的输出相组合(例如，相加或相减)以生成V 1396。
在CCSAO中，频带偏移(BO)分类器或边缘偏移(EO)分类器被使用来增强重建样本的质量。CCSAO可以被应用于亮度和色度分量两者。
在CCSAO BO中，对于给定的亮度/色度样本，三个候选样本被选择以将给定样本分类为不同的类别，即一个共置Y样本、一个共置U样本和一个共置V样本。然后这三个选定的样本的样本值被分类为三个不同的频带，并且联合索引表示给定样本的类别。一个偏移被用信号发送并且被添加到属于该类别的重建样本。
如图14所示，共置亮度样本1410可以从9个候选位置(1405)中被选择，而共置色度样本位置(1420、1430)是固定的。
假设虚拟边界将图像或图像的一部分分开为第一区域和第二区域，并且第一区域不被允许使用第二区域中的编码信息，但第二区域可以使用第一区域中的编码信息。
用于第一区域中紧邻虚拟边界的像素的CCSAO可能需要使用第二区域中的编码信息(例如像素)。
由于第一区域不被允许使用第二区域的编码信息，因此CCSAO不被应用于第一区域中紧邻虚拟边界的那些像素。图15A显示了GDR/恢复图像的刷新区域(第一区域)1510不被允许使用非刷新区域(第二区域)1530的编码信息的示例。对于刷新区域1510中紧接着虚拟边界1520的像素p0，CCSAO被跳过。图15A中显示的是共置色度1540。
可替换地，CCSAO仍被应用于第一区域中紧接着虚拟边界的那些像素，但在需要时利用从第一区域得出的第二区域中的编码信息或被设置为预定值的第二区域中的编码信息。例如，在图15A中，CCSAO仍被应用于刷新区域1510中紧接着虚拟边界1520的像素p0，但非刷新区域1530中的相关联像素q0被从刷新区域1510填充(或被设置为预定值，例如2BD-1，其中BD是比特深度)。
用于第二区域1530上的像素的CCSAO可以被正常执行，被允许使用第一区域1510的编码信息。
如果第一区域1510中像素p0的实际CCSAO滤波与正常的SAO边缘偏移滤波不同，则差异可以从对应的像素q0偏移为
其中为q0的CCSAO BO滤波的最终输出，为q0的CCSAO BO滤波的输出，为使用包括第一区域1510和/或第二区域1530的信息的所有必要信息对p0进行正常CCSAO BO滤波的输出，并且为p0的实际CCSAO BO滤波的输出。
对应像素p0和q0是第一区域1510和第二区域1530中相对于虚拟边界在CCSAO BO之前的镜像像素，如图15A所示。
如果第二区域选择不使用第一区域的编码信息，则CCSAO BO不被应用于第二区域中紧接着虚拟边界的像素。图15B显示了GDR/恢复图像的非刷新区域(第二区域)1580选择不使用刷新区域(第一区域)1560的编码信息的示例。CCSAO BO不被应用于非刷新区域1580中紧接着虚拟边界1570的像素q0。
可替换地，CCSAO BO仍然被应用于第二区域1580中紧接着虚拟边界的那些像素，但在需要时利用从第二区域1580得出的第一区域1560中的编码信息或被设置为预定值的第一区域1560中的编码信息。例如，在图15B中，CCSAO BO仍被应用于非刷新区域1580中紧接着虚拟边界1570的像素q0，但刷新区域1560中的相关联像素p0被从非刷新区域1580填充。图15B显示了共置色度1590。
一个实施例与ALF滤波器有关。在VVC中，ALF滤波器为菱形，对于亮度大小为7x7，对于色度大小为5x5。ECM将ALF大小扩展为对于亮度和色度为9x9、7x7和5x5。图16A显示了紧接着虚拟边界1620的像素上的9x9菱形的ALF滤波器的示例。另外，ECM添加了用于ALF中的分类的备选带分类器(ABC-ALF)，该ABC-ALF为13x13菱形滤波器，用于对ALF的每个2x2亮度块进行分类。
假设虚拟边界将图像或图像的一部分分开为第一区域和第二区域，并且第一区域不被允许使用第二区域中的编码信息，但第二区域可以使用第一区域中的编码信息。
对第一区域中距离虚拟边界最多n个像素位置(例如，在VVC的当前设计中，对于亮度ALF为3个并且对于色度ALF为2个，在ECM的当前设计中，对于亮度和色度ALF为2、3、4个并且对于ABC-ALF为6个)的像素进行ALF滤波需要使用第二区域中的编码信息(例如像素)。
由于第一区域不被允许使用第二区域的编码信息，因此ALF过滤可以对第一区域中距离虚拟边界最多n个位置的像素被去使能。图16A显示了GDR/恢复图像的刷新区域(第一区域)1610不被允许使用非刷新区域(第二区域)1630的编码信息的示例。ALF不对刷新区域1610中紧邻虚拟边界1620的像素p0,0执行。
可替换地，ALF仍然被应用于第一区域1610中距离虚拟边界1620最多n个位置的像素(1640)，但在需要时利用从第一区域1610得出的关于第二区域1630的编码信息或被设置为预定值的关于第二区域1630的编码信息。例如，在图16A中，ALF仍然对刷新区域1610中紧接着虚拟边界1620的像素p0,0执行，但非刷新区域1630中的相关联像素1650(包括qi,0，i＝0,1,2)被从刷新区域1610填充(或被设置为预定值，例如2BD-1，其中BD是比特深度)。
第二区域上的像素的ALF滤波可以被正常执行，被允许使用第一区域和第二区域的编码信息。
如果第一区域1610中的像素pi,j的实际ALF滤波与正常的去块滤波不同，则差异可以从对应像素qm,n偏移为
其中为qm,n的ALF滤波的最终输出，为qm,n的ALF滤波的输出，为使用包括第一区域1610和/或第二区域1630的信息的所有必要信息对pi,j进行正常ALF滤波的输出，为pi,j的实际ALF滤波的输出。
如图16A所示，对应像素pi,j和qi,j为第一区域1610和第二区域1630在ALF之前相对于虚拟边界1620的镜像像素。
如果第二区域选择不使用第一区域的编码信息，则ALF不被应用于第二区域中距离虚拟边界最多n个像素位置的像素(例如，在当前VVC设计中，对于亮度ALF为3个，并且对于色度ALF为2个，在当前ECM设计中，对于亮度和色度ALF为2、3、4个，并且对于ABC-ALF为6个)。图16B显示了GDR/恢复图像的非刷新区域(第二区域)1680选择不使用刷新区域(第一区域)1660的编码信息的示例。ALF不被应用于非刷新区域1680中紧接着虚拟边界1670的像素q0,0。
可替换地，ALF仍然被应用于第二区域1680中紧接着虚拟边界1670的那些像素1695，但在需要时利用从第二区域1680得出的第一区域1660中的编码信息或被设置为预定值的第一区域1660中的编码信息。例如，在图16B中，ALF仍被应用于非刷新区域1680中紧接着虚拟边界1670的像素q0,0，但刷新区域1660中的相关联像素1690(包括pi,0，i＝0,1,2)从被未刷新区域1680填充。
一个实施例涉及CCALF滤波器。如图17所示，CCALF过程1720使用线性滤波器来滤波亮度样本值并且生成色度样本的残差校正(1770)。最初，8抽头滤波器针对VVC中的CCALF过程被设计。最近，如图18所示，25抽头大滤波器在ECM(1800)中的CCALF过程中被使用，。对于给定的切片，编码器可以收集切片的统计数据，对统计数据进行分析，并且可以通过APS用信号发送给最多16个滤波器。
参考图17，示出了CCALF的基本示例。在CTU(Y)1710处，CCALF(Cb)可以被应用于像素集合1720，如1730处所示。这可以被视为亮度样本值的线性滤波。在CTU(Cb)1740处，ALF色度可以被应用1750于像素的一部分。这可以被视为色度样本的滤波。1720和1750的输出可以被相加1760(或者以一些其他方式组合，例如与操作1760相减)，并且输出为CTB’(Cb)1770。
假设虚拟边界将图像或图像的一部分分开为第一区域和第二区域，并且第一区域不被允许使用第二区域中的编码信息，但第二区域可以使用第一区域中的编码信息。
对于第一区域中距离虚拟边界最多n个像素位置(例如，对于VVC为1个，或者对于ECM为4个)的像素，CCALF滤波需要使用第二区域中的编码信息(例如像素)。
由于第一区域不被允许使用第二区域的编码信息，因此CCALF滤波可以针对第一区域中距离虚拟边界最多n个像素位置的那些像素被去使能。图19A显示了GDR/恢复图像的刷新区域1910(第一区域)不被允许使用非刷新区域1930(第二区域)的编码信息的示例。对于刷新区域1910中紧接着虚拟边界1920的色度像素1950，CCALF被跳过。
可替换地，CCALF仍然被应用于第一区域中距离虚拟边界最多n个像素位置的那些像素，但在需要时利用从第一区域得出的第二区域中的编码信息或被设置为预定值的第二区域中的编码信息。例如，在图19A中，CCALF仍被应用于刷新区域1910中紧接着虚拟边界1920的色度像素1950，但非刷新区域1930上的相关联亮度像素(包括qi,j，i＝0,1,2,3和j＝0,1)被从刷新区域1910填充(或被设置为预定值，例如2BD-1，其中BD是比特深度)。
在允许使用第一区域的信息的情况下，用于第二区域上的像素的CCALF可以被正常执行。
如果第一区域1910中像素pi,j的实际CCALF滤波与正常去块滤波不同，则差异可以从相应像素qi,j偏移为
其中为qm,n的CCALF滤波的最终输出，为qm,n的CCALF滤波的输出，为使用包括第一区域和/或第二区域信息的所有必要信息对pi,j进行正常CCALF滤波的输出，并且为pi,j的实际CCALF滤波的输出。
如图19A所示，对应像素pi,j和qi,j为第一区域1910和第二区域1930在CCALF之前相对于虚拟边界1920的镜像像素。
如果第二区域选择不使用第一区域的编码信息，则CCALF不被应用于第二区域中距离虚拟边界最多n个(例如，对于VVC为1个，或者对于ECM为4个)像素位置的像素。图19B显示了GDR/恢复图像的非刷新区域(第二区域)1980选择不使用刷新区域(第一区域)1960的编码信息的示例。对于非刷新区域1980中紧接着虚拟边界1970的共置色度像素1990，CCALF被跳过。
可替换地，CCALF仍被应用于第二区域1980中紧接着虚拟边界1970的那些像素，但在需要时利用从第二区域1980得出的第一区域1960中的编码信息或被设置为预定值第一区域1960中的编码信息。例如，在图19B中，CCALF仍被应用于非刷新区域1980中紧接着虚拟边界1970的共置色度像素1990，但刷新区域1960中的相关联亮度像素(包括pi,j，i＝0,1,2,3和j＝0,1)被未刷新区域1980填充。
图20是适用于实现示例实施例的装置710的框图700。装置710的一个非限制性示例是可以接入无线网络的无线、通常是移动设备。装置710包括一个或多个处理器720、一个或多个存储器725、一个或多个收发器730和一个或多个网络(N/W)接口(I/F)761，它们通过一个或多个总线727互连。一个或多个收发器730中的每一个都包括接收器Rx 732和发送器Tx 733。一个或多个总线727可以是地址、数据或控制总线，并且可以包括任何互连机制，诸如主板或集成电路上的一系列线路、光纤或其他光通信设备等。
装置710可以经由有线、无线或两者接口通信。对于无线通信，一个或多个收发器730连接到一个或多个天线728。一个或多个存储器725包括计算机程序代码723。(多个)N/WI/F 761经由一个或多个有线链路762通信。
装置710包括控制模块740，控制模块740包括部分740-1和/或740-2中的一个或两个，控制模块740包括参考790，该参考790包括编码器780、解码器782或780/782两者的编解码器，并且可以以多种方式被实现。为了便于参考，参考790在本文中被称为编解码器。控制模块740可以在硬件中被实现为控制模块740-1，诸如作为一个或多个处理器720的一部分实现。控制模块740-1还可以被实现为集成电路或通过其他硬件(诸如可编程门阵列)实现。在另一个示例中，控制模块740可以被实现为控制模块740-2，控制模块740-2被实现为计算机程序代码723，并且由一个或多个处理器720执行。例如，一个或多个存储器725和计算机程序代码723可以被配置为与一个或多个处理器720一起使用户设备710执行本文所述的一个或多个操作。编解码器790可以类似地被实现为作为控制模块740-1的一部分的编解码器790-1，或作为控制模块740-2的一部分的编解码器790-2，或两者。
计算机可读存储器725可以是适合本地技术环境的任何类型，并且可以使用任何合适的数据存储技术来实现，诸如基于半导体的存储器设备、闪存、固件、磁性存储器设备和系统、光学存储器设备和系统、固定存储器和可移动存储器。计算机可读存储器725可以是用于执行存储功能的部件。计算机可读一个或多个存储器725可以是非暂态、瞬时性、易失性(例如随机存取存储器(RAM))或非易失性(例如只读存储器(ROM))。计算机可读一个或多个存储器725可以包括用于存储数据的数据库。
处理器720可以是适合本地技术环境的任何类型，并且作为非限制性示例，可以包括以下一项或多项：通用计算机、专用计算机、微处理器、数字信号处理器(DSP)和基于多核处理器架构的处理器。处理器720可以是用于执行功能(诸如控制装置710)和本文所述的其他功能的部件。
一般而言，装置710的各种实施例可以包括但不限于蜂窝电话(诸如智能手机、移动电话、蜂窝电话、互联网协议语音(IP)(VoIP)电话和/或无线本地环路电话)、平板电脑、便携式计算机、室内音频设备、沉浸式音频设备、车辆或车载设备(例如用于无线V2X(车对万物)通信)、图像捕获设备(诸如数码相机)、游戏设备、音乐存储和播放设备、互联网设备(包括物联网IoT设备)、具有传感器和/或执行器的IoT设备(例如用于自动化应用)，以及结合这些功能的组合的便携式单元或终端、膝上型电脑、膝上型电脑嵌入式设备(LEE)、膝上型电脑安装设备(LME)、通用串行总线(USB)加密狗、智能设备、无线客户端设备(CPE)、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动化处理链上下文中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。也就是说，装置710可以是能够进行无线或有线通信的任何设备。
因此，装置710包括处理器720、包括计算机程序代码723的至少一个存储器725，其中至少一个存储器725和计算机程序代码723被配置为与至少一个处理器720一起使装置710基于本文所述示例在虚拟边界处实现非对称环路滤波器790。装置710可选地包括显示器或I/O770，它们可以被用于在ML/任务/机器/NN处理或渲染期间显示内容。显示器或I/O770可以被配置为接收来自用户的输入，诸如利用键盘、触摸屏、触摸区域、麦克风、生物识别、一个或多个传感器等。装置710可以包括标准的众所周知的组件，诸如放大器、滤波器、频率转换器和(解)调器。
计算机程序代码723可以包括面向对象的软件，并且可以实现整个本公开中描述的滤波。装置710不需要包括所提到的每个特征，或者也可以包括其他特征。装置710可以是图1、图2、图3或图4中所示的装置的实施例，包括这些装置的任何组合。
图21是基于本文所述示例的在虚拟边界处实现非对称环路滤波器的示例方法2100。在2110处，该方法包括确定将图像或图像的一部分分开成第一区域和第二区域的虚拟边界。在2120处，该方法包括当第二区域的编码信息将被用于执行第一区域的至少一个像素的滤波时，确定利用从第一区域得出的第二区域的编码信息、或利用设置为至少一个值的第二区域的编码信息来执行第一区域的所述至少一个像素的滤波，或者当第二区域的所述编码信息将被用于第一区域的至少一个像素的滤波时，确定不执行第一区域的至少一个像素的滤波。方法2100可以由编码器、解码器或编解码器或图1、图2、图3、图4或图20中所示的任何装置执行。
对“计算机”、“处理器”等的引用应被理解为不仅包括具有不同架构(诸如单/多处理器架构和顺序/并行架构)的计算机，还包括专用电路(诸如现场可编程门阵列(FPGA)、专用电路(ASIC)、信号处理设备和其他处理电路系统)。对计算机程序、指令、代码等的引用应被理解涵盖可编程处理器或固件的软件，诸如例如硬件设备的可编程内容(诸如用于处理器的指令)或用于固定功能设备、门阵列或可编程逻辑设备的配置设置等。
如本文所用，术语“电路系统”、“电路”及其变体可以指以下任一项：(a)硬件电路实现，诸如模拟和/或数字电路系统中的实现，以及(b)电路与软件(和/或固件)的组合，诸如(如适用)：(i)(多个)处理器的组合或(ii)(多个)处理器/软件的部分，包括(多个)数字信号处理器、软件和(多个)存储器，它们一起工作以使装置执行各种功能，以及(c)电路，诸如(多个)微处理器或(多个)微处理器的一部分，其需要软件或固件才能操作，即使软件或固件并非物理存在。作为另一个示例，如本文所用，术语“电路系统”还将涵盖仅处理器(或多个处理器)或处理器的一部分及其(或它们)附带软件和/或固件的实现。术语“电路系统”还将涵盖，例如并且如果适用于特定元素，移动电话的基带集成电路或应用处理器集成电路或服务器、蜂窝网络设备或其他网络设备中的类似集成电路。电路系统或电路还可以被用于表示被用于执行方法的功能或过程。
以下示例(1-32)在本文中被描述并且被提供。
示例1.一种装置，包括：至少一个处理器；以及至少一个存储器，包括计算机程序代码；其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得该装置至少：确定将图像或图像的一部分分开成第一区域和第二区域的虚拟边界；以及当第二区域的编码信息将被用于执行第一区域的至少一个像素的滤波时，确定利用从第一区域得出的所述第二区域的编码信息、或利用设置为至少一个值的第二区域的编码信息来执行第一区域的至少一个像素的滤波，或者当第二区域的编码信息将被用于执行第一区域的至少一个像素的滤波时，确定不执行第一区域的至少一个像素的滤波。
示例2.根据示例1所述的装置，其中第一区域的至少一个像素的滤波包括环路滤波。
示例3.根据示例1至2中任一项所述的装置，其中第一区域包括刷新区域，并且第二区域包括非刷新区域。
示例4.根据示例1至3中任一项所述的装置，其中图像包括逐步解码刷新图像或恢复图像。
示例5.根据示例1至4中任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：响应于第二区域中的像素被用于执行第一区域的至少一个像素的滤波，从第一区域中的像素填充第二区域中的像素。
示例6.根据示例1至5中任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：响应于第二区域中的像素被用于执行第一区域中的至少一个像素的滤波，利用从第一区域外推的像素替换第二区域中的像素。
示例7.根据示例1至6中任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：当第一区域的编码信息和第二区域的编码信息能够用于第一区域的至少一个像素的所述滤波时，确定第一区域的至少一个像素的滤波的第一输出；以及当第二区域的编码信息不能够用于第一区域的至少一个像素的滤波时，确定第一区域的至少一个像素的滤波的第二输出。
示例8.根据示例7所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：确定第一输出和第二输出之间的差异；以及至少部分地使用差异或差异的近似值来确定对第二区域的至少一个像素进行滤波的输出。
示例9.根据示例8所述的装置，其中第二区域的编码信息包括第二区域的至少一个像素的滤波的输出。
示例10.根据示例8至9中任一项所述的装置，其中第二区域的至少一个像素的位置对应于第一区域的至少一个像素的位置。
示例11.根据示例7至10中任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：确定第一输出与第二输出之间的差异；确定对第二区域的至少一个像素进行滤波的初始输出；以及利用从初始输出中至少部分减去差异来确定第二区域的至少一个像素的滤波的最终输出；其中第二区域的编码信息：包括第二区域的至少一个像素的滤波的最终输出。
示例12.根据示例11所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：利用从初始输出中至少部分减去差异的加权贡献来确定第二区域的至少一个像素的滤波的最终输出。
示例13.根据示例12所述的装置，其中加权贡献包括1/2i，其中i对应于第一区域的至少一个像素或第二区域的至少一个像素的位置的索引。
示例14.根据示例1至13中任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：确定第一区域的至少一个像素的目标滤波的目标输出；当第一区域的编码信息或第二区域的编码信息不能够用于执行第一区域的至少一个像素的滤波时，确定第一区域的至少一个像素的滤波的实际输出；确定目标输出和实际输出之间的差异；确定对第二区域的至少一个像素进行滤波的初始输出；以及至少部分地使用具有差异的初始输出偏移来确定第二区域的至少一个像素的滤波的最终输出；其中第二区域的编码信息包括第二区域的至少一个像素的滤波的最终输出。
示例15.根据示例1至14中的任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：响应于确定与第一区域的至少一个像素的滤波和第二区域的至少一个像素的滤波相关的公共选项，确定是否在不使用第二区域的编码信息的情况下执行第一区域的至少一个像素的滤波，以及确定是否在不使用第一区域的编码信息的情况下来执行第二区域的至少一个像素的滤波。
示例16.根据示例15所述的装置，其中公共选项包括确定不执行第一区域的至少一个像素的滤波，以及确定不执行第二区域的至少一个像素的滤波。
示例17.根据示例15至16中任一项所述的装置，其中公共选项包括确定利用填充第二区域的编码信息执行第一区域的至少一个像素的滤波，以及确定利用填充第一区域的编码信息执行第二区域的至少一个像素的滤波。
示例18.根据示例1至17中任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：使用第一区域的编码信息和第二区域的编码信息来执行第二区域的至少一个像素的滤波。
示例19.根据示例1至18中任一项所述的装置，其中第一区域的至少一个像素的所述滤波包括以下项中的至少一项：去块滤波；取样自适应偏移边缘偏移滤波；用于亮度的双边滤波；用于色度的双边滤波；跨分量取样自适应偏移滤波；自适应环路滤波；或者跨分量自适应环路滤波。
示例20.根据示例1至19中任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：去使能第一区域中的至少一个像素的滤波，直至距离所述虚拟边界的多个像素位置处。
示例21.根据示例1至20中任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：执行所述第一区域的所述至少一个像素的滤波，直至距离所述虚拟边界的多个数量的像素位置处。
示例22.根据示例1至21中任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使装置至少执行以下项中的至少一项：将第二区域的像素值设置为等于紧接着虚拟边界的第一区域的像素值；将第二区域的像素值设置为等于第一区域的像素值的平均值；或者将第二区域的像素值设置为等于第一区域的像素值的中值；其中第二区域的编码信息包括第二区域的所设置的像素值。
示例23.根据示例1至22中任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：当第一区域的编码信息将被用于执行第二区域的至少一个像素的滤波时，确定利用从第二区域得出的第一区域的编码信息、或利用设置为至少一个值的第一区域的编码信息来执行第二区域的至少一个像素的滤波，或者当第一区域的编码信息将被用于执行第二区域的至少一个像素的所述滤波时，确定不执行第二区域的至少一个像素的滤波。
示例24.根据示例23所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：去使能所述第二区域中的所述至少一个像素的滤波，直至距离所述虚拟边界的多个像素位置处。
示例25.根据示例23至24中任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：执行所述第二区域的所述至少一个像素的所述滤波，直至距离所述虚拟边界的多个数量的像素位置处。
示例26.根据示例23至25中任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少执行以下项中的至少一项：将第一区域的像素值设置为等于紧接着虚拟边界的第二区域的像素值；将第一区域的像素值设置为等于第二区域的像素值的平均值；或者将第一区域的像素值设置为等于第二区域的像素值的中值；其中第一区域的编码信息包括第一区域的所设置的像素值。
示例27.根据示例23至26中任一项所述的装置，其中第二区域的至少一个像素的滤波包括以下项中的至少一项：环路滤波；去块滤波；取样自适应偏移边缘偏移滤波；用于亮度的双边滤波；用于色度的双边滤波；跨分量取样自适应偏移滤波；自适应环路滤波；或者跨分量自适应环路滤波。
示例28.根据示例1至27中任一项所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：确定具有比特深度BD的至少一个值。
示例29.根据示例28所述的装置，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置至少：将至少一个值确定为2BD-1。
示例30.一种方法，包括确定将图像或图像的一部分分开成第一区域和第二区域的虚拟边界；以及当第二区域的编码信息将被用于执行第一区域的至少一个像素的滤波时，确定利用从第一区域得出的第二区域的编码信息、或利用设置为至少一个值的第二区域的编码信息来执行第一区域的至少一个像素的滤波，或者当第二区域的编码信息将被用于执行第一区域的至少一个像素的滤波时，确定不执行第一区域的至少一个像素的滤波。
示例31.一种装置，包括：用于确定将图像或图像的一部分分开成第一区域和第二区域的虚拟边界的部件；以及用于以下项的部件：当第二区域的编码信息将被用于执行第一区域的至少一个像素的滤波时而确定利用从第一区域得出的第二区域的编码信息或利用设置为至少一个值的第二区域的编码信息来执行第一区域的至少一个像素的滤波或者当第二区域的编码信息将被用于执行第一区域的至少一个像素的滤波时而确定不执行第一区域的至少一个像素的滤波的部件。
示例32.一种由机器可读的非暂态程序存储设备，其有形地体现了可由机器执行以执行操作的指令程序，该操作包括确定将图像或图像的一部分分开成第一区域和第二区域的虚拟边界；以及当第二区域的编码信息将被用于执行第一区域的至少一个像素的滤波时，确定利用从第一区域得出的第二区域的所述编码信息、或利用设置为至少一个值的第二区域的编码信息来执行第一区域的至少一个像素的滤波，或者当第二区域的编码信息将被用于执行第一区域的至少一个像素的滤波时，确定不执行第一区域的至少一个像素的滤波。
在附图中，单独块之间的箭头表示它们之间的操作耦合以及那些耦合上的数据流的方向。
应当理解，上述描述仅是说明性的。各种备选和修改可以由本领域技术人员设计出。例如，各个从属权利要求中所述的特征可以以任何合适的(多个)组合相互组合。另外，上述不同实施例中的特征可以被选择性地组合成新的实施例。因此，本描述旨在涵盖所有属于所附权利要求范围的这样的备选、修改和变体。
可以在说明书和/或附图中找到的以下首字母缩略词和缩写被定义如下。首字母缩略词和缩写可以被相互附加和/或其他字符(例如连字符(-))。
3GPP 第三代合作伙伴计划
4G 第四代宽带蜂窝网络技术
5G 第五代蜂窝网络技术
802.x IEEE标准系列，涉及局域网和城域网
ABC 备选带分类器
ALF 自适应环路滤波器
APS 自适应参数集
ASIC 专用集成电路
BD 比特深度
BIF 双边滤波器
BIF-chroma 用于色度的双边滤波器
BIF-luma 用于亮度的双边滤波器
BO 带偏移
Cb 蓝色色度分量
CCALF或CC-ALF 交叉分量ALF
CCSAO 交叉分量SAO
CDMA 码分多址
CMP 立方体映射投影
CPE 客户端设备
Cr 红色色度分量
CTB 编码树块
CTU 编码树单元
DBF 去块滤波器
DCT 离散余弦变换
DSP 数字信号处理器
ECM 增强压缩模型
EO 边缘偏移
FDMA 频分多址
FPGA 现场可编程门阵列
GDR 逐步解码刷新
GSM 全球移动通信系统通信
H.222.0 MPEG-2系统，用于运动图像和相关联音频信息的通用编码标准
H.26x ITU-T领域的视频编码标准系列
HMD 头戴式显示器
IBC 块内复制
id或ID 标识符
IEC 国际电工委员会
IEEE 电气和电子工程师协会
I/F 接口
IMD 集成消息设备
IMS 即时消息服务
I/O 输入输出
IoT 物联网
IP 互联网协议
ISO 国际标准化组织
ISOBMFF ISO基础媒体文件格式
ITU 国际电信联盟
ITU-T 国际电信联盟电信标准化部门
JTC 联合技术委员会
JVET 联合视频专家组
LEE 膝上型电脑嵌入式设备
LME 膝上型电脑安装设备
LTE 长期演进
ML 机器学习
MMS 多媒体消息服务
MPEG 运动图像专家组
MPEG-2 如由ITU定义的H.222/H.262
MSE 均方误差
MV 多视图
NAL 网络抽象层
NN 神经网络
N/W 网络
PC 个人计算机
PDA 个人数字助理
PID 分组标识符
PLC 电力线通信
QP 量化参数或四分之一像素
RAM 随机存取存储器
RFID 射频标识
RFM 参考帧存储器
ROM 只读存储器
Rx 接收器
SAO 取样自适应偏移
SMS 短信服务
SPS 序列参数集
TCP-IP 传输控制协议-互联网协议
TDMA 时分多址
TS 传送流
TV 电视
Tx 发送器
U 色度分量的蓝色投影
UICC 通用集成电路卡
UMTS 通用移动电信系统
USB 通用串行总线
V 色度分量的红色投影
V2X 车联网
VoIP IP语音
VVC 通用视频编码
WLAN 无线局域网
Y 亮度分量

Claims (32)

1.一种装置，包括：
至少一个处理器；以及
至少一个存储器，包括计算机程序代码；
其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
确定将图像或所述图像的一部分分开成第一区域和第二区域的虚拟边界；以及
当所述第二区域的编码信息将被用于执行所述第一区域的至少一个像素的滤波时，确定利用从所述第一区域得出的所述第二区域的所述编码信息、或利用设置为至少一个值的所述第二区域的所述编码信息来执行所述第一区域的所述至少一个像素的滤波，或者当所述第二区域的所述编码信息将被用于执行所述第一区域的所述至少一个像素的所述滤波时，确定不执行所述第一区域的所述至少一个像素的所述滤波。
2.根据权利要求1所述的装置，其中所述第一区域的所述至少一个像素的所述滤波包括环路滤波。
3.根据权利要求1至2中任一项所述的装置，其中所述第一区域包括刷新区域，并且所述第二区域包括非刷新区域。
4.根据权利要求1至3中任一项所述的装置，其中所述图像包括逐步解码刷新图像或恢复图像。
5.根据权利要求1至4中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
响应于所述第二区域中的所述像素被用于执行所述第一区域的所述至少一个像素的所述滤波，从所述第一区域中的像素填充所述第二区域中的像素。
6.根据权利要求1至5中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
响应于所述第二区域中的像素被用于执行所述第一区域中的所述至少一个像素的所述滤波，利用从所述第一区域外推的像素来替换所述第二区域中的像素。
7.根据权利要求1至6中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
当所述第一区域的编码信息和所述第二区域的所述编码信息能够用于所述第一区域的所述至少一个像素的所述滤波时，确定所述第一区域的所述至少一个像素的所述滤波的第一输出；以及
当所述第二区域的所述编码信息不能够用于所述第一区域的所述至少一个像素的所述滤波时，确定所述第一区域的所述至少一个像素的所述滤波的第二输出。
8.根据权利要求7所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
确定所述第一输出和所述第二输出之间的差异；以及
至少部分地使用所述差异或所述差异的近似值来确定对所述第二区域的至少一个像素进行滤波的输出。
9.根据权利要求8所述的装置，其中所述第二区域的所述编码信息包括所述第二区域的所述至少一个像素的所述滤波的所述输出。
10.根据权利要求8至9中任一项所述的装置，其中所述第二区域的所述至少一个像素的位置对应于所述第一区域的所述至少一个像素的位置。
11.根据权利要求7至10中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
确定所述第一输出与所述第二输出之间的差异；
确定对所述第二区域的至少一个像素进行滤波的初始输出；以及
利用从所述初始输出中至少部分减去所述差异来确定所述第二区域的所述至少一个像素的所述滤波的最终输出，；
其中所述第二区域的所述编码信息包括：所述第二区域的所述至少一个像素的所述滤波的所述最终输出。
12.根据权利要求11所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
利用从所述初始输出中至少部分地减去所述差异的加权贡献来确定所述第二区域的所述至少一个像素的所述滤波的所述最终输出。
13.根据权利要求12所述的装置，其中所述加权贡献包括1/2i，其中i对应于所述第一区域的所述至少一个像素或所述第二区域的所述至少一个像素的位置的索引。
14.根据权利要求1至13中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
确定所述第一区域的所述至少一个像素的目标滤波的目标输出；
当所述第一区域的编码信息或所述第二区域的所述编码信息不能够用于执行所述第一区域的所述至少一个像素的所述滤波时，确定所述第一区域的所述至少一个像素的所述滤波的实际输出；
确定所述目标输出和所述实际输出之间的差异；
确定对所述第二区域的至少一个像素进行滤波的初始输出；以及
至少部分地使用具有所述差异的初始输出偏移来确定所述第二区域的所述至少一个像素的所述滤波的最终输出；
其中所述第二区域的所述编码信息包括所述第二区域的所述至少一个像素的所述滤波的所述最终输出。
15.根据权利要求1至14中的任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
响应于确定与所述第一区域的所述至少一个像素的所述滤波和所述第二区域的所述至少一个像素的所述滤波相关的公共选项，确定是否在不使用所述第二区域的所述编码信息的情况下执行所述第一区域的所述至少一个像素的所述滤波，以及确定是否在不使用所述第一区域的编码信息的情况下执行所述第二区域的所述至少一个像素的滤波。
16.根据权利要求15所述的装置，其中所述公共选项包括确定不执行所述第一区域的所述至少一个像素的滤波，以及确定不执行所述第二区域的所述至少一个像素的滤波。
17.根据权利要求15至16中任一项所述的装置，其中所述公共选项包括：确定利用填充所述第二区域的所述编码信息来执行所述第一区域的所述至少一个像素的滤波，以及确定利用填充所述第一区域的编码信息来执行所述第二区域的所述至少一个像素的滤波。
18.根据权利要求1至17中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
使用所述第一区域的编码信息和所述第二区域的所述编码信息来执行所述第二区域的至少一个像素的滤波。
19.根据权利要求1至18中任一项所述的装置，其中所述第一区域的所述至少一个像素的所述滤波包括以下项中的至少一项：
去块滤波；
取样自适应偏移边缘偏移滤波；
用于亮度的双边滤波；
用于色度的双边滤波；
跨分量取样自适应偏移滤波；
自适应环路滤波；或者
跨分量自适应环路滤波。
20.根据权利要求1至19中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
去使能所述第一区域中的所述至少一个像素的滤波，直至距离所述虚拟边界的多个像素位置处。
21.根据权利要求1至20中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
执行所述第一区域的所述至少一个像素的滤波，直至距离所述虚拟边界的多个数量的像素位置处。
22.根据权利要求1至21中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少执行以下项中的至少一项：
将所述第二区域的像素值设置为等于紧接着所述虚拟边界的所述第一区域的像素值；
将所述第二区域的像素值设置为等于所述第一区域的像素值的平均值；或者
将所述第二区域的像素值设置为等于所述第一区域的像素值的中值；
其中所述第二区域的所述编码信息包括所述第二区域的所设置像素值。
23.根据权利要求1至22中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
当所述第一区域的所述编码信息将被用于执行所述第二区域的所述至少一个像素的所述滤波时，确定利用从所述第二区域得出的所述第一区域的编码信息、或利用设置为至少一个值的所述第一区域的所述编码信息来执行所述第二区域的所述至少一个像素的所述滤波，或者当所述第一区域的所述编码信息将被用于执行所述第二区域的所述至少一个像素的所述滤波时，确定不执行所述第二区域的所述至少一个像素的所述滤波。
24.根据权利要求23所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
去使能所述第二区域中的所述至少一个像素的滤波，直至距离所述虚拟边界的多个像素位置处。
25.根据权利要求23至24中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
执行所述第二区域的所述至少一个像素的所述滤波，直至距离所述虚拟边界的多个数量的像素位置处。
26.根据权利要求23至25中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少执行以下项中的至少一项：
将所述第一区域的像素值设置为等于紧接着所述虚拟边界的所述第二区域的像素值；
将所述第一区域的像素值设置为等于所述第二区域的像素值的平均值；或者
将所述第一区域的像素值设置为等于所述第二区域的像素值的中值；
其中所述第一区域的所述编码信息包括所述第一区域的所设置的像素值。
27.根据权利要求23至26中任一项所述的装置，其中所述第二区域的所述至少一个像素的所述滤波包括以下项中的至少一项：
环路滤波；
去块滤波；
取样自适应偏移边缘偏移滤波；
用于亮度的双边滤波；
用于色度的双边滤波；
跨分量取样自适应偏移滤波；
自适应环路滤波；或者
跨分量自适应环路滤波。
28.根据权利要求1至27中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
确定具有比特深度BD的至少一个值。
29.根据权利要求28所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使得所述装置至少：
将所述至少一个值确定为2BD-1。
30.一种方法，包括：
确定将图像或所述图像的一部分分开成第一区域和第二区域的虚拟边界；以及
当所述第二区域的编码信息将被用于执行所述第一区域的至少一个像素的滤波时，确定利用从所述第一区域得出的所述第二区域的所述编码信息、或利用设置为至少一个值的所述第二区域的所述编码信息来执行所述第一区域的所述至少一个像素的滤波，或者当所述第二区域的所述编码信息将被用于执行所述第一区域的所述至少一个像素的所述滤波时，确定不执行所述第一区域的所述至少一个像素的所述滤波。
31.一种装置，包括：
用于确定将图像或所述图像的一部分分开成第一区域和第二区域的虚拟边界的部件；以及
用于以下项的部件：当所述第二区域的编码信息将被用于执行所述第一区域的至少一个像素的滤波时而确定利用从所述第一区域得出的所述第二区域的所述编码信息、或利用设置为至少一个值的所述第二区域的所述编码信息来执行所述第一区域的所述至少一个像素的滤波或者当所述第二区域的所述编码信息将被用于执行所述第一区域的所述至少一个像素的所述滤波时而确定不执行所述第一区域的所述至少一个像素的所述滤波的部件。
32.一种由机器可读的非暂态程序存储设备，其有形地体现了可由机器执行以执行操作的指令程序，所述操作包括：
确定将图像或所述图像的一部分分开成第一区域和第二区域的虚拟边界；以及
当所述第二区域的编码信息将被用于执行所述第一区域的至少一个像素的滤波时，确定利用从所述第一区域得出的所述第二区域的所述编码信息、或利用设置为至少一个值的所述第二区域的所述编码信息来执行所述第一区域的所述至少一个像素的滤波，或者当所述第二区域的所述编码信息将被用于执行所述第一区域的所述至少一个像素的所述滤波时，确定不执行所述第一区域的所述至少一个像素的所述滤波。
CN202380065378.7A 2022-07-12 2023-05-17 虚拟边界处的非对称环路滤波器 Pending CN119856489A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202263388385P 2022-07-12 2022-07-12
US63/388,385 2022-07-12
PCT/EP2023/063275 WO2024012748A1 (en) 2022-07-12 2023-05-17 Asymmetric in-loop filters at virtual boundaries

Publications (1)

Publication Number Publication Date
CN119856489A true CN119856489A (zh) 2025-04-18

Family

ID=86609878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202380065378.7A Pending CN119856489A (zh) 2022-07-12 2023-05-17 虚拟边界处的非对称环路滤波器

Country Status (8)

Country Link
US (1) US20260025497A1 (zh)
EP (1) EP4555716A1 (zh)
JP (1) JP2025528685A (zh)
KR (1) KR20250029978A (zh)
CN (1) CN119856489A (zh)
CA (1) CA3261680A1 (zh)
MX (1) MX2025000427A (zh)
WO (1) WO2024012748A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115428449B (zh) * 2019-11-04 2024-12-31 抖音视界有限公司 处理视频数据的方法、装置及存储介质
CN114830662B (zh) * 2019-12-27 2023-04-14 阿里巴巴（中国）有限公司 用于对图像执行逐步解码刷新处理的方法和系统
CN115699753A (zh) * 2020-05-31 2023-02-03 抖音视界有限公司 具有本地双树模式类型定义的调色板模式
US11962936B2 (en) * 2020-09-29 2024-04-16 Lemon Inc. Syntax for dependent random access point indication in video bitstreams

Also Published As

Publication number Publication date
US20260025497A1 (en) 2026-01-22
MX2025000427A (es) 2025-02-10
CA3261680A1 (en) 2024-01-18
KR20250029978A (ko) 2025-03-05
WO2024012748A1 (en) 2024-01-18
JP2025528685A (ja) 2025-09-02
EP4555716A1 (en) 2025-05-21

Similar Documents

Publication Publication Date Title
US11496746B2 (en) Machine learning based rate-distortion optimizer for video compression
RU2690211C1 (ru) Устройство и способ обработки изображений
CA3144099A1 (en) An encoder, a decoder and corresponding methods
CN117730537A (zh) 经由基于学习神经网络的过滤器对机器视觉任务的性能改进
US20210400276A1 (en) Quantization for video encoding and decoding
CN114026866A (zh) 用于视频编码和解码的色度处理
KR20220024737A (ko) 비디오 인코더, 비디오 디코더 및 대응하는 방법
KR20210139446A (ko) 인트라 스무딩을 위한 방법 및 장치
JP2024507791A (ja) ビデオを符号化／復号するための方法及び装置
EP3890325B1 (en) Inter-frame prediction method and device
CN114270844B (zh) 用于视频编码和解码的运动向量处理
KR20220123666A (ko) 가중-예측 파라미터들의 추정
CN119856489A (zh) 虚拟边界处的非对称环路滤波器
CN121312129A (zh) 用于灵活gdr的虚拟边界处的环路滤波器
EP3886438A1 (en) Flag bit context modeling method and device
WO2024217778A1 (en) Non-refreshed area handling for flexible gdr
EP3987808A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CN120266482A (zh) 用于在虚拟边界处进行非对称去块的滤波器强度或长度设计
US12382061B2 (en) Predictive and residual coding of sparse signals for weight update compression
WO2025202872A1 (en) Minimizing coding delay and memory requirements for overfitted filters
WO2020073928A1 (en) Inter prediction method and apparatus
CN121488461A (zh) 基于模板的帧内模式推导合并
WO2025256837A1 (en) A method, an apparatus and a computer program product for coding and decoding of video material
WO2024231372A1 (en) Adaptive cross-component prediction for inter coded blocks
WO2025114337A1 (en) Downscaling ratio prediction for reference picture resampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination