CN113366833A - 对环路整形的限制 - Google Patents

对环路整形的限制 Download PDF

Info

Publication number
CN113366833A
CN113366833A CN202080012239.4A CN202080012239A CN113366833A CN 113366833 A CN113366833 A CN 113366833A CN 202080012239 A CN202080012239 A CN 202080012239A CN 113366833 A CN113366833 A CN 113366833A
Authority
CN
China
Prior art keywords
domain
block
video
codec
video block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080012239.4A
Other languages
English (en)
Inventor
张莉
张凯
刘鸿彬
许继征
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN113366833A publication Critical patent/CN113366833A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

提供了一种用于视频处理的方法，包括：对于视频的当前视频块和视频的编解码表示之间的转换，基于当前视频块的一个或多个系数值来确定是否禁用对编解码模式的使用；以及基于该确定来执行该转换，其中，在使用编解码模式的该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。

Description

对环路整形的限制
相关申请的交叉引用
根据适用的专利法和/或依据巴黎公约的规则，本申请旨在及时要求于2019年2月1日提交的第PCT/CN2019/074437号国际专利申请、2019年3月14日提交的第PCT/CN2019/078185号国际专利申请和2019年3月23日提交的第PCT/CN2019/079393号国际专利申请的优先权和利益。出于根据法律的所有目的，前述申请的全部公开通过引用并入作为本申请的公开的一部分。
技术领域
本专利文档涉及视频处理技术、设备和系统。
背景技术
尽管视频压缩技术有所进步，但数字视频仍然在互联网和其它数字通信网络上占据最大的带宽使用。随着能够接收和显示视频的联网用户设备数量的增加，预计对数字视频使用的带宽需求将继续增长。
发明内容
描述了与数字视频处理相关，并且具体地，与用于视频处理的环路整形(In-LoopReshaping，ILR)相关的设备、系统和方法。所描述的方法可以被应用于现有的视频处理标准(例如，高效视频编解码(High Efficiency Video Coding，HEVC))和未来的视频处理标准两者或者包括视频编解码器的视频处理器。
在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，基于第一域或第二域中的样点来执行运动信息细化过程；以及基于运动信息细化过程的结果来执行该转换，其中，在该转换期间，样点是针对当前视频块而使用未细化的运动信息从第一域中的第一预测块获得的，至少第二预测块使用用于确定重构块的细化的运动信息在第二域中被生成，并且当前视频块的重构样点基于至少第二预测块而生成。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，在该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，其中，编解码工具使用至少基于视频的视频区域中的第一样点集合和当前视频块的参考图片中的第二样点集合而推导的参数在该转换期间被应用，并且其中，第一样点的域和第二样点的域是对齐的。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：基于先前视频区域的编解码模式的一个或多个参数，为视频的当前视频区域的当前视频块确定当前视频块的编解码模式的参数；以及基于该确定，对当前视频块执行编解码以生成视频的编解码表示，并且其中，编解码模式的参数被包括在视频的编解码表示中的参数集中，并且其中，执行编解码包括将第一域中的当前视频块的表示变换为第二域中的当前视频块的表示，并且其中，在使用编解码模式执行编解码期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：接收包括参数集的视频的编解码表示，其中该参数集包括编解码模式的参数信息；以及通过使用参数信息来执行对编解码表示的解码，以从编解码表示生成视频的当前视频区域的当前视频块，并且其中，编解码模式的参数信息基于先前视频区域的编解码模式的一个或多个参数，其中，在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的当前视频块和视频的编解码表示之间的转换，并且其中，该转换包括将滤波操作应用于第一域中的或不同于第一域的第二域中的预测块。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，在该转换期间，为当前视频块确定了最终重构块，并且其中，临时重构块使用预测方法而生成并被表示在第二域中。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，编解码表示中的参数集包括编解码模式的参数信息。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行作为色度块的视频的当前视频块和视频的编解码表示之间的转换，其中，在该转换期间，当前视频块基于第一域和第二域而构建，并且其中，该转换还包括将正向整形过程和/或逆向整形过程应用于当前视频块的一个或多个色度分量。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的当前视频色度块和视频的编解码表示之间的转换，其中，执行该转换包括：基于规则来确定依赖于亮度的色度残差缩放(LCRS)被启用还是被禁用，以及基于该确定来重构当前视频色度块。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，基于当前视频块的一个或多个系数值来确定是否禁用对编解码模式的使用；以及基于该确定来执行该转换，其中，在使用编解码模式的该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的超过视频的虚拟管道数据单元(VPDU)的当前视频块之间的转换，将当前视频块分为区域；以及通过将编解码模式分开应用于每个区域来执行该转换，其中，在通过应用编解码模式的该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，基于当前视频块的尺寸或颜色格式来确定是否禁用对编解码模式的使用；以及基于该确定来执行该转换，其中，在使用编解码模式的该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，编解码表示中的至少一个语法元素提供对编解码模式的使用的指示和整形器模型的指示。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：确定对视频的当前视频块和视频的编解码表示之间的转换禁用了编解码模式；以及基于该确定来有条件地跳过正向整形和/或逆向整形，其中，在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，多个正向整形和/或多个逆向整形在视频区域的整形模式下被应用。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式；以及使用调色板模式来执行该转换，其中在该调色板模式中，至少代表性样点值的调色板用于当前视频块，并且其中，在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在调色板模式下编解码的，其中在该调色板模式下，至少代表性样点值的调色板用于对当前视频块进行编解码；以及由于该确定，通过禁用编解码模式来执行该转换，其中，当编解码模式被应用于视频块时，视频块基于以依赖于亮度的方式而缩放的色度残差进行构建。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的第一视频块和视频的编解码表示之间的转换，其中，该转换使用第一编解码模式和调色板编解码模式，其中在该调色板编解码模式下，至少代表性像素值的调色板用于对当前视频块进行编解码；以及执行在没有使用调色板编解码模式的情况下被编解码的视频的第二视频块和视频的编解码表示之间的转换，并且其中，第二视频块的该转换使用第一编解码模式，其中，当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式；以及使用帧内块复制模式来执行该转换，其中该帧内块复制模式至少使用指向包括当前视频块的图片的块矢量来生成预测块，并且其中，在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在帧内块复制(IBC)模式下编解码的，其中该帧内块复制模式至少使用指向包含当前视频块的视频帧的块矢量来生成预测块，以用于对当前视频块进行编解码；以及由于该确定，通过禁用编解码模式来执行该转换，其中，当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的第一视频块和视频的编解码表示之间的转换，其中，该转换使用帧内块复制模式和第一编解码模式，其中该帧内块复制模式至少使用指向包含当前视频块的视频帧的块矢量来生成预测块；以及执行在没有使用帧内块复制模式的情况下被编解码的视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块的该转换使用第一编解码模式，其中，当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式；以及使用基于块的增量脉冲编解码调制(BDPCM)模式来执行该转换，其中，在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是使用基于块的增量脉冲编解码调制(BDPCM)模式编解码的；以及由于该确定，通过禁用编解码模式来执行该转换，其中，当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的第一视频块和视频的编解码表示之间的转换，其中，第一视频块的该转换使用第一编解码模式和基于块的增量脉冲编解码调制(BDPCM)模式；以及执行视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块在没有使用BDPCM模式的情况下被编解码，并且第二视频块的该转换使用第一编解码模式，其中，当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式；以及使用变换跳过模式来执行该转换，其中在该变换跳过模式下，对预测残差的变换在对当前视频块进行编解码时被跳过，其中，在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在变换跳过模式下编解码的，其中在该变换跳过模式下，对预测残差的变换在对当前视频块进行编解码时被跳过；以及由于该确定，通过禁用编解码模式来执行该转换，其中，当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的第一视频块和视频的编解码表示之间的转换，其中，第一视频块的该转换使用第一编解码模式和变换跳过模式，其中在该变换跳过模式下，对预测残差的变换在对当前视频块进行编解码时被跳过；以及执行视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块在没有使用变换跳过模式的情况下被编解码，并且第二视频块的该转换使用第一编解码模式，其中，当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式；以及使用帧内脉冲编解码调制模式来执行该转换，其中在该帧内脉冲编解码调制模式下，当前视频块在没有应用变换和变换域量化的情况下被编解码，其中，在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在帧内脉冲编解码调制模式下编解码的，其中在该帧内脉冲编解码调制模式下，当前视频块在没有应用变换和变换域量化的情况下被编解码；以及由于该确定，通过禁用编解码模式来执行该转换，其中，当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的第一视频块和视频的编解码表示之间的转换，其中，第一视频块的该转换使用第一编解码模式和帧内脉冲编解码调制模式，其中在该帧内脉冲编解码调制模式下，当前视频块在没有应用变换和变换域量化的情况下被编解码；以及执行视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块在没有使用帧内脉冲编解码调制模式的情况下被编解码，并且第二视频块的该转换使用第一编解码模式，其中，当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式；以及使用修改的变换量化旁路模式来执行该转换，其中在该修改的变换量化旁路模式下，当前视频块在没有变换和量化的情况下被无损编解码，其中，在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在变换量化旁路模式下编解码的，其中在该变换量化旁路模式下，当前视频块在没有变换和量化的情况下被无损编解码；以及由于该确定，通过禁用编解码模式来执行该转换，其中，当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的第一视频块和视频的编解码表示之间的转换，其中，第一视频块的该转换使用第一编解码模式和变换量化旁路模式，其中在该变换量化旁路模式下，当前视频块在没有变换和量化的情况下被无损编解码；以及执行视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块在没有使用变换量化旁路模式的情况下被编解码，并且第二视频块的该转换使用第一编解码模式，其中，当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，用于编解码模式的信息在不同于序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)或用于携带自适应环路滤波(ALF)参数的自适应参数集(APS)的参数集中被信令通知。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，用于编解码模式的信息与自适应环路滤波(ALF)信息一起在自适应参数集(APS)中被信令通知，其中，用于编解码模式的信息和ALF信息被包括在一个NAL单元中。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，用于编解码模式的信息在与用于信令通知自适应环路滤波(ALF)信息的第二类型的自适应参数集(APS)不同的第一类型的APS中被信令通知。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，视频区域不被允许引用自适应参数集或在用于处理视频的指定类型的数据结构之前信令通知的参数集，并且其中，指定类型的数据结构在视频区域之前被信令通知。
在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，包括用于处理视频的参数的参数集的语法元素在一致性比特流中具有预定义值。
在另一个代表性方面，上述方法以处理器可执行代码的形式被体现并且被存储在计算机可读程序介质中。
在另一个代表性方面，公开了一种被配置或可操作来执行上述方法的设备。该设备可以包括被编程来实施该方法的处理器。
在另一个代表性方面，视频解码器装置可以实施如本文所描述的方法。
在附图、说明书和权利要求书中更详细地描述了所公开的技术的以上以及其它方面和特征。
附图说明
图1示出了构建Merge候选列表的示例。
图2示出了空域候选的位置的示例。
图3示出了对其进行空域Merge候选的冗余检查的候选对的示例。
图4A和图4B示出了基于当前块的尺寸和形状的第二预测单元(Prediction Unit，PU)的位置的示例。
图5示出了用于时域Merge候选的运动矢量缩放的示例。
图6示出了时域Merge候选的候选位置的示例。
图7示出了生成组合的双向预测Merge候选的示例。
图8示出了构建运动矢量预测候选的示例。
图9示出了用于空域运动矢量候选的运动矢量缩放的示例。
图10示出了使用用于编解码单元(Coding Unit，CU)的可选时域运动矢量预测(Alternative Temporal Motion Vector Prediction，ATMVP)算法的运动预测的示例。
图11示出了由空时运动矢量预测(Spatial-Temporal Motion VectorPrediction，STMVP)算法使用的具有子块的编解码单元(CU)和邻近块的示例。
图12示出了用于推导照明补偿(Illumination Compensation，IC)参数的邻近样点的示例。
图13A和图13B分别示出了简化的4参数仿射模型和简化的6参数仿射模型的示例。
图14示出了每个子块的仿射运动矢量场(Motion Vector Field，MVF)的示例。
图15A和图15B分别示出了4参数仿射模型和6参数仿射模型的示例。
图16示出了继承的仿射候选的AF_INTER的运动矢量预测的示例。
图17示出了构建的仿射候选的AF_INTER的运动矢量预测的示例。
图18A和图18B分别示出了AF_MERGE模式的示例候选块和CPMV预测值推导。
图19示出了仿射Merge模式的候选位置的示例。
图20示出了UMVE搜索过程的示例。
图21示出了UMVE搜索点的示例。
图22示出了基于双边模板匹配的解码器侧运动矢量细化(Decoder Side MotionVector Refinement，DMVR)的示例。
图23示出了具有整形的解码流的示例性流程图。
图24示出了在双边滤波器中使用的邻近样点的示例。
图25示出了覆盖在权重计算中使用的两个样点的窗口的示例。
图26示出了扫描图案的示例。
图27示出了帧间模式解码过程的示例。
图28示出了帧间模式解码过程的另一示例。
图29示出了利用重构后滤波器的帧间模式解码过程的示例。
图30示出了利用重构后滤波器的帧间模式解码过程的另一示例。
图31A和图31B示出了用于视频处理的示例方法的流程图。
图32A至图23D示出了用于视频处理的示例方法的流程图。
图33示出了用于视频处理的示例方法的流程图。
图34A和图34B示出了用于视频处理的示例方法的流程图。
图35A至图35F示出了用于视频处理的示例方法的流程图。
图36A至图36C示出了用于视频处理的示例方法的流程图。
图37A至图37C示出了用于视频处理的示例方法的流程图。
图38A至图38L示出了用于视频处理的示例方法的流程图。
图39A至图39E示出了用于视频处理的示例方法的流程图。
图40A和图40B示出了用于实施在本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台的示例。
具体实施方式
由于对更高分辨率视频日益增长的需求，视频处理方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且正在不断改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率确定)、编码和解码算法的复杂度、对数据丢失和错误的敏感性、编辑的简易性、随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如高效视频编解码(HEVC)标准(也被称为H.265或MPEG-HPart 2)、待完成的通用视频编解码(Versatile Video Coding)标准或其它当前和/或将来的视频编解码标准。
所公开的技术的实施例可以应用于现有的视频编解码标准(例如，HEVC、H.265)和将来的标准，以提高压缩性能。在本文档中使用章节标题来提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实施方式)仅限制于相应章节。
1 HEVC/H.265中的帧间预测的示例
近年来，视频编解码标准有了显著的改进，并且现在部分地提供了高编解码效率和对更高分辨率的支持。最近的标准(诸如HEVC和H.265)是基于混合视频编解码结构的，其中利用了时域预测加变换编解码。
1.1预测模式的示例
每个帧间预测PU(预测单元)具有一个或两个参考图片列表的运动参数。在一些实施例中，运动参数包括运动矢量和参考图片索引。在其它实施例中，对两个参考图片列表之一的使用也可以使用inter_pred_idc进行信令通知。在另一些实施例中，运动矢量可以被显示地编解码为相对于预测值的增量。
当以跳过模式对CU进行编解码时，一个PU与CU相关联，并且没有显著的残差系数，没有编解码的运动矢量增量或参考图片索引。指定了Merge模式，由此从包括空域和时域候选的邻近PU获得当前PU的运动参数。Merge模式可以被应用于任何帧间预测PU，而不仅是针对跳过模式。Merge模式的替代方案是运动参数的显式传输，其中，运动矢量(更确切地说，与运动矢量预测值相比的运动矢量差(Motion Vector Difference，MVD))、每个参考图片列表的对应参考图片索引和参考图片列表使用按每PU被显式地信令通知。该类型的模式在本文档中被命名为高级运动矢量预测(Advanced Motion Vector Prediction，AMVP)。
当信令指示要使用两个参考图片列表之一时，从一个样点块产生PU。这被称为“单向预测”。单向预测适用于P条带和B条带两者。
当信令指示要使用两个参考图片列表时，从两个样点块产生PU。这被称为“双向预测”。双向预测仅适用于B条带。
参考图片列表
在HEVC中，术语帧间预测用于表示从除当前解码的图片之外的参考图片的数据元素(例如，样点值或运动矢量)推导的预测。如在H.264/AVC中，可以从多个参考图片预测图片。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引标识列表中的哪个参考图片应该用于创建预测信号。
单个参考图片列表(列表0)用于P条带，并且两个参考图片列表(列表0和列表1)用于B条带。应该注意的是，列表0/1中包括的参考图片在捕捉/显示顺序方面可以根据过去和将来的图片。
1.1.1构建Merge模式的候选的实施例
当使用Merge模式预测PU时，从比特流中解析指向Merge候选列表中的条目的索引，并将其用于检索运动信息。该列表的构建可以根据以下步骤序列进行总结：
步骤1：初始候选推导
步骤1.1：空域候选推导
步骤1.2：空域候选的冗余检查
步骤1.3：时域候选推导
步骤2：附加候选插入
步骤2.1：创建双向预测候选
步骤2.2：插入零运动候选
图1示出了基于上面总结的步骤序列来构建Merge候选列表的示例。对于空域Merge候选推导，从位于五个不同位置的候选当中选择最多四个Merge候选。对于时域Merge候选推导，在两个候选当中选择最多一个Merge候选。由于在解码器处假设每个PU的候选数量是恒定的，所以在候选数量没有达到在条带头中信令通知的Merge候选的最大数量(MaxNumMergeCand)时生成附加候选。由于候选数量是恒定的，所以最佳Merge候选的索引使用截断一元二值化(Truncated Unary，TU)进行编码。如果CU的尺寸等于8，则当前CU的所有PU共享单个Merge候选列表，这与2N×2N预测单元的Merge候选列表相同。
1.1.2构建空域Merge候选
在空域Merge候选的推导中，从位于图2中描绘的位置的候选当中选择最多四个Merge候选。推导的顺序是A1、B1、B0、A0和B2。仅当位置A1、B1、B0、A0的任一PU不可用(例如，因为它属于另一条带或片)或是帧内编解码的时，才考虑位置B2。在位置A1处的候选被添加之后，对剩余候选的添加进行冗余检查，该冗余检查确保具有相同运动信息的候选被排除在列表之外，从而提高编解码效率。
为了降低计算复杂度，在提到的冗余检查中不考虑所有可能的候选对。相反，仅考虑在图3中用箭头链接的对，并且仅当用于冗余检查的候选没有相同的运动信息时，才向列表添加对应候选。重复运动信息的另一源是与不同于2N×2N的分区相关联的“第二PU”。作为示例，图4A和图4B分别描绘了N×2N和2N×N的情况的第二PU。当当前PU被分割为N×2N时，位置A1处的候选不被考虑用于列表构建。在一些实施例中，添加该候选可能导致两个预测单元具有相同的运动信息，这对于在编解码单元中仅具有一个PU是冗余的。类似地，当当前PU被分割为2N×N时，不考虑位置B1。
1.1.3构建时域Merge候选
在该步骤中，只有一个候选被添加到列表中。具体地，在该时域Merge候选的推导中，基于属于与给定参考图片列表内的当前图片具有最小POC差的图片的并置PU来推导缩放的运动矢量。在条带头中显示地信令通知将用于并置PU的推导的参考图片列表。
图5示出了时域Merge候选的缩放运动矢量的推导的示例(如虚线所示)，该运动矢量是使用POC距离tb和td从并置PU的运动矢量缩放的，其中tb被定义为当前图片的参考图片和当前图片之间的POC差，td被定义为并置图片的参考图片和并置图片之间的POC差。时域Merge候选的参考图片索引被设置为零。对于B条带，获得两个运动矢量，一个用于参考图片列表0，另一个用于参考图片列表1，并将其组合以形成双向预测Merge候选。
如图6所描绘的，在属于参考帧的并置PU(Y)中，在候选C0和C1之间选择时域候选的位置。如果位置C0处的PU不可用、是帧内编解码的或在当前CTU之外，则使用位置C1。否则，在时域Merge候选的推导中使用位置C0。
1.1.4构建附加类型的Merge候选
除了空时Merge候选之外，还有两种附加类型的Merge候选：组合的双向预测Merge候选和零Merge候选。组合的双向预测Merge候选通过利用空时Merge候选而生成。组合的双向预测Merge候选仅用于B条带。组合的双向预测候选通过将初始候选的第一参考图片列表运动参数与另一个的第二参考图片列表运动参数进行组合而生成。如果这两个元组提供不同的运动假设，它们将形成新的双向预测候选。
图7示出了该过程的示例，其中原始列表(710，在左侧)中的具有mvL0和refIdxL0或mvL1和refIdxL1的两个候选用于创建添加到最终列表(720，在右侧)的组合的双向预测Merge候选。有被考虑以生成这些附加Merge候选的关于组合的许多规则。
零运动候选被插入以填充Merge候选列表中的剩余条目，并因此达到MaxNumMergeCand容量。这些候选具有零空域位移和参考图片索引，该参考图片索引从零开始，并且每当新的零运动候选被添加到该列表时就增加。这些候选使用的参考帧的数量分别是单向预测一个和双向预测两个。在一些实施例中，不对这些候选执行冗余检查。
1.2高级运动矢量预测的实施例(AMVP)
AMVP利用运动矢量与邻近PU的空时相关性，其用于运动参数的显式传输。通过首先检查左侧、上侧时域邻近PU位置的可用性、移除冗余候选、以及添加零矢量以使候选列表长度恒定，来构建运动矢量候选列表。然后，编码器可以从候选列表选择最佳预测值，并发送指示所选择的候选的对应索引。类似于Merge索引信令，最佳运动矢量候选的索引使用截断一元编码。在这种情况下，要编码的最大值是2(参见图8)。在以下章节中，提供了关于运动矢量预测候选的推导过程的细节。
1.2.1推导AMVP候选的示例
图8总结了运动矢量预测候选的推导过程，并且可以针对以refidx作为输入的每个参考图片列表而实施。
在运动矢量预测中，考虑两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选推导，基于位于如先前图2中所示的五个不同位置的每个PU的运动矢量来最终推导两个运动矢量候选。
对于时域运动矢量候选推导，从两个候选选择一个运动矢量候选，这两个候选是基于两个不同的并置位置而推导的。在生成第一个空时候选列表之后，移除列表中的重复运动矢量候选。如果潜在候选的数量大于2，则从相关联的参考图片列表移除列表内参考图片索引大于1的运动矢量候选。如果空时运动矢量候选的数量小于两个，则将附加的零运动矢量候选添加到列表中。
1.2.2构建空域运动矢量候选
在空域运动矢量候选的推导中，在五个潜在候选当中考虑最多两个候选，这五个潜在候选是从位于如先前图2中所示的位置的PU推导的，这些位置与运动Merge的位置相同。当前PU左侧的推导顺序被定义为A0、A1和缩放的A0、缩放的A1。当前PU的上侧的推导顺序被定义为B0、B1、B2、缩放的B0、缩放的B1、缩放的B2。因此，对于每一侧，有四种情况可以用作运动矢量候选，其中两种情况不需要使用空域缩放，两种情况使用空域缩放。这四种不同的情况总结如下：
--无空域缩放
(1)相同的参考图片列表和相同的参考图片索引(相同的POC)
(2)不同的参考图片列表但相同的参考图片(相同的POC)
--空域缩放
(3)相同的参考图片列表但不同的参考图片(不同的POC)
(4)不同的参考图片列表和不同的参考图片(不同的POC)
首先检查无空域缩放情况，随后检查允许空域缩放的情况。不管参考图片列表如何，当邻近PU的参考图片和当前PU的参考图片之间的POC不同时，考虑空域缩放。如果左侧候选的所有PU都不可用或者是帧内编解码的，则允许对上侧运动矢量进行缩放，以帮助左侧和上侧MV候选的并行推导。否则，不允许对上侧运动矢量进行空域缩放。
如图9中的示例所示，对于空域缩放情况，以与时域缩放类似的方式缩放邻近PU的运动矢量。一个不同之处在于，参考图片列表和当前PU的索引作为输入被给出；实际缩放过程与时域缩放的缩放过程相同。
1.2.3构建时域运动矢量候选
除了参考图片索引推导之外，用于推导时域Merge候选的所有过程与用于推导空域运动矢量候选的过程相同(如图6中的示例所示)。在一些实施例中，参考图片索引被信令通知给解码器。
2.联合探索模型(JEM)中的帧间预测方法的示例
在一些实施例中，使用被称为联合探索模型(Joint Exploration Model，JEM)的参考软件来探索将来的视频编解码技术。在JEM中，基于子块的预测在几种编解码工具中被采用，诸如仿射预测、可选时域运动矢量预测、空时运动矢量预测、双向光流(Bi-directional Optical flow，BIO)、帧速率上转换(Frame-Rate Up Conversion，FRUC)、局部自适应运动矢量分辨率(Locally Adaptive Motion Vector Resolution，LAMVR)、重叠块运动补偿(Overlapped Block Motion Compensation，OBMC)、局部照明补偿(LocalIllumination Compensation，LIC)和解码器侧运动矢量细化(Decoder-side MotionVector Refinement，DMVR)。
2.1基于子CU的运动矢量预测的示例
在具有四叉树加二叉树(QuadTrees plus Binary Trees，QTBT)的JEM中，每个CU对于每个预测方向可以具有最多一个运动参数集。在一些实施例中，通过将大CU划分为子CU并推导大CU的所有子CU的运动信息，在编码器中考虑了两种子CU级别运动矢量预测方法。可选时域运动矢量预测(ATMVP)方法允许每个CU从比并置参考图片中的当前CU小的多个块获取多个运动信息集合。在空时运动矢量预测(STMVP)方法中，通过使用时域运动矢量预测值和空域邻近运动矢量递归地推导子CU的运动矢量。在一些实施例中，为了为子CU运动预测保留更准确的运动场，可以禁用参考帧的运动压缩。
2.1.1可选时域运动矢量预测(ATMVP)的示例
在ATMVP方法中，时域运动矢量预测(TMVP)方法通过从小于当前CU的块获取多个运动信息集合(包括运动矢量和参考索引)而修改。
图10示出了用于CU 1000的ATMVP运动预测过程的示例。ATMVP方法分两个步骤预测CU 1000内的子CU 1001的运动矢量。第一步骤是用时域矢量标识参考图片1050中的对应块1051。参考图片1050也被称为运动源图片。第二步骤是将当前CU 1000划分为子CU 1001，并从对应于每个子CU的块获得每个子CU的运动矢量和参考索引。
在第一步骤中，参考图片1050和对应块由当前CU 1000的空域邻近块的运动信息确定。为了避免邻近块的重复扫描过程，使用当前CU 1000的Merge候选列表中的第一个Merge候选。第一个可用运动矢量及其相关联的参考索引被设置为运动源图片的时域矢量和索引。这样，与TMVP相比，可以更准确地标识对应块，其中对应块(有时被称为并置块)总是在相对于当前CU的右下方或中心位置。
在第二步骤中，通过将时域矢量添加到当前CU的坐标，子CU 1051的对应块由运动源图片1050中的时域矢量标识。对于每个子CU，其对应块的运动信息(例如，覆盖中心样点的最小运动网格)用于推导子CU的运动信息。在对应的N×N块的运动信息被标识之后，它被转换为当前子CU的运动矢量和参考索引，其方式与HEVC的TMVP相同，其中应用了运动缩放和其它流程。例如，解码器检查是否满足低延迟条件(例如，当前图片的所有参考图片的POC小于当前图片的POC)，并且可能使用运动矢量MVx(例如，对应于参考图片列表X的运动矢量)来预测每个子CU的运动矢量MVy(例如，其中X等于0或1，并且Y等于1-X)。
2.1.2空时运动矢量预测(STMVP)的示例
在STMVP方法中，子CU的运动矢量按照光栅扫描顺序被递归地推导。图11示出了具有四个子块的一个CU和邻近块的示例。考虑8×8CU 1100，其包括四个4×4子CU A(1101)、B(1102)、C(1103)和D(1104)。当前帧中的邻近4×4块被标记为a(1111)、b(1112)、c(1113)和d(1114)。
子CU A的运动推导从标识其两个空域邻居开始。第一个邻居是子CU A1101上侧的N×N块(块c 1113)。如果该块c(1113)不可用或是帧内编解码的，则检查子CU A(1101)上侧的其它N×N块(从左到右，从块c 1113处开始)。第二个邻居是子CU A1101左侧的块(块b1112)。如果块b(1112)不可用或是帧内编解码的，则检查子CU A1101左侧的其它块(从上到下，从块b 1112处开始)。从每个列表的邻近块获得的运动信息被缩放到给定列表的第一参考帧。接下来，子块A 1101的时域运动矢量预测值(TMVP)通过遵循与HEVC中指定的TMVP推导相同的流程而推导。块D 1104处的并置块的运动信息被相应地获取和缩放。最后，在检索和缩放运动信息之后，针对每个参考列表分开对所有可用运动矢量进行平均。平均运动矢量被指定为当前子CU的运动矢量。
2.1.3子CU运动预测模式信令的示例
在一些实施例中，子CU模式被启用作为附加Merge候选，并且不需要附加的语法元素来信令通知这些模式。两个附加Merge候选被添加到每个CU的Merge候选列表中，以表示ATMVP模式和STMVP模式。在其它实施例中，如果序列参数集指示ATMVP和STMVP被启用，则可以使用多达七个Merge候选。附加Merge候选的编码逻辑与HM中的Merge候选的编码逻辑相同，这意味着，对于P条带或B条带中的每个CU，两个附加Merge候选可能还需要两次RD检查。在一些实施例中，例如JEM，Merge索引的所有二进制位(bin)通过CABAC(Context-basedAdaptive Binary Arithmetic Coding，基于上下文的自适应二进制算术编解码)进行上下文编解码。在其它实施例中，例如HEVC，只有第一个二进制位被上下文编解码，而剩余的二进制位被上下文旁路编解码。
2.2 JEM中局部照明补偿(LIC)的示例
局部照明补偿(LIC)基于照明变化的线性模型，使用缩放因子a和偏移b。并且其对每个帧间模式编解码的编解码单元(CU)而自适应地启用或禁用。
当LIC应用于CU时，采用最小二乘法通过使用当前CU的邻近样点及其对应的参考样点来推导参数a和b。更具体地，如图12所示，使用参考图片中的CU的二次采样的(2:1二次采样)邻近样点和对应样点(由当前CU或子CU的运动信息标识)。
2.2.1预测块的推导
分别对每个预测方向推导和应用IC参数。对于每个预测方向，利用解码的运动信息生成第一预测块，然后经由应用LIC模型获得临时预测块。之后，利用两个临时预测块来推导最终预测块。
当以Merge模式对CU进行编解码时，以类似于Merge模式中的运动信息复制的方式，从邻近块复制LIC标志；否则，LIC标志被信令通知给CU以指示LIC是否适用。
当对图片启用LIC时，需要附加的CU级别RD检查来确定LIC是否适用于CU。当对CU启用LIC时，绝对差的均值移除和(Mean-Removed Sum of Absolute Difference，MR-SAD)和绝对哈达玛变换差的均值移除和(Mean-Removed Sum of Absolute Hadamard-Transformed Difference，MR-SATD)，而不是SAD和SATD，被分别用于整数像素运动搜索和分数像素运动搜索。
为了降低编码复杂度，在JEM应用以下编码方案：当当前图片与其参考图片之间没有明显的照明变化时，对整个图片禁用LIC。为了标识这种情况，在编码器处计算当前图片和当前图片的每个参考图片的直方图。如果当前图片和当前图片的每个参考图片之间的直方图差小于给定阈值，则对当前图片禁用LIC；否则，对当前图片启用LIC。
2.3 VVC中的帧间预测方法的示例
有几种用于帧间预测改进的新编解码工具，诸如用于信令通知MVD的自适应运动矢量差分辨率(Adaptive Motion Vector Difference Resolution，AMVR)、仿射预测模式、三角预测模式(Triangular Prediction Mode，TPM)、ATMVP、广义双向预测(GeneralizedBi-Prediction，GBI)、双向光流(BIO)。
2.3.1 VVC中的编解码块结构的示例
在VVC中，采用四叉树/二叉树/多叉树(QT/BT/TT)结构将图片分成正方形或矩形块。在VVC中，除了QT/BT/TT之外，独立树(也被称为双重编解码树)也用于I帧。对于独立树，编解码块结构是针对亮度和色度分量而分开信令通知的。
2.3.2自适应运动矢量差分辨率的示例
在一些实施例中，当条带头中use_integer_mv_flag等于0时，以四分之一亮度样点为单位信令通知(PU的运动矢量和预测运动矢量之间的)运动矢量差(MVD)。在JEM中，引入了局部自适应运动矢量分辨率(LAMVR)。在JEM中，MVD可以以四分之一亮度样点、整数亮度样点或四亮度样点为单位进行编解码。MVD分辨率在编解码单元(CU)级别被控制，并且对于具有至少一个非零MVD分量的每个CU，有条件地信令通知MVD分辨率标志。
对于具有至少一个非零MVD分量的CU，信令通知第一标志以指示CU中是否使用四分之一亮度样点MV精度。当第一标志(等于1)指示没有使用四分之一亮度样点MV精度时，另一标志被信令通知以指示是使用整数亮度样点MV精度还是四亮度样点MV精度。
当CU的第一MVD分辨率标志为零，或未针对CU进行编解码(意味着CU中的所有MVD都为零)时，CU使用四分之一亮度样点MV分辨率。当CU使用整数亮度样点MV精度或四亮度样点MV精度时，CU的AMVP候选列表中的MVP被取整到对应的精度。
2.3.3仿射运动补偿预测的示例
在HEVC中，只有平移运动模型被应用于运动补偿预测(Motion CompensationPrediction，MCP)。然而，相机和对象可以具有多种运动，例如放大/缩小、旋转、透视运动和/或其它不规则运动。在VVC中，使用4参数仿射模型和6参数仿射模型来应用简化的仿射变换运动补偿预测。如图13A和图13B所示，块的仿射运动场分别由两个(在使用变量a、b、e和f的4参数仿射模型中)或三个(在使用变量a、b、c、d、e和f的6参数仿射模型中)控制点运动矢量描述。
块的运动矢量场(MVF)分别由具有4参数仿射模型和6参数仿射模型的以下等式描述：
Figure BDA0003192740720000211
Figure BDA0003192740720000212
本文中，(mvh 0，mvh 0)是左上角控制点(Control Point，CP)的运动矢量，并且(mvh 1，mvh 1)是右上角控制点的运动矢量，并且(mvh 2，mvh 2)是左下角控制点的运动矢量，(x，y)表示代表点相对于当前块内的左上方样点的坐标。CP运动矢量可以被信令通知(如在仿射AMVP模式下)或即时推导(如在仿射Merge模式下)。w和h是当前块的宽度和高度。在实践中，除法是通过右移和取整运算实施的。在VTM中，代表点被定义为子块的中心位置，例如，当子块的左上角相对于当前块内的左上方样点的坐标为(xs，ys)时，代表点的坐标被定义为(xs+2，ys+2)。对于每个子块(例如，在VTM中为4×4)，利用代表点来推导整个子块的运动矢量。
图14示出了块1300的每个子块的仿射MVF的示例，其中为了进一步简化运动补偿预测，应用了基于子块的仿射变换预测。为了推导每个M×N子块的运动矢量，每个子块的中心样点的运动矢量可以根据等式(1)和(2)而计算，并取整到运动矢量分数精确度(例如，在JEM中为1/16)。然后，可以应用运动补偿插值滤波器来生成具有推导的运动矢量的每个子块的预测。仿射模式引入了1/16像素的插值滤波器。在MCP之后，每个子块的高精确度运动矢量被取整并保存为与标准运动矢量相同的精确度。
2.3.3.1仿射预测的信令通知的示例
类似于平移运动模型，由于仿射预测，也有两种模式用于信令通知边信息。它们是AFFINE_INTER和AFFINE_MERGE模式。
2.3.3.2 AF_INTER模式的示例
对于宽度和高度都大于8的CU，可以应用AF_INTER模式。在比特流中信令通知CU级别的仿射标志，以指示是否使用AF_INTER模式。
在这种模式下，对于每个参考图片列表(列表0或列表1)，仿射AMVP候选列表以下列顺序用三种类型的仿射运动预测值进行构建，其中每个候选包括当前块的估计的CPMV。在编码器侧发现的最佳CPMV(诸如图17中的mv0 mv1 mv2)和估计的CPMV的差被信令通知。此外，进一步信令通知从其推导出估计的CPMV的仿射AMVP候选的索引。
1)继承的仿射运动预测值
检查顺序与HEVC AMVP列表中的空域MVP的检查顺序类似。第一，从{A1，A0}中被仿射编解码并且具有与当前块中相同的参考图片的第一块推导左侧的继承的仿射运动预测值。第二，从{B1，B0，B2}中被仿射编解码并且具有与当前块中相同的参考图片的第一块推导上侧的继承的仿射运动预测值。图16中描绘了这五个块A1、A0、B1、B0、B2。
一旦发现邻近块以仿射模式而编解码，覆盖邻近块的编解码单元的CPMV用于推导当前块的CPMV的预测值。例如，如果A1以非仿射模式而编解码，而A0以4参数仿射模式而编解码，则左侧的继承的仿射MV预测值将从A0推导。在这种情况下，覆盖A0的CU的CPMV(如在图18B中由
Figure BDA0003192740720000221
表示的左上方CPMV和由
Figure BDA0003192740720000222
表示的右上方CPMV)用于推导当前块的估计的CPMV，由
Figure BDA0003192740720000223
表示当前块的左上方(坐标为(x0，y0))、右上方(坐标为(x1，y1))和右下方位置(坐标为(x2，y2))。
2)构建的仿射运动预测值
如图17所示，构建的仿射运动预测值包含从具有相同参考图片的邻近帧间编解码块推导的控制点运动矢量(Control-Point Motion Vector，CPMV)。如果当前仿射运动模型是4参数仿射，则CPMV的数量是2，否则如果当前仿射运动模型是6参数仿射，则CPMV的数量是3。左上方CPMV
Figure BDA0003192740720000224
由组{A，B，C}中被帧间编解码并且具有与当前块中相同的参考图片的第一块处的MV推导。右上方CPMV
Figure BDA0003192740720000225
由组{D，E}中被帧间编解码并且具有与当前块中相同的参考图片的第一块处的MV推导。左下方CPMV
Figure BDA0003192740720000226
由组{F，G}中被帧间编解码并且具有与当前块中相同的参考图片的第一块处的MV推导。
–如果当前仿射运动模型是4参数仿射，则仅当
Figure BDA0003192740720000227
和
Figure BDA0003192740720000228
两者都建立时，才将构建的仿射运动预测值插入到候选列表中，即，
Figure BDA0003192740720000229
和
Figure BDA00031927407200002210
被用作当前块的左上方(坐标为(x0，y0))、右上方(坐标为(x1，y1))位置的估计的CPMV。
–如果当前仿射运动模型是6参数仿射，则仅当
Figure BDA0003192740720000231
和
Figure BDA0003192740720000232
都建立时，才将构建的仿射运动预测值插入到候选列表中，即，
Figure BDA0003192740720000233
和
Figure BDA0003192740720000234
被用作当前块的左上方(坐标为(x0，y0))、右上方(坐标为(x1，y1))和右下方(坐标为(x2，y2))位置的估计的CPMV。
当将构建的仿射运动预测值插入到候选列表中时，不应用修剪过程。
3)普通AMVP运动预测值
应用以下情况，直到仿射运动预测值的数量达到最大值。
1)如果可用，通过将所有CPMV设置为等于
Figure BDA0003192740720000235
来推导仿射运动预测值。
2)如果可用，通过将所有CPMV设置为等于
Figure BDA0003192740720000236
来推导仿射运动预测值。
3)如果可用，通过将所有CPMV设置为等于
Figure BDA0003192740720000237
来推导仿射运动预测值。
4)如果可用，通过将所有CPMV设置为等于HEVC TMVP来推导仿射运动预测值。
5)通过将所有CPMV设置为零MV来推导仿射运动预测值。
请注意，
Figure BDA0003192740720000238
已经在构建的仿射运动预测值中推导。
在AF_INTER模式下，当使用4/6参数仿射模式时，需要2/3个控制点，因此需要为这些控制点编解码2/3MVD，如图15A和图15B所示。在现有实施方式中，可以如下推导MV，例如，它从mvd0预测mvd1和mvd2。
Figure BDA0003192740720000239
Figure BDA00031927407200002310
Figure BDA00031927407200002311
本文中，
Figure BDA00031927407200002312
mvdi和mv1分别是左上方像素(i＝0)、右上方像素(i＝1)或左下方像素(i＝2)的预测运动矢量、运动矢量差和运动矢量，如图15B所示。在一些实施例中，两个运动矢量(例如，mvA(xA，yA)和mvB(xB，yB))的相加等于两个分量的分别求和。例如，新MV＝mvA+mvB意味着新MV的两个分量分别被设置为(xA+xB)和(yA+yB)。
2.3.3.3 AF_Merge模式的示例
当CU被应用于AF_MERGE模式时，它从有效邻近重构块得到以仿射模式编解码的第一块。并且候选块的选择顺序是从左侧、上侧、右上侧、左下方到左上侧，如图18A所示(由A、B、C、D、E按顺序表示)。例如，如果邻近左下方块如图18B中的A0所表示的在仿射模式下被编解码，则获取包含块A的邻近CU/PU的左上角、右上角和左下角的控制点(CP)运动矢量mv0 N、mv1 N和mv2 N。并且基于mv0 N、mv1 N和mv2 N计算当前CU/PU上的左上角/右上方/左下方的运动矢量mv0 C、mv1 C和mv2 C(仅用于6参数仿射模型)。应当注意，在VTM-2.0中，位于左上角的子块(例如，VTM中的4×4块)存储mv0，如果当前块是仿射编解码的，则位于右上角的子块存储mv1。如果当前块以6参数仿射模型而编解码，则位于左下角的子块存储mv2；否则(用4参数仿射模型)，LB存储mv2’。其它子模块存储用于MC的MV。
在根据等式(1)和(2)中的仿射运动模型计算当前CU v0和v1的CPMV之后，可以生成当前CU的MVF。为了标识当前CU是否用AF_MERGE模式编解码，当存在至少一个邻近块以仿射模式编解码时，可以在比特流中信令通知仿射标志。
在一些实施例中(例如，JVET-L0142和JVET-L0632)，仿射Merge候选列表可以用以下步骤构建：
1)插入继承的仿射候选
继承的仿射候选是指该候选是从其有效邻近仿射编解码块的仿射运动模型推导的。从邻近块的仿射运动模型中推导最大两个继承的仿射候选，并将其插入到候选列表中。对于左侧预测值，扫描顺序为{A0，A1}；对于上侧预测值，扫描顺序为{B0，B1，B2}。
2)插入构建的仿射候选
如果仿射Merge候选列表中的候选的数量少于MaxNumAffineCand(在本文中设置为5)，则构建的仿射候选被插入到候选列表中。构建的仿射候选是指通过组合每个控制点的邻近运动信息来构建候选。
a)控制点的运动信息首先从图19所示的指定空域邻居和时域邻居进行推导。CPk(k＝1，2，3，4)表示第k个控制点。A0、A1、A2、B0、B1、B2和B3是用于预测CPk(k＝1，2，3)的空域位置；T是预测CP4的时域位置。
CP1、CP2、CP3和CP4的坐标分别是(0，0)、(W，0)、(H，0)和(W，H)，其中W和H是当前块的宽度和高度。
每个控制点的运动信息根据以下优先级顺序而获得：
对于CP1，检查优先级为B2→B3→A2。如果B2可用的话，则使用B2。否则，如果B2可用，则使用B3。如果B2和B3都不可用，则使用A2。如果所有三个候选都不可用，则不能获得CP1的运动信息。
对于CP2，检查优先级为B1→B0。
对于CP3，检查优先级为A1→A0。
对于CP4，使用T。
b)其次，使用控制点的组合来构建仿射Merge候选。
I.需要三个控制点的运动信息来构建6参数仿射候选。三个控制点可从以下四种组合之一选择({CP1，CP2，CP4}、{CP1，CP2，CP3}、{CP2，CP3，CP4}、{CP1，CP3，CP4})。组合{CP1，CP2，CP3}、{CP2，CP3，CP4}、{CP1，CP3，CP4}将被转换为由左上方、右上方和左下方控制点表示的6参数运动模型。
II.需要两个控制点的运动信息来构建4参数仿射候选。两个控制点可从以下六种组合之一选择({CP1，CP4}、{CP2，CP3}、{CP1，CP2}、{CP2，CP4}、{CP1，CP3}、{CP3，CP4})。组合{CP1，CP4}、{CP2，CP3}、{CP2，CP4}、{CP1，CP3}、{CP3，CP4}将转换为由左上方和右上方控制点表示的4参数运动模型。
III.构建的仿射候选的组合按以下顺序插入到候选列表中：
{CP1，CP2，CP3}、{CP1，CP2，CP4}、{CP1，CP3，CP4}、{CP2，CP3，CP4}、{CP1，CP2}、{CP1，CP3}、{CP2，CP3}、{CP1，CP4}、{CP2，CP4}、{CP3，CP4}
i.对于组合的参考列表X(X为0或1)，控制点中使用率最高的参考索引被选择作为列表X的参考索引，并且将缩放指向差异参考图片的运动矢量。
在候选被推导出之后，执行完整的修剪过程来检查相同的候选是否已经被插入到列表中。如果存在相同的候选，则丢弃该推导出的候选。
3)用零运动矢量填充
如果仿射Merge候选列表中的候选的数量小于5，则具有零参考索引的零运动矢量被插入到候选列表中，直到列表满为止。
更具体地，对于子块Merge候选列表，MV被设置为(0，0)并且预测方向被设置为来自列表0的单向预测(对于P条带)和双向预测(对于B条带)的4参数Merge候选。
2.3.4具有运动矢量差的Merge(Merge with Motion Vector Difference，MMVD)的示例
在JVET-L0054中，给出了最终运动矢量表达(Ultimate Motion VectorExpression，UMVE，也被称为MMVD)。UMVE与一种提出的运动矢量表达方法用于跳过或Merge模式。
UMVE重复使用与被包括在VVC中的常规Merge候选列表中的那些相同的Merge候选。在这些Merge候选当中，可以选择基本候选，并通过提出的运动矢量表达方法被进一步扩展。
UMVE提供了一种新的运动矢量差(MVD)表示方法，其中，用起始点、运动幅度和运动方向来表示MVD。
这种提出的技术按原样使用Merge候选列表。但是只有默认Merge类型(MRG_TYPE_DEFAULT_N)的候选才被考虑用于UMVE的扩展。
基本候选索引定义了起始点。基本候选索引指示列表中的候选当中的最佳候选，如下所示。
表1：基本候选IDX
基本候选IDX 0 1 2 3
第N MVP 第一MVP 第二MVP 第三MVP 第四MVP
如果基本候选的数量等于1，则基本候选IDX不被信令通知。
距离索引是运动幅度信息。距离索引指示距起始点信息的预定义距离。预定义距离如下所示：
表2：距离IDX
距离IDX 0 1 2 3 4 5 6 7
像素距离 1/4像素 1/2像素 1像素 2像素 4像素 8像素 16像素 32像素
方向索引表示MVD相对于起始点的方向。方向索引可以表示如下所示的四个方向。
表3：方向IDX
方向IDX 00 01 10 11
x轴 + – N/A N/A
y轴 N/A N/A + –
在一些实施例中，在传送跳过标志或Merge标志之后立即信令通知UMVE标志。如果跳过或Merge标志为真(true)，则解析UMVE标志。如果UMVE标志等于1，则解析UMVE语法。但如果不是1，则解析AFFINE(仿射)标志。如果AFFINE标志等于1，即是AFFINE模式，但如果不是1，跳过/Merge索引被解析为VTM的跳过/Merge模式。
不需要由于UMVE候选的附加线缓冲区。因为软件的跳过/Merge候选被直接用作基本候选。使用输入的UMVE索引，在运动补偿之前立即决定MV的补充。没有必要为此保留长的线缓冲区。
在当前的通用测试条件下，可以选择Merge候选列表中的第一个或第二个Merge候选作为基本候选。
2.3.5解码器侧运动矢量细化(DMVR)的示例
在双向预测操作中，对于一个块区域的预测，分别使用列表0的运动矢量(MV)和列表1的MV形成的两个预测块被组合以形成单个预测信号。在解码器侧运动矢量细化(DMVR)方法中，双向预测的两个运动矢量被进一步细化。
在JEM设计中，通过双边模板匹配过程来细化运动矢量。双边模板匹配应用于解码器中，以在双边模板和参考图片中的重构样点之间执行基于失真的搜索，以便在没有附加运动信息的传输的情况下获得细化的MV值。图22中描绘了一个示例。双边模板被生成作为分别来自列表0的初始MV0和列表1的初始MV1的两个预测块的加权组合(即平均)，如图22所示。模板匹配操作包含计算生成的模板和参考图片中的样点区域(初始预测块周围)之间的代价度量。对于两个参考图片中的每一个，产生最小模板代价的MV被认为是该列表的更新的MV，以替换原始MV。在JEM中，为每个列表搜索九个MV候选。九个MV候选包括原始MV和在水平方向或垂直方向或两个方向上距原始MV一个亮度样点偏移的8个周围MV。最后，如图22所示的两个新的MV(即MV0’和MV1’)用于生成最终双向预测结果。绝对差之和(SAD)被用作代价度量。请注意，当计算由一个周围MV生成的预测块的代价时，实际上使用取整的MV(到整数像素)来获得预测块，而不是实际的MV。
为了进一步简化DMVR的过程，JVET-M0147对JEM中的设计提出了几项改变。更具体地，VTM-4.0采用的DMVR设计(即将发布)具有以下主要特征：
ο列表0和列表1之间的提前终止w/(0,0)位置SAD
οDMVR的块尺寸，W*H>＝64&&H>＝8
ο将CU划分为多个CU尺寸>16*16的DMVR 16×16子块
ο参考块尺寸(W+7)*(H+7)(对于亮度)
ο25点基于SAD的整数像素搜索(即(+-2)细化搜索范围，单个级(stage))
ο基于双线性插值的DMVR
ο列表0和列表1之间的MVD镜像，允许双向匹配
ο基于“参数误差表面方程”的子像素细化
ο亮度/色度MC w/参考块填充(如果需要)
ο仅用于MC和TMVP的细化的MV
2.3.6组合的帧内和帧间预测的示例(Combined Intra and Inter Prediction，CIIR)
在JVET-L0100中，提出了多假设预测，其中组合的帧内和帧间预测是生成多假设的一种方式。
当应用多假设预测来改进帧内模式时，多假设预测组合一个帧内预测和一个Merge索引的预测。在Merge CU中，当标志为真时，为Merge模式信令通知一个标志，以从帧内候选列表选择帧内模式。对于亮度分量，帧内候选列表从包括DC、平面、水平和垂直模式的4种帧内预测模式推导，并且取决于块形状，帧内候选列表的尺寸可以是3或4。当CU宽度大于CU高度的两倍时，水平模式不包括帧内模式列表，当CU高度大于CU宽度的两倍时，从帧内模式列表移除垂直模式。使用加权平均来组合由帧内模式索引选择的一个帧内预测模式和由Merge索引选择的一个Merge索引预测。对于色度分量，总是应用DM而不需要额外的信令。用于组合预测的权重描述如下。当选择了DC或平面模式，或者CB宽度或高度小于4时，将应用相等权重。对于CB宽度和高度大于或等于4的那些CB，当选择水平/垂直模式时，首先将一个CB垂直/水平地划分为四个等面积区域。每个权重集(表示为(w_intrai，w_interi)，其中i是从1到4并且(w_intra1，w_inter1)＝(6，2)、(w_intra2，w_inter2)＝(5，3)、(w_intra3，w_inter3)＝(3，5)以及(w_intra4，w_inter4)＝(2，6))将被应用于对应的区域。(w_intra1，w_inter1)用于最靠近参考样点的区域，而(w_intra4，w_inter4)用于最远离参考样点的区域。然后，可以通过将两个加权预测相加并右移3位来计算组合预测。此外，可以保存预测值的帧内假设的帧内预测模式，以供随后的邻近CU参考。
2.4 JVET-M 0427中的环路整形(ILR)
环路整形(ILR)的基本思想是将原始(在第一域)信号(预测/重构信号)转换到第二域(整形域)。
环路亮度整形器被实施为一对查找表(Look-Up Table，LUT)，但是两个LUT中只有一个需要被信令通知，因为另一个LUT可以从信令通知的LUT计算。每个LUT都是一维的、10位的、1024条目的映射表(1D-LUT)。一个LUT是正向LUT，FwdLUT，其将输入亮度码值Yi映射到变更值Yr：Yr＝FwdLUT[Yi]。另一个LUT是逆向LUT，InvLUT，其将变更码值Yr映射到
Figure BDA0003192740720000291
Figure BDA0003192740720000292
(
Figure BDA0003192740720000293
表示Yi的重构值)。
2.4.1分段线性(PWL)模型
在一些实施例中，分段线性(Piece-Wise Linear，PWL)以以下方式被实施：
令x1、x2为两个输入枢轴点，并且y1、y2为它们对于一个段(piece)的对应的输出枢轴点。x1和x2之间的任何输入值x的输出值y可以通过以下等式进行插值：
y＝((y2-y1)/(x2-x1))*(x-x1)+y1
在定点实施方式中，等式可以改写为：
y＝((m*x+2FP_PREC-1)>>FP_PREC)+c
其中m是标量，c是偏移量，FP_PREC是指定精度的恒定值。
请注意，在CE-12软件中，PWL模型用于预先计算1024条目的FwdLUT和InvLUT映射表；但是PWL模型也允许在不预先计算LUT的情况下即时计算相同的映射值的实施方式。
2.4.2测试CE12-2
2.4.2.1亮度整形
环路亮度整形的测试2(即，提出中的CE12-2)提供了更低复杂度的管道，该管道还消除了帧间条带重构中逐块帧内预测的解码时延。帧内预测在帧间和帧内条带两者的整形域中执行。
无论条带类型如何，帧内预测总是在整形域中执行。在这样的布置下，帧内预测可以在先前的TU重构完成之后立即开始。这样的布置还可以为帧内模式提供统一的过程，而不是依赖于条带。图23示出了基于模式的CE12-2解码过程的框图。
CE12-2还针对亮度和色度残差缩放测试16段分段线性(PWL)模型，而不是CE12-1的32段PWL模型。
CE12-2中利用环路亮度整形器的帧间条带重构(浅绿色阴影块指示整形域中的信号：亮度残差；帧内亮度预测的；和帧内亮度重构的)。
2.4.2.2依赖于亮度的色度残差缩放(Luma-dependent Chroma ResidueScaling，LCRS)
依赖于亮度的色度残差缩放是一个用定点整数运算实施的乘法过程。色度残差缩放补偿亮度信号与色度信号的相互作用。色度残差缩放被应用于TU级别。更具体地，以下情况适用：
ο对于帧内，对重构亮度进行平均。
ο对于帧间，对预测亮度进行平均。
平均用于标识PWL模型中的索引。该索引标识缩放因子cScaleInv。色度残差乘以该数。
注意，色度缩放因子是根据正向映射的预测亮度值而不是重构亮度值来计算的。
2.4.2.3 ILR边信息的信令通知
参数(当前)在片组头中发送(类似于ALF)。据报道，这些需要40-100位。片组可以是表示图片的另一种方式。下表基于JVET-L1001的版本9。添加的语法以斜体突出显示。
7.3.2.1序列参数集RBSP语法中
Figure BDA0003192740720000301
Figure BDA0003192740720000311
7.3.3.1广义片组头语法中
Figure BDA0003192740720000312
添加新的语法表片组整形器模型：
Figure BDA0003192740720000313
在广义序列参数集RBSP语义中，添加以下语义：
sps_reshaper_enabled_flag等于1指定在编解码视频序列(Coded VideoSequence，CVS)中使用整形器。
sps_reshaper_enabled_flag等于0指定在CVS中不使用整形器。
在片组头语法中，添加以下语义
tile_group_reshaper_model_present_flag等于1指定tile_group_reshaper_model()存在于片组头中。
tile_group_reshaper_model_present_flag等于0指定tile_group_reshaper_model()不存在于片组头中。当tile_group_reshaper_model_present_flag不存在时，它被推断为等于0。
tile_group_reshaper_enabled_flag等于1指定对当前片组启用整形器。tile_group_reshaper_enabled_flag等于0指定不对当前片组启用整形器。当tile_group_reshaper_enable_flag不存在时，它被推断为等于0。
tile_group_reshaper_chroma_residual_scale_flag等于指定对当前片组启用色度残差缩放。
tile_group_reshaper_chroma_residual_scale_flag等于0指定不对当前片组启用色度残差缩放。当tile_group_reshaper_chroma_residual_scale_flag不存在时，它被推断为等于0。
添加tile_group_reshaper_model()语法
reshape_model_min_bin_idx指定要在整形器构建过程中使用的最小二进制位(或段)索引。
reshape_model_min_bin_idx的值应该在0到MaxBinIdx的范围内，包括0和MaxBinIdx。MaxBinIdx的值应等于15。
reshape_model_delta_max_bin_idx指定最大允许的二进制位(或段)索引MaxBinIdx减去要在整形器构建过程中使用的最大二进制位索引。reshape_model_max_bin_idx的值被设置为等于MaxBinIdx–reshape_model_delta_max_bin_idx。
reshaper_model_bin_delta_abs_cw_prec_minus1加1指定用于表示语法reshape_model_bin_delta_abs_CW[i]的位数。
reshape_model_bin_delta_abs_CW[i]指定第i个二进制位的绝对增量码字值。
reshaper_model_bin_delta_sign_CW_flag[i]指定reshape_model_bin_delta_abs_CW[i]的符号，如下所示：
–如果reshape_model_bin_delta_sign_CW_flag[i]等于0，则对应的变量RspDeltaCW[i]为正值。
–否则(reshape_model_bin_delta_sign_CW_flag[i]不等于0)，对应的变量RspDeltaCW[i]为负值。
当reshape_model_bin_delta_sign_CW_flag[i]不存在时，它被推断为等于0。
变量RspDeltaCW[i]＝(1 2*reshape_model_bin_delta_sign_CW[i])*reshape_model_bin_delta_abs_CW[i]；
变量RspCW[i]如以下步骤而推导：
变量OrgCW被设置为等于(1<<BitDepthY)/(MaxBinIdx+1)。
–如果reshaper_model_min_bin_idx<＝i<＝reshaper_model_max_bin_idx
RspCW[i]＝OrgCW+RspDeltaCW[i]。
–否则，RspCW[i]＝0。
如果BitDepthY的值等于10，则RspCW[i]的值应在32到2*OrgCW-1的范围内。
变量InputPivot[i](i在0到MaxBinIdx+1的范围内，包括0和MaxBinIdx+1)被推导如下
InputPivot[i]＝i*OrgCW
变量ReshapePivot[i](i在0到MaxBinIdx+1的范围内，包括0和MaxBinIdx+1)、变量ScaleCoef[i]和InvScaleCoeff[i](i在0到MaxBinIdx的范围内，包括0和MaxBinIdx)推导如下：
Figure BDA0003192740720000331
变量ChromaScaleCoef[i](i在0到MaxBinIdx的范围内，包括0和MaxBinIdx)推导如下：
ChromaResidualScaleLut[64]＝{16384,16384,16384,16384,16384,16384,16384,8192,8192,8192,8192,5461,5461,5461,5461,4096,4096,4096,4096,3277,3277,3277,3277,2731,2731,2731,2731,2341,2341,2341,2048,2048,2048,1820,1820,1820,1638,1638,1638,1638,1489,1489,1489,1489,1365,1365,1365,1365,1260,1260,1260,1260,1170,1170,1170,1170,1092,1092,1092,1092,1024,1024,1024,1024}
shiftC＝11
–如果(RspCW[i]＝＝0)
ChromaScaleCoef[i]＝(1<<shiftC)
–否则(RspCW[i]！＝0)，ChromaScaleCoef[i]＝ChromaResidualScaleLut[RspCW[i]>>1]
2.4.2.4 ILR的使用
在编码器侧，每个图片(或片组)首先被转换到整形域。并且所有的编解码过程都是在整形域中执行的。对于帧内预测，邻近块在整形域中；对于帧间预测，(从来自解码图片缓冲区的原始域生成的)参考块首先被转换到整形域。然后残差被生成并被编解码成比特流。
在整个图片(或片组)完成编码/解码之后，整形域中的样点被转换到原始域，然后应用去方块滤波器和其它滤波器。
对于以下情况，禁用对预测信号进行正向整形：
ο当前块是帧内编解码的ο当前块被编解码为CPR(当前图片参考(CurrentPicture Referencing)，也被称为帧内块复制(Intra Block Copy)，IBC)
ο当前块被编解码为组合帧间帧内模式(CIIP)，并且对帧内预测块禁用正向整形
JVET-N0805
在JVET-N0805中，为了避免在片组头中信令通知ILR的边信息，提出在APS中信令通知它们。它包括以下主要思想：
–可选地在SPS中传送LMCS参数。LMCS是指在相关视频编解码标准中定义的亮度映射与色度缩放(Luma Mapping With Chroma Scaling，LMCS)技术。
–为ALF和LMCS参数定义APS类型。每个APS只有一种类型。
–在APS中传送LMCS参数
–如果启用了LMCS工具，在TGH设置一个标志来指示LMCS aps_id是否存在。如果没有信令通知，则使用SPS参数。
*需要添加语义约束，以便在启用了工具时总是具有被引用的有效事物。
2.5.2.5.1 JVET-M1001(VVC工作草案4)上的建议设计的实施方式
在下面，建议的改变以斜体示出。
Figure BDA0003192740720000341
Figure BDA0003192740720000351
...
sps_lmcs_enabled_flag等于1指定在编解码视频序列(CVS)中使用亮度映射与色度缩放。
sps_lmcs_enabled_flag等于0指定在CVS中不使用亮度映射与色度缩放。
sps_lmcs_default_model_present_flag等于1指定默认lmcs数据存在于该SPS中。sps_lmcs_default_model_flag等于0指定默认lmcs数据不存在于该SPS中。当不存在时，sps_lmcs_default_model_present_flag的值被推断为等于0。
...
Figure BDA0003192740720000352
aps_params_type指定在APS中携带的APS参数的类型，如在下表中指定：
表7-x–APS参数类型码和APS参数的类型
Figure BDA0003192740720000353
Figure BDA0003192740720000361
增加以下定义到条款3：
ALF APS：aps_params_type等于ALF_APS的APS。
LMCS APS：aps_params_type等于LMCS_APS的APS。
进行以下语义改变：
...
tile_group_alf_aps_id指定片组引用的ALF APS的adaptation_parameter_set_id。adaptation_parameter_set_id等于tile_group_alf_aps_id的ALF APS NAL单元的TemporalId应该小于或等于编解码片组NAL单元的TemporalId。
当具有相同的adaptation_parameter_set_id值的多个ALF APS由相同图片的两个或多个片组引用时，具有相同的adaptation_parameter_set_id值的多个ALF APS应该具有相同的内容。
...
Figure BDA0003192740720000371
tile_group_lmcs_enabled_flag等于1指定对当前片组启用亮度映射与色度缩放。tile_group_lmcs_enabled_flag等于0指定不对当前片组启用亮度映射与色度缩放。当tile_group_lmcs_enable_flag不存在时，它被推断为等于0。
tile_group_lmcs_use_default_model_flag等于1指定用于片组的亮度映射与色度缩放使用默认lmcs模型。
tile_group_lmcs_use_default_model_flag等于0指定用于片组的亮度映射与色度缩放使用由tile_group_lmcs_aps_id引用的LMCS APS中的lmcs模型。当tile_group_reshaper_use_default_model_flag不存在时，它被推断为等于0。
tile_group_lmcs_aps_id指定片组引用的LMCS APS的adaptation_parameter_set_id。
adaptation_parameter_set_id等于tile_group_lmcs_aps_id的LMCS APS NAL单元的TemporalId应该小于或等于编解码片组NAL单元的TemporalId。
当具有相同的adaptation_parameter_set_id值的多个LMCS APS由相同图片的两个或多个片组引用时，具有相同的adaptation_parameter_set_id值的多个LMCS APS应该具有相同的内容。
tile_group_chroma_residual_scale_flag等于1指定对当前片组启用色度残差缩放。
tile_group_chroma_residual_scale_flag等于0指定不对当前片组启用色度残差缩放。当tile_group_chroma_residual_scale_flag不存在时，它被推断为等于0。
...
...
2.4.2.6 JVET-N0138
该贡献提出了自适应参数集(APS)的扩展使用，用于携带整形器模型参数以及ALF参数。在最近一次会议中，决定由APS而不是片组头来携带ALF参数，以通过避免多个片组中的参数的不必要的冗余信令通知来提高编解码效率。基于同样的原因，提出用APS而不是片组头来携带整形器模型参数。为了标识APS中的参数类型(至少是ALF还是整形器模型)，APS语法中需要APS类型信息以及APS ID。
自适应参数集语法和语义
在下面，建议的改变以斜体示出。
Figure BDA0003192740720000372
Figure BDA0003192740720000381
adaptation_parameter_set_type标识APS中的参数类型。
adaptation_parameter_set_type的值应在0到1的范围内，包括0和1。如果adaptation_parameter_set_type等于0，则信令通知ALF参数。否则，信令通知整形器模型参数。
广义片组头语法和语义
Figure BDA0003192740720000382
2.5虚拟管道数据单元
虚拟管道数据单元(Virtual Pipeline Data Unit，VPDU)被定义为图片中不重叠的MxM-亮度(L)/NxN-色度(C)单元。在硬件解码器中，连续的VPDU由多个管道级(stage)同时处理；不同的级同时处理不同的VPDU。在大多数管道级，VPDU尺寸大致与缓冲区尺寸成正比，因此据说保持VPDU尺寸小很重要。在HEVC硬件解码器中，VPDU尺寸被设置为最大变换块(Transform Block，TB)尺寸。将最大TB尺寸从32×32-L/16×16-C(如在HEVC中)扩大到64×64-L/32×32-C(如在当前的VVC中)可以带来编解码增益，与HEVC相比，预计会产生4倍的VPDU尺寸(64×64-L/32×32-C)。然而，除了四叉树(QT)编解码单元(CU)分割之外，VVC中还采用三叉树(TT)和二叉树(BT)来实现附加的编解码增益，并且TT和BT划分可以被递归地应用于128×128-L/64×64-C编解码树块(Coding Tree Block，CTU)，这据说与HEVC相比导致16倍的VPDU尺寸(128×128-L/64×64-C)。
在VVC的当前设计中，VPDU尺寸被定义为64×64-L/32×32-C。
2.6自适应参数集
VVC中采用自适应参数集(APS)来携带ALF参数。片组头包含aps_id，该aps_id当启用ALF时有条件地存在的。APS包含aps_id和ALF参数。(从JVET-M0132)为APS分配了新的NUT(NAL单元类型，如在AVC和HEVC中)值。对于VTM-4.0中的通用测试条件(即将出现)，建议仅使用aps_id＝0，并随每个图片传送APS。目前，APS ID值的范围将是0..31并且APS可以跨图片共享(并且在图片内的不同片组中可以不同)。当存在时，ID值应该是固定长度编解码的。相同图片内的不同内容不能重复使用ID值。
2.7相关工具
2.7.1扩散滤波器(Diffusion filter，DF)
在JVET-L0157中，提出了扩散滤波器，其中CU的帧内/帧间预测信号可以被扩散滤波器进一步修改。
均匀扩散滤波器。均匀扩散滤波器是通过将预测信号与固定掩码进行卷积而实现的，该固定掩码可以被给出为hI或hIV，定义如下。
除了预测信号本身之外，块的左侧和上侧的一行重构样点被用作滤波后的信号的输入，其中可以在帧间块上避免使用这些重构样点。
令pred为通过帧内或运动补偿预测获得的给定块上的预测信号。为了处理滤波器的边界点，需要将预测信号扩展为预测信号predext。这种扩展预测可以通过两种方式形成：
或者，作为中间步骤，将块的左侧和上侧的一行重构样点添加到预测信号，然后将产生的信号镜像在所有方向上。或者仅将预测信号本身镜像在所有方向上。后一个扩展用于帧间块。在这种情况下，只有预测信号本身包括扩展预测信号predext的输入。
如果要使用滤波器hI，提出用以下替换预测信号pred：
hIV*pred，
使用上述边界扩展。这里，滤波器掩码hI给出为：
Figure BDA0003192740720000401
如果要使用滤波器hIV，提出用以下替换预测信号pred：
hIV*pred。
这里，滤波器hIV给出为：
hIV＝hI*hI*hI*hI。
定向扩散滤波器。代替使用信号自适应扩散滤波器，使用仍然具有固定掩码的定向滤波器、水平滤波器hhor和垂直滤波器hver。更准确地，对应于先前部分的掩码hI的均匀扩散滤波被简单地限制为仅沿垂直方向或仅沿水平方向应用。垂直滤波器通过对预测信号应用如下固定滤波器掩码而实现，
Figure BDA0003192740720000402
并且水平滤波器通过使用转置掩码
Figure BDA0003192740720000403
而实现。
2.7.2双边滤波器(Bilateral Filter，BF)
双边滤波器在JVET-L0406中提出，并且它总是应用于具有非零变换系数并且条带量化参数大于17的亮度块。因此，不需要信令通知对双边滤波器的使用。如果应用双边滤波器，则其在逆变换之后立即对解码样点执行。此外，滤波器参数(即，权重)是从编解码信息显式推导的。
滤波过程定义为：
Figure BDA0003192740720000404
这里，P0,0是当前样点的强度，P′0,0是当前样点的修正强度，Pk,0和Wk分别是第k个邻近样点的强度和加权参数。图24中描绘了一个当前样点及其四个邻近样点(即，K＝4)的示例。
更具体地，与第k个邻近样点相关联的权重Wk(x)定义如下：
Wk(x)＝Distancek×Rangek(x)。 (2)
本文中，
Figure BDA0003192740720000411
并且
Figure BDA0003192740720000412
Figure BDA0003192740720000413
这里，σd取决于编解码模式和编解码块尺寸。当TU被进一步划分时，所描述的滤波过程被应用于帧内编解码块和帧间编解码块，以实现并行处理。
为了更好地捕捉视频信号的统计特性，并提高滤波器的性能，由等式(2)得出的权重函数由σd参数(取决于编解码模式和块分割的参数(最小尺寸)，如在表4中所列)进行调整。
表4：不同块尺寸和编解码模式的σd的值
Min(块宽度,块高度) 帧内模式 帧间模式
4 82 62
8 72 52
其它 52 32
为了进一步提高编解码性能，对于TU未被划分时的帧间编解码块，当前样点和其邻近样点之一之间的强度差由覆盖当前样点和邻近样点的两个窗口之间的代表性强度差替换。因此，滤波过程的等式被修正为：
Figure BDA0003192740720000414
这里，Pk,m和P0,m分别表示以Pk,0和P0,0为中心的窗口内的第m个样点值。在本提出中，窗口尺寸被设置为3×3。图25中描绘了覆盖P2,0和P0,0的两个窗口的示例。
2.7.3哈达玛变换域滤波器(HF)
在JVET-K0068中，1D哈达玛变换域中的环路滤波器，在重构后被应用于CU级别，并具有无乘法实施方式。提出的滤波器被应用于满足预定义条件的所有CU块，并且滤波器参数从编解码信息进行推导。
提出的滤波总是被应用于具有非零变换系数的亮度重构块，不包括4x4块，并且如果条带量化参数大于17。滤波器参数从编解码信息进行显式推导。如果应用提出的滤波器，则其在逆变换之后立即对解码样点执行。
对于来自重构块的每个像素，像素处理包括以下步骤：
ο根据扫描图案扫描包括当前像素的处理像素周围的4个邻近像素
ο读取像素的4点哈达玛变换
ο基于以下公式的频谱滤波：
Figure BDA0003192740720000421
本文中，(i)是哈达玛频谱中频谱分量的索引，R(i)是对应于索引的重构像素的频谱分量，σ是使用以下等式从编解码器量化参数QP推导的滤波参数：
σ＝2(1+0.126*(QP-27))。
扫描图案的示例在图26中示出，其中A是当前像素，而{B，C，D}是周围像素。
对于位于CU边界上的像素，扫描图案被调整以确保所有需要的像素都在当前CU内。
3现有实施方式的缺点
在现有的ILR实施方式中，可能存在以下缺点：
1)由于需要太多位，所以在片组头处发送ILR边信息是不合适的。此外，不允许不同图片/片组之间的预测。因此，对于每个片组，需要发送ILR的边信息，这可能导致低比特率下的编解码丢失，尤其是对于低分辨率。
2)ILR和DMVR(或其它新引入的编解码工具)之间的相互作用不清楚。例如，将ILR应用于帧间预测信号，以将原始信号转换到整形域，并且解码残差是在整形域中。而DMVR也依赖于预测信号来细化一个块的运动矢量。是在原始域还是在整形域中应用DMVR还不清楚。
3)ILR和屏幕内容编解码工具(例如，调色板、B-DPCM、IBC、变换跳过、变换量化旁路(transquant-bypass)、I-PCM模式)之间的相互作用不清楚。
4)依赖于亮度的色度残差缩放用于ILR。因此，引入了附加的延迟(由于亮度和色度之间的依赖性)，这对硬件设计不利。
5)VPDU的目标是在开始处理其它64×64正方形区域之前，保证完成一个64×64正方形区域的处理。然而，根据ILR的设计，对ILR的使用没有限制，这可能导致违背VPDU，因为色度依赖于亮度的预测信号。
6)当一个CU出现全零系数时，预测块和重构块仍然执行正向和逆向整形过程，这浪费了计算复杂度。
7)在JVET-N0138中，提出在APS中信令通知ILR信息。该解决方案可能会导致几个新问题。例如，设计了两种APS。但是为ILR信令通知的adaptation_parameter_set_id可以引用不包含ILR信息的APS。类似地，为自适应环路滤波(Adaptive Loop Filtering，ALF)信令通知的adaptation_parameter_set_id可以引用不包含ALF信息的APS。
4用于视频编解码的环路整形的示例方法
当前公开的技术的实施例克服了现有实施方式的缺点，从而提供具有更高编解码效率的视频编解码。基于所公开的技术的环路整形的方法可以增强现有和未来的视频编解码标准两者，在针对各种实施方式描述的以下示例中进行了阐明。下面提供的所公开的技术的示例解释了一般概念，并且不意味着被解释为限制。在示例中，除非明确相反指示，否则在这些示例中描述的各种特征可以被组合。应该注意的是，所提出的技术中的一些可以被应用于现有的候选列表构建过程。
在本文档中，解码器侧运动矢量推导(Decoder Side Motion VectorDerivation，DMVD)包括如执行运动估计以推导或细化块/子块运动信息的DMVR和FRUC以及执行按样点(sample-wise)运动细化的BIO的方法。各种示例(示例1至42)在下面的编号列表中被提供。
1.DMVD技术中的运动信息细化过程，诸如DMVR，可以取决于整形域中的信息。
a.在一个示例中，从原始域中的参考图片生成的预测块可以在用于运动信息细化之前首先被转换到整形域。
i.此外，可替代地，代价计算(例如，SAD、MR-SAD)/梯度计算在整形域中被执行。
ii.此外，可替代地，在运动信息被细化之后，对用细化的运动信息生成的预测块禁用整形过程。
b.可替代地，DMVD技术中的运动信息细化过程，诸如DMVR，可以取决于原始域中的信息。
i.可以利用原始域中的预测块调用DMVD过程。
ii.在一个示例中，在运动信息细化之后，用细化的运动信息获得的预测块或者最终预测块(例如，两个预测块的加权平均)可以被进一步转换到整形域，以生成最终重构块。
iii.此外，可替代地，在运动信息被细化之后，对用细化的运动信息生成的预测块禁用整形过程。
2.提出将当前片/片组/图片中的样点的域与用于推导局部照明补偿(LIC)参数的、从参考图片推导的样点的域对齐(在原始域中或在整形域中)。
a.在一个示例中，整形域用于推导LIC参数。
i.此外，可替代地，样点(例如，参考图片中的参考样点(经由插值或不经由插值)以及参考样点的邻近/非相邻样点(经由插值或不经由插值))可以在用于推导LIC参数之前首先被转换到整形域。
b.在一个示例中，原始域用于推导LIC参数。
i.此外，可替代地，(例如，当前片组/图片/片中的)当前块的空域邻近/非相邻样点可以在用于推导LIC参数之前首先被转换到原始域。
c.提出当在一个域中推导出LIC参数时，应该在将LIC参数应用于预测块时使用预测块的相同域。
i.在一个示例中，当调用项目符号a.时，参考块可以被转换到整形域，并且LIC模型被应用于整形参考块。
ii.在一个示例中，当调用项目符号b.时，参考块被保持在原始域中，并且LIC模型被应用于原始域中的参考块。
d.在一个示例中，LIC模型被应用于整形域中的预测块(例如，预测块首先经由正向整形被转换到整形域)。
e.在一个示例中，LIC模型被首先应用于原始域中的预测块，之后，取决于应用了LIC的预测块的最终预测块可以然后(例如，经由正向整形)被转换到整形域并用于推导重构块。
f.以上方法可以被扩展到依赖于参考图片中的空域邻近/非相邻样点和参考样点两者的其它编解码工具。
3.对于应用于预测信号的滤波器(诸如扩散滤波器(DF))，滤波器被应用于原始域中的预测块。
a.此外，可替代地，之后，整形被应用于滤波后的预测信号，以生成重构块。
b.图27中描绘了用于帧间编解码的过程的示例。
c.可替代地，滤波器被应用于整形域中的预测信号。
i.此外，可替代地，整形首先被应用于预测块；之后，滤波方法可以被进一步应用于整形预测块，以生成重构块。
ii.图28中描绘了用于帧间编解码的过程的示例。
d.滤波器参数可以取决于是否启用ILR。
4.对于应用于重构块的滤波器(例如，双边滤波器(BF)、哈达玛变换域滤波器(HF))，滤波器被应用于原始域而不是整形域中的重构块。
a.此外，可替代地，整形域中的重构块首先被转换到原始域，之后，滤波器可以被应用并用于生成重构块。
b.图29中描绘了用于帧间编解码的过程的示例。
c.可替代地，滤波器可以被应用于整形域中的重构块。
i.此外，可替代地，在应用逆向整形之前，滤波器可以首先被应用。之后，滤波后的重构块然后可以被转换到原始域。
ii.图30中描绘了用于帧间编解码的过程的示例。
d.滤波器参数可以取决于是否启用ILR。
5.提出在整形域中应用可以应用于重构块(例如，在帧内/帧间或其它种类的预测方法之后)的滤波过程。
a.在一个示例中，去方块滤波器(DBF)过程在整形域中被执行。
在这种情况下，在DBF之前不应用逆向整形。
i.在这种情况下，取决于是否应用整形，DBF参数可以不同。
ii.在一个示例中，DBF过程可以取决于是否启用整形。
1.在一个示例中，当在原始域中调用DBF时，该方法被应用。
2.可替代地，当在整形域中调用DBF时，该方法被应用。
b.在一个示例中，样点自适应偏移(Sample Adaptive Offset，SAO)滤波过程在整形域中被执行。在这种情况下，在SAO之前不应用逆向整形。
c.在一个示例中，自适应环路滤波器(Adaptive Loop Filter，ALF)滤波过程在整形域中被执行。在这种情况下，在ALF之前不应用逆向整形。
d.此外，可替代地，逆向整形可以在DBF之后被应用于块。
e.此外，可替代地，逆向整形可以在SAO之后被应用于块。
f.此外，可替代地，逆向整形可以在ALF之后被应用于块。
g.上述滤波方法可以被其它种类的滤波方法替换。
6.提出在新的参数集(诸如ILR APS)而不是片组头中信令通知ILR参数。
a.在一个示例中，片组头可以包含aps_id。此外，可替代地，aps_id在ILR被启用时有条件地存在。
b.在一个示例中，ILR APS包含aps_id和ILR参数。
c.在一个示例中，为ILR APS分配了新的NUT(NAL单元类型，如在AVC和HEVC中)值。
d.在一个示例中，ILR APS ID值的范围将是0…M(例如，M＝2K-1)。
e.在一个示例中，ILR APS可以跨图片而共享(并且可以在图片内的不同片组中不同)。
f.在一个示例中，当存在ID值时，ID值可以是固定长度编解码的。可替代地，它可以用指数哥伦布(Exponential-Golomb，EG)编解码、截断一元或其它二值化方法而编解码。
g.在一个示例中，不能以相同图片内的不同内容重新使用ID值。
h.在一个示例中，ILR APS和ALF参数的APS可以共享相同的NUT。
i.可替代地，可以用ALF参数的当前APS携带ILR参数。在这种情况下，提到ILR APS的以上方法可以由当前APS替换。
j.可替代地，ILR参数可以被携带在SPS/VPS/PPS/序列头/图片头中。
k.在一个示例中，ILR参数可以包括整形器模型信息、ILR方法的使用、色度残差缩放因子。
l.此外，可替代地，ILR参数可以在一个级别中(诸如在APS中)被信令通知，和/或对ILR的使用可以在第二级别(诸如片组头)中被进一步信令通知。
m.此外，可替代地，预测编解码可以被应用，以对具有不同APS索引的ILR参数进行编解码。
7.代替将依赖于亮度的色度残差缩放(LCRS)应用于色度块，提出将正向/逆向整形过程应用于色度块，以移除亮度和色度之间的依赖性。
a.在一个示例中，一个M段分段线性(PWL)模型和/或正向/后向查找表可以用于一个色度分量。可替代地，两个PWL模型模型和/或正向/后向查找表可以用于分别对两个色度分量进行编解码。
b.在一个示例中，可以从亮度的PWL模型模型和/或正向/后向查找表推导色度的PWL模型和/或正向/后向查找表。
i.在一个示例中，不需要进一步信令通知色度的PWL模型/查找表。
c.在一个示例中，色度的PWL模型和/或正向/后向查找表可以在SPS/VPS/APS/PPS/序列头/图片头/片组头/片头/CTU行/CTU组/区域中被信令通知。
8.在一个示例中，如何信令通知一个图片/片组的ILR参数可以取决于先前编解码的图片/片组的ILR参数。
a.例如，一个图片/片组的ILR参数可以通过一个或多个先前编解码的图片/片组的ILR参数而预测。
9.提出对特定块大小/时域层/片组类型/图片类型/编解码模式/特定类型的运动信息禁用依赖于亮度的色度残差缩放(LCRS)。
a.在一个示例中，即使当正向/逆向整形过程被应用于亮度块时，LCRS也可以不被应用于对应的色度块。
b.可替代地，即使当正向/逆向整形过程不被应用于亮度块时，LCRS仍可以被应用于对应的色度块。
c.在一个示例中，当应用跨分量线性模型(Cross-Component Linear Model，CCLM)模式时，不使用LCRS。CCLM模式包括LM、LM-A和LM-L。
d.在一个示例中，当不应用跨分量线性模型(CCLM)模式时，不使用LCRS。CCLM模式包括LM、LM-A和LM-L。
e.在一个示例中，当编解码亮度块超过一个VPDU(例如，64×64)时。
i.在一个示例中，当亮度块尺寸包含小于M*H个样点(例如，16或32或64个亮度样点)时，LCRS不被允许。
ii.可替代地，当亮度块的宽度或/和高度的最小尺寸小于或不大于X时，LCRS不被允许。在一个示例中，X被设置为8。
iii.可替代地，当亮度块的宽度或/和高度的最小尺寸不小于X时，LCRS不被允许。在一个示例中，X被设置为8。
iv.可替代地，当块的宽度>th1或>＝th1和/或亮度块的高度>th2或>＝th2时，LCRS不被允许。在一个示例中，th1和/或th2被设置为8。
1.在一个示例中，th1和/或th2被设置为128。
2.在一个示例中，th1和/或th2被设置为64。
v.可替代地，当亮度块的宽度<th1或<＝th1和/或亮度块的高度<th2或<a＝th2时，LCRS不被允许。在一个示例中，th1和/或th2被设置为8。
10.是否禁用ILR(正向整形过程和/或逆向整形过程)可以取决于系数。
a.在一个示例中，当一个块用全零系数进行编解码时，应用于预测块的正向整形的过程被跳过。
b.在一个示例中，当一个块用全零系数进行编解码时，应用于重构块的逆向整形的过程被跳过。
c.在一个示例中，当一个块仅用位于特定位置处(例如，位于一个块的左上方位置处的DC系数、位于一个块内的左上方编解码组处的系数)的一个非零系数进行编解码时，应用于预测块的正向整形的过程和/或应用于重构块的逆向整形的过程被跳过。
d.在一个示例中，当一个块仅用M个(例如，M＝1)非零系数进行编解码时，应用于预测块的正向整形的过程和/或应用于重构块的逆向整形的过程被跳过。
11.提出如果编解码块超过一个虚拟管道数据单元(VPDU)，则将ILR应用区域划分为VPDU单元。每个应用区域(例如，最大尺寸为64×64)被视为ILR操作的单独CU。
a.在一个示例中，当块的宽度>th1或>＝th1和/或块的高度>th2或>＝th2时，可以将它划分为宽度<th1或<＝th1和/或高度<th2或<＝th2的子块，并且可以对每个子块执行ILR。
i.在一个示例中，子块可以具有相同的宽度或/和高度。
ii.在一个示例中，除了位于右边界或/和底部边界处的子块之外的子块可以具有相同的宽度或/和高度。
iii.在一个示例中，除了位于左边界或/和顶部边界的子块之外的子块可以具有相同的宽度或/和高度。
b.在一个示例中，当块的尺寸(即，宽度*高度)>th3或>＝th3时，可以将其划分为尺寸<th3或<＝th3的子块，并且可以对每个子块执行ILR。
i.在一个示例中，子块可以具有相同的尺寸。
ii.在一个示例中，除了位于右边界或/和底部边界处的子块之外的子块可以具有相同的尺寸。
iii.在一个示例中，除了位于左边界或/和顶部边界处的子块之外的子块可以具有相同的尺寸。
c.可替代地，对ILR的使用仅限于特定块大小。
i.在一个示例中，当编解码块超过一个VPDU(例如，64×64)时，ILR不被允许。
ii.在一个示例中，当块尺寸包含小于M*H个样点(例如，16或32或64个亮度样点)时，ILR不被允许。
iii.可替代地，当块的宽度或/和高度的最小尺寸小于或不大于X时，ILR不被允许。在一个示例中，X被设置为8。
iv.可替代地，当块的宽度或/和高度的最小尺寸不小于X时，ILR不被允许。在一个示例中，X被设置为8。
v.可替代地，当块的宽度>th1或>＝th1和/或块的高度>th2或>＝th2时，ILR不被允许。在一个示例中，th1和/或th2被设置为8。
1.在一个示例中，th1和/或th2被设置为128。
2.在一个示例中，th1和/或th2被设置为64。
vi.可替代地，当块的宽度<th1或<＝th1和/或块的高度<th2或<a＝th2时，ILR不被允许。在一个示例中，th1和/或th2被设置为8。
12.以上方法(例如，对于色度编解码，是否禁用ILR和/或是否禁用LCRS和/或是否信令通知PWL/查找表)可以取决于颜色格式，诸如4:4:4/4:2:0。
13.可以在存在的整形器模型的指示(例如，tile_group_reshaper_model_present_flag)的条件下对启用ILR的指示(例如，tile_group_reshaper_enable_flag)进行编解码。
a.可替代地，可以在tile_group_reshaper_enable_flag的条件下对tile_group_reshaper_model_present_flag进行编解码。
b.可替代地，可以仅对包括tile_group_reshaper_model_present_flag和tile_group_reshaper_enable_flag的两个语法元素中的一个进行编解码。另一个语法元素的值被设置为等于可以被信令通知的一个语法元素。
14.不同的裁剪(clip)方法可以被应用于预测信号和重构过程。
a.在一个示例中，可以应用自适应裁剪方法，并且可以在整形域中定义要被裁剪的最大值和最小值。
b.在一个示例中，自适应裁剪可以被应用于整形域中的预测信号。
c.此外，可替代地，固定裁剪(例如，根据比特深度)可以被应用于重构块。
15.滤波器参数(诸如在DF、BF、HF中使用的参数)可以取决于是否启用ILR。
16.提出对于以调色板模式(Palette mode)而编解码的块，ILR被禁用或者被不同地应用。
a.在一个示例中，当块以调色板模式而编解码时，整形和逆向整形被跳过。
b.可替代地，当块以调色板模式而编解码时，不同的整形和逆向整形功能可以被应用。
17.可替代地，当应用ILR时，可以不同地编解码调色板模式。
a.在一个示例中，当应用ILR时，可以在原始域中对调色板模式进行编解码。
b.可替代地，当应用ILR时，可以在整形域中对调色板模式进行编解码。
c.在一个示例中，当应用ILR时，可以在原始域中信令通知调色板预测值。
d.可替代地，调色板预测值可以在整形域中被信令通知。
18.提出对于以IBC模式而编解码的块，ILR被禁用或者被不同地应用。
a.在一个示例中，当块以IBC模式而编解码时，整形和逆向整形被跳过。
b.可替代地，当块以IBC模式而编解码时，不同的整形和逆向整形被应用。
19.可替代地，当应用ILR时，可以不同地编解码IBC模式。
a.在一个示例中，当应用ILR时，可以在原始域中执行IBC。
b.可替代地，当应用ILR时，可以在整形域中执行IBC。
20.提出对于以B-DPCM模式而编解码的块，ILR被禁用或者被不同地应用。
a.在一个示例中，当块以B-DPCM模式而编解码时，整形和逆向整形被跳过。
b.可替代地，当块以B-DPCM模式而编解码时，不同的整形和逆向整形被应用。
21.可替代地，当应用ILR时，可以不同地编解码B-DPCM模式。
a.在一个示例中，当应用ILR时，可以在原始域中执行B-DPCM。
b.可替代地，当应用ILR时，可以在整形域中执行B-DPCM。
22.提出对于以变换跳过模式而编解码的块，ILR被禁用或者被不同地应用。
a.在一个示例中，当块以变换跳过模式而编解码时，整形和逆向整形被跳过。
b.可替代地，当块以变换跳过模式而编解码时，不同的整形和逆向整形可以被应用。
23.可替代地，当应用ILR时，可以不同地编解码变换跳过模式。
a.在一个示例中，当应用ILR时，可以在原始域中执行变换跳过。
b.可替代地，当应用ILR时，可以在整形域中执行变换跳过。
24.提出对于以I-PCM模式而编解码的块，ILR被禁用或者被不同地应用。
a.在一个示例中，当块以调色板模式而编解码时，整形和逆向整形被跳过。
b.可替代地，当块以调色板模式而编解码时，不同的整形和逆向整形功能可以被应用。
25.可替代地，当应用ILR时，可以不同地编解码I-PCM模式。
a.在一个示例中，当应用ILR时，可以在原始域中对I-PCM模式进行编解码。
b.可替代地，当应用ILR时，可以在整形域中对I-PCM模式进行编解码。
26.提出对于以变换量化旁路模式而编解码的块，ILR被禁用或者被不同地应用。
a.在一个示例中，当块以变换量化旁路模式而编解码时，整形和逆向整形被跳过。
27.可替代地，当块以变换量化旁路模式而编解码时，不同的整形和逆向整形功能被应用。
28.对于以上项目符号，当禁用ILR时，可以跳过正向整形和/或逆向整形过程。
a.可替代地，预测和/或重构和/或残差信号在原始域中。
b.可选地，预测和/或重构和/或残差信号在整形域中。
29.可以允许多个整形/逆向整形功能(诸如多个PWL模型)用于对一个图片/一个片组/一个VPDU/一个区域/一个CTU行/多个CU进行编解码。
a.如何从多个功能进行选择可以取决于块大小/编解码模式/图片类型/低延迟检查标志/运动信息/参考图片/视频内容等等。
b.在一个示例中，可以每SPS/VPS/PPS/序列头/图片头/片组头/片头/区域/VPDU/等等信令通知多个ILR边信息集合(例如，整形/逆向整形功能)。
i.此外，可替代地，可以利用对ILR边信息的预测编解码。
c.在一个示例中，多于一个aps_idx可以在PPS/图片头/片组头/片头/区域/VPDU/等中被信令通知。
30.在一个示例中，整形信息在新的语法集而不是VPS、SPS、PPS或APS中被信令通知。例如，整形信息在表示为inloop_reshaping_parameter_set()(IRPS，或任何其它名称)的集合中被信令通知。
a.示例性语法设计如下。添加的语法以斜体突出显示。
Figure BDA0003192740720000531
inloop_reshaping_parameter_set_id提供IRPS的标识符，以由其它语法元素参考。
注意–IRPS可以跨图片而共享，并且在图片内的不同片组中可以不同。irps_extension_flag等于0指定在IRPS RBSP语法结构中不存在irps_extension_data_flag语法元素。irps_extension_flag等于1指定在IRPS RBSP语法结构中存在irps_extension_data_flag语法元素。
irps_extension_data_flag可以具有任何值。其存在和值不影响解码器符合在本说明书的该版本中指定的配置文件。符合本说明书的该版本的解码器应该忽略所有irps_extension_data_flag语法元素。
b.示例性语法设计如下。添加的语法以斜体突出显示。
广义片组头语法和语义
Figure BDA0003192740720000532
Figure BDA0003192740720000541
tile_group_irps_id指定片组引用的IRPS的inloop_reshaping_parameter_set_id。inloop_reshaping_parameter_set_id等于tile_group_irps_id的IRPS NAL单元的TemporalId应该小于或等于编解码片组NAL单元的TemporalId。
31.在一个示例中，IRL信息与ALF信息一起在APS中被信令通知。
a.示例性语法设计如下。添加的语法以斜体突出显示。
自适应参数集语法和语义
Figure BDA0003192740720000542
b.在一个示例中，一个tile_group_aps_id在片组头中被信令通知，以指定片组引用的APS的adaptation_parameter_set_id。当前片组的ALF信息和ILR信息在指定的APS中被信令通知。
i.示例性语法设计如下。添加的语法以斜体突出显示。
Figure BDA0003192740720000543
32.在一个示例中，ILR信息和ALF信息在不同的APS中被信令通知。
a.第一ID(可以命名为tile_group_aps_id_alf)在片组头中被信令通知，以指定片组引用的第一APS的第一adaptation_parameter_set_id。当前片组的ALF信息在指定的第一APS中被信令通知。
b.第二ID(可以命名为tile_group_aps_id_irps)在片组头中被信令通知，以指定片组引用的第二APS的第二adaptation_parameter_set_id。当前片组的ILR信息在指定的第二APS中被信令通知。
c.在一个示例中，第一APS必须在一致性(conformance)比特流中具有ALF信息；
d.在一个示例中，第二APS必须在一致性比特流中具有ILR信息；
e.示例性语法设计如下。添加的语法以斜体突出显示。
Figure BDA0003192740720000551
Figure BDA0003192740720000552
33.在一个示例中，具有指定的adaptation_parameter_set_id的一些APS必须具有ALF信息。再例如，具有指定的adaptation_parameter_set_id的一些APS必须具有ILR信息。
a.例如，adaptation_parameter_set_id等于2N的APS必须具有ALF信息。N是任何整数；
b.例如，adaptation_parameter_set_id等于2N+1的APS必须具有ILR信息。N是任何整数；
c.示例性语法设计如下。添加的语法以斜体突出显示。
Figure BDA0003192740720000561
Figure BDA0003192740720000562
i.例如，2*tile_group_aps_id_alf指定片组引用的第一APS的第一adaptation_parameter_set_id。当前片组的ALF信息在指定的第一APS中被信令通知。
ii.例如，2*tile_group_aps_id_irps+1指定片组引用的第二APS的第二adaptation_parameter_set_id。当前片组的ILR信息在指定的第二APS中被信令通知。
34.在一个示例中，片组不能引用在指定类型的网络抽象层(NetworkAbstraction Layer，NAL)单元之前信令通知的APS(或IRPS)，该指定类型的网络抽象层(NAL)单元在当前片组之前被信令通知。
a.在一个示例中，片组不能引用在指定类型的片组之前信令通知的APS(或IRPS)，该指定类型的片组在当前片组之前被信令通知。
b.例如，片组不能引用在SPS之前信令通知的APS(或IRPS)，该SPS在当前片组之前被信令通知。
c.例如，片组不能引用在PPS之前信令通知的APS(或IRPS)，该PPS在当前片组之前被信令通知。
d.例如，片组不能引用在访问单元分隔符NAL(Access Unit Delimiter，AUD)之前信令通知的APS(或IRPS)，该访问单元分隔符NAL在当前片组之前被信令通知。
e.例如，片组不能引用在比特流结束(End of Bitstream，EoB)NAL之前信令通知的APS(或IRPS)，该比特流结束NAL在当前片组之前被信令通知。
f.例如，片组不能引用在序列结束(End of Sequence，EoS)NAL之前信令通知的APS(或IRPS)，该序列结束NAL在当前片组之前被信令通知。
g.例如，片组不能引用在瞬时解码刷新(Instantaneous Decoding Refresh，IDR)NAL之前信令通知的APS(或IRPS)，该瞬时解码刷新NAL在当前片组之前被信令通知。
h.例如，片组不能引用在完全随机访问(Clean Random Access，CRA)NAL之前信令通知的APS(或IRPS)，该完全随机访问NAL在当前片组之前被信令通知。
i.例如，片组不能引用在帧内随机访问点(Intra Random Access Point，IRAP)访问单元之前信令通知的APS(或IRPS)，该帧内随机访问点访问单元在当前片组之前被信令通知。
j.例如，片组不能引用在I片组(或图片、或条带)之前信令通知的APS(或IRPS)，该I片组(或图片、或条带)在当前片组之前被信令通知。
k.也可以在APS或IRPS中携带ILR信息时应用在IDF-P1903237401H和IDF-P1903234501H中公开的方法。
35.一致性比特流应该满足：当对一个视频数据单元(诸如序列)启用环路整形方法时，应该定义默认ILR参数，诸如默认模型。
a.当sps_lmcs_enabled_flag被设置为1时，sps_lmcs_default_model_present_flag应该被设置为1。
b.默认参数可以在ILR启用标志而不是默认模型存在标志(诸如sps_lmcs_default_model_present_flag)的条件下被信令通知。
c.对于每个片组，默认模型使用标志(诸如tile_group_lmcs_use_default_model_flag)可以在不引用SPS默认模型使用标志的情况下被信令通知。
d.一致性比特流应该满足：当在ILR的对应APS类型中没有ILR信息并且一个视频数据单元(诸如片组)被迫使用ILR技术时，应该利用默认模型。
e.可替代地，一致性比特流应该满足：当在ILR的对应APS类型中没有ILR信息并且一个视频数据单元(诸如片组)被迫使用ILR技术(诸如tile_group_lmcs_enable_flag等于1)时，使用默认模型的指示应该为真，例如，tile_group_lmcs_use_default_model_flag应该为1。
f.限制在于：默认ILR参数(诸如默认模型)应该在视频数据单元(诸如SPS)中被传送。
i.此外，可替代地，当指示对ILR的使用的SPS标志为真时，默认ILR参数应该被传送。
g.限制在于：有至少一个ILR APS在视频数据单元(诸如SPS)中被传送。
i.在一个示例中，至少一个ILR APS包含默认ILR参数(诸如默认模型)。
36.默认ILR参数可以由一个标志指示。当该标志告知利用了默认ILR参数时，不需要进一步信令通知ILR数据。
37.可以在没有信令通知默认ILR参数时预定义该默认ILR参数。例如，默认ILR参数可以对应于身份映射。
38.时域层信息可以与ILR参数一起被信令通知(诸如在ILR APS中)。
a.在一个示例中，时域层索引可以在lmcs_data()中被信令通知。
b.在一个示例中，时域层索引减1可以在lmcs_data()中被信令通知。
c.此外，可替代地，当对一个片组/片进行编解码/解码时，它被限制为引用与更小或相等的时域层索引相关联的那些ILR APS。
d.可替代地，当对一个片组/片进行编解码/解码时，它被限制为引用与更小的时域层索引相关联的那些ILR APS。
e.可替代地，当对一个片组/片进行编解码/解码时，它被限制为引用与更大的时域层索引相关联的那些ILR APS。
f.可替代地，当对一个片组/片进行编解码/解码时，它被限制为引用与更大或相等的时域层索引相关联的那些ILR APS。
g.可替代地，当对一个片组/片进行编解码/解码时，它被限制为引用与相等的时域层索引相关联的那些ILR APS。
h.在一个示例中，是否应用以上限制可以取决于一条信息，该一条信息可以被信令通知给解码器或者由解码器推断。
39.时域层信息可以与ALF参数一起被信令通知(诸如在ALF APS中)。
a.在一个示例中，时域层索引可以在alf_data()中被信令通知。
b.在一个示例中，时域层索引减1可以在alf_data()中被信令通知。
c.此外，可替代地，当对一个片组/片或者一个片/片组内的一个CTU进行编解码/解码时，它被限制为引用与更小或相等的时域层索引相关联的那些ALF APS。
d.可替代地，当对一个片组/片进行编解码/解码时，它被限制为引用与更小的时域层索引相关联的那些ALF APS。
e.可替代地，当对一个片组/片进行编解码/解码时，它被限制为引用与更大的时域层索引相关联的那些ALF APS。
f.可替代地，当对一个片组/片进行编解码/解码时，它被限制为引用与更大或相等的时域层索引相关联的那些ALF APS。
g.可替代地，当对一个片组/片进行编解码/解码时，它被限制为引用与相等的时域层索引相关联的那些ALF APS。
h.在一个示例中，是否应用以上限制可以取决于一条信息，该一条信息可以被信令通知给解码器或者由解码器推断。
40.在一个示例中，原始样点和整形样点之间的整形映射可以不是正关系，即，一个更大值不允许被映射到更小值。
a.例如，原始样点和整形样点之间的整形映射可以是负关系，其中对于两个值，原始域中的更大值可以被映射到整形域中的更小值。
41.在一致性比特流中，语法元素aps_params_type仅被允许为几个预定义的值，诸如0和1。
a.在另一个示例中，它仅被允许为0和7。
42.在一个示例中，如果ILR可以被应用(例如，sps_lmcs_enabled_flag为真)，则默认ILR信息必须被信令通知。
5所公开的技术的示例实施方式
在一些实施例中，当tile_group_reshaper_model_present_flag被启用时，tile_group_reshaper_enable_flag有条件地存在。添加的语法以斜体突出显示。
7.3.3.1广义片组头语法中
Figure BDA0003192740720000601
可替代地，当tile_group_reshaper_enable_flag被启用时，tile_group_reshaper_model_present_flag有条件地存在。
Figure BDA0003192740720000611
可替代地，仅两个语法元素tile_group_reshaper_model_present_flag或tile_group_reshaper_enable_flag中的一个可以被信令通知。不被信令通知的一个语法元素被推断为等于可以被信令通知的一个语法元素。在这种情况下，一个语法元素控制对ILR的使用。
可替代地，一致性比特流要求tile_group_reshaper_model_present_flag应该等于tile_group_reshaper_enable_flag。可替代地，tile_group_reshaper_model_present_flag和/或tile_group_reshaper_enable_flag和/或tile_group_reshaper_model()和/或tile_group_reshaper_chroma_residual_scale_flag可以在APS而不是片组头中被信令通知。
JVET-N0805的顶部上的实施例#2。添加的语法以斜体突出显示。
Figure BDA0003192740720000612
...
sps_lmcs_enabled_flag等于1指定在编解码视频序列(CVS)中使用亮度映射与色度缩放。sps_lmcs_enabled_flag等于0指定不在CVS中使用亮度映射与色度缩放。
sps_lmcs_default_model_present_flag等于1指定默认lmcs数据存在于该SPS中。sps_lmcs_default_model_flag等于0指定默认lmcs数据不存在于该SPS中。当不存在时，sps_lmcs_default_model_present_flag的值被推断为等于0。
...
Figure BDA0003192740720000621
aps_params_type指定在APS中携带的APS参数的类型，如下表所指定的：
表7-x–APS参数类型码和APS参数的类型
Figure BDA0003192740720000622
Figure BDA0003192740720000631
ALF APS：aps_params_type等于ALF_APS的APS。
LMCS APS：aps_params_type等于LMCS_APS的APS。
进行以下语义改变：
...
tile_group_alf_aps_id指定片组引用的ALF APS的adaptation_parameter_set_id。adaptation_parameter_set_id等于tile_group_alf_aps_id的ALF APS NAL单元的TemporalId应该小于或等于编解码片组NAL单元的TemporalId。
当具有相同的adaptation_parameter_set_id值的多个ALF APS由相同图片的两个或多个片组引用时，具有相同的adaptation_parameter_set_id值的多个ALF APS应该具有相同的内容。
...
tile_group_lmcs_enabled_flag等于1指定对当前片组启用亮度映射与色度缩放。tile_group_lmcs_enabled_flag等于0指定不对当前片组启用亮度映射与色度缩放。当tile_group_lmcs_enable_flag不存在时，它被推断为等于0。
tile_group_lmcs_use_default_model_flag等于1指定用于片组的亮度映射与色度缩放使用默认lmcs模型。
tile_group_lmcs_use_default_model_flag等于0指定用于片组的亮度映射与色度缩放使用由tile_group_lmcs_aps_id引用的LMCS APS中的lmcs模型。当tile_group_reshaper_use_default_model_flag不存在时，它被推断为等于0。
tile_group_lmcs_aps_id指定片组引用的LMCS APS的adaptation_parameter_set_id。
adaptation_parameter_set_id等于tile_group_lmcs_aps_id的LMCS APS NAL单元的TemporalId应该小于或等于编解码片组NAL单元的TemporalId。
当具有相同的adaptation_parameter_set_id值的多个LMCS APS由相同图片的两个或多个片组引用时，具有相同的adaptation_parameter_set_id值的多个LMCS APS应该具有相同的内容。
tile_group_chroma_residual_scale_flag等于1指定对当前片组启用色度残差缩放。tile_group_chroma_residual_scale_flag等于0指定不对当前片组启用色度残差缩放。当tile_group_chroma_residual_scale_flag不存在时，它被推断为等于0。
...
...
亮度映射与色度缩放数据语法
Figure BDA0003192740720000641
上面描述的示例可以并入下面描述的方法(例如，如图31A至图39E所示的方法，其可以在视频解码器或视频编码器处被实施)的上下文。
图31A示出了用于视频处理的示例性方法的流程图。方法3100包括，在步骤3110处，对于视频的当前视频块和视频的编解码表示之间的转换，基于第一域或第二域中的样点来执行运动信息细化过程。方法3100包括，在步骤3120处，基于运动信息细化过程的结果来执行该转换。在一些实施方式中，在该转换期间，样点是针对当前视频块而使用未细化的运动信息从第一域中的第一预测块获得的，至少第二预测块使用用于确定重构块的细化的运动信息在第二域中被生成，并且当前视频块的重构样点基于至少第二预测块而生成。
图31B示出了用于视频处理的示例性方法的流程图。方法3120包括，在步骤3122处，基于第二域中的至少一个预测块来重构当前视频块。在一些实施方式中，在该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。在一些实施方式中，编解码工具使用至少基于视频的视频区域中的第一样点集合和当前视频块的参考图片中的第二样点集合而推导的参数在该转换期间被应用。在一些实施方式中，第一样点的域和第二样点的域是对齐的。
图32A示出了用于视频处理的示例性方法的流程图。方法3210包括，在步骤3212处，基于先前视频区域的编解码模式的一个或多个参数，为视频的当前视频区域的当前视频块确定当前视频块的编解码模式的参数。方法3210还包括，在步骤3214处，基于该确定，对当前视频块执行编解码以生成视频的编解码表示。在一些实施方式中，编解码模式的参数被包括在视频的编解码表示中的参数集中。在一些实施方式中，执行编解码包括将第一域中的当前视频块的表示变换为第二域中的当前视频块的表示。在一些实施方式中，在使用编解码模式执行编解码期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
图32B示出了用于视频处理的示例性方法的流程图。方法3220包括，在步骤3222处，接收包括参数集的视频的编解码表示，其中该参数集包括编解码模式的参数信息。方法3220还包括，在步骤3224处，通过使用参数信息来执行对编解码表示的解码，以从编解码表示生成视频的当前视频区域的当前视频块。在一些实施方式中，编解码模式的参数信息基于先前视频区域的编解码模式的一个或多个参数。在一些实施方式中，在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
图32C示出了用于视频处理的示例性方法的流程图。方法3230包括，在步骤3232处，执行视频的当前视频块和视频的编解码表示之间的转换。在一些实施方式中，该转换包括将滤波操作应用于第一域中的或不同于第一域的第二域中的预测块。
图32D示出了用于视频处理的示例性方法的流程图。方法3240包括，在步骤3242处，执行视频的当前视频块和视频的编解码表示之间的转换。在一些实施方式中，在该转换期间，为当前视频块确定了最终重构块。在一些实施方式中，临时重构块使用预测方法而生成并被表示在第二域中。
图33示出了用于视频处理的示例性方法的流程图。方法3300包括，在步骤3302处，执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，编解码表示中的参数集包括编解码模式的参数信息。
图34A示出了用于视频处理的示例性方法的流程图。方法3410包括，在步骤3412处，执行作为色度块的视频的当前视频块和视频的编解码表示之间的转换，其中，在该转换期间，当前视频块基于第一域和第二域而构建，并且其中，该转换还包括将正向整形过程和/或逆向整形过程应用于当前视频块的一个或多个色度分量。
图34B示出了用于视频处理的示例性方法的流程图。方法3420包括，在步骤3422处，执行视频的当前视频色度块和视频的编解码表示之间的转换，其中，执行该转换包括：基于规则来确定依赖于亮度的色度残差缩放(LCRS)被启用还是被禁用，以及基于该确定来重构当前视频色度块。
图35A示出了用于视频处理的示例性方法的流程图。方法3510包括，在步骤3512处，对于视频的当前视频块和视频的编解码表示之间的转换，基于当前视频块的一个或多个系数值来确定是否禁用对编解码模式的使用。方法3510还包括，在步骤3514处，基于该确定来执行该转换。在一些实施方式中，在使用编解码模式的该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
图35B示出了用于视频处理的示例性方法的流程图。方法3520包括，在步骤3522处，对于视频的超过视频的虚拟管道数据单元(VPDU)的当前视频块之间的转换，将当前视频块分为区域。方法3520还包括，在步骤3524处，通过将编解码模式分开应用于每个区域来执行该转换。在一些实施方式中，在通过应用编解码模式的该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
图35C示出了用于视频处理的示例性方法的流程图。方法3530包括，在步骤3532处，对于视频的当前视频块和视频的编解码表示之间的转换，基于当前视频块的尺寸或颜色格式来确定是否禁用对编解码模式的使用。方法3530还包括，在步骤3534处，基于该确定来执行该转换。在一些实施方式中，在使用编解码模式的该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
图35D示出了用于视频处理的示例性方法的流程图。方法3540包括，在步骤3542处，执行视频的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，编解码表示中的至少一个语法元素提供对编解码模式的使用的指示和整形器模型的指示。
图35E示出了用于视频处理的示例性方法的流程图。方法3550包括，在步骤3552处，确定对视频的当前视频块和视频的编解码表示之间的转换禁用了编解码模式。方法3550还包括，在步骤3554处，基于该确定来有条件地跳过正向整形和/或逆向整形。在一些实施方式中，在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
图35F示出了用于视频处理的示例性方法的流程图。方法3560包括，在步骤3562处，执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，多个正向整形和/或多个逆向整形在视频区域的整形模式下被应用。
图36A示出了用于视频处理的示例性方法的流程图。方法3610包括，在步骤3612处，确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式。方法3610还包括，在步骤3614处，使用调色板模式来执行该转换，其中在该调色板模式中，至少代表性样点值的调色板用于当前视频块。在一些实施方式中，在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
图36B示出了用于视频处理的示例性方法的流程图。方法3620包括，在步骤3622处，对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在调色板模式下编解码的，其中在该调色板模式下，至少代表性样点值的调色板用于对当前视频块进行编解码。方法3620还包括，在步骤2624处，由于该确定，通过禁用编解码模式来执行该转换。在一些实施方式中，当编解码模式被应用于视频块时，视频块基于以依赖于亮度的方式而缩放的色度残差进行构建。
图36C示出了用于视频处理的示例性方法的流程图。方法3630包括，在步骤3632处，执行视频的第一视频块和视频的编解码表示之间的转换，其中，该转换使用第一编解码模式和调色板编解码模式，其中在该调色板编解码模式下，至少代表性像素值的调色板用于对当前视频块进行编解码。方法3630还包括，在步骤3634处，执行在没有使用调色板编解码模式的情况下被编解码的视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块的该转换使用第一编解码模式。当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。在一些实施方式中，第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
图37A示出了用于视频处理的示例性方法的流程图。方法3710包括，在步骤3712处，确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式。方法3710还包括，在步骤3714处，使用帧内块复制模式来执行该转换，其中该帧内块复制模式至少使用指向包括当前视频块的图片的块矢量来生成预测块。在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
图37B示出了用于视频处理的示例性方法的流程图。方法3720包括，在步骤3722处，对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在帧内块复制(IBC)模式下编解码的，其中该帧内块复制模式至少使用指向包含当前视频块的视频帧的块矢量来生成预测块，以用于对当前视频块进行编解码。方法3720还包括，在步骤3724处，由于该确定，通过禁用编解码模式来执行该转换。当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
图37C示出了用于视频处理的示例性方法的流程图。方法3730包括，在步骤3732处，执行视频的第一视频块和视频的编解码表示之间的转换，其中，该转换使用帧内块复制模式和第一编解码模式，其中该帧内块复制模式至少使用指向包含当前视频块的视频帧的块矢量来生成预测块。方法3730还包括，在步骤3734处，执行在没有使用帧内块复制模式的情况下被编解码的视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块的该转换使用第一编解码模式。当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
图38A示出了用于视频处理的示例性方法的流程图。方法3810包括，在步骤3812处，确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式。方法3810还包括，在步骤3814处，使用基于块的增量脉冲编解码调制(BDPCM)模式来执行该转换。在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
图38B示出了用于视频处理的示例性方法的流程图。方法3820包括，在步骤3822处，对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是使用基于块的增量脉冲编解码调制(BDPCM)模式编解码的。方法3820还包括，在步骤3824处，由于该确定，通过禁用编解码模式来执行该转换。当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
图38C示出了用于视频处理的示例性方法的流程图。方法3830包括，在步骤3832处，执行视频的第一视频块和视频的编解码表示之间的转换，其中，第一视频块的该转换使用第一编解码模式和基于块的增量脉冲编解码调制(BDPCM)模式。方法3830还包括，在步骤3834处，执行视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块在没有使用BDPCM模式的情况下被编解码，并且第二视频块的该转换使用第一编解码模式。当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
图38D示出了用于视频处理的示例性方法的流程图。方法3840包括，在步骤3842处，确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式。该方法还包括，在步骤3844处，使用变换跳过模式来执行该转换，其中在该变换跳过模式下，对预测残差的变换在对当前视频块进行编解码时被跳过。在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
图38E示出了用于视频处理的示例性方法的流程图。方法3850包括，在步骤3852处，对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在变换跳过模式下编解码的，其中在该变换跳过模式下，对预测残差的变换在对当前视频块进行编解码时被跳过。方法3850还包括，在步骤3854处，由于该确定，通过禁用编解码模式来执行该转换。当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
图38F示出了用于视频处理的示例性方法的流程图。方法3860包括，在步骤3862处，执行视频的第一视频块和视频的编解码表示之间的转换，其中，第一视频块的该转换使用第一编解码模式和变换跳过模式，其中在该变换跳过模式下，对预测残差的变换在对当前视频块进行编解码时被跳过。方法3860还包括，在步骤3864处，执行视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块在没有使用变换跳过模式的情况下被编解码，并且第二视频块的该转换使用第一编解码模式。当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
图38G示出了用于视频处理的示例性方法的流程图。方法3870包括，在步骤3872处，确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式。方法3870还包括，在步骤3874处，使用帧内脉冲编解码调制模式来执行该转换，其中在该帧内脉冲编解码调制模式下，当前视频块在没有应用变换和变换域量化的情况下被编解码。在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
图38H示出了用于视频处理的示例性方法的流程图。方法3880包括，在步骤3882处，对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在帧内脉冲编解码调制模式下编解码的，其中在该帧内脉冲编解码调制模式下，当前视频块在没有应用变换和变换域量化的情况下被编解码。方法3880还包括，在步骤3884处，由于该确定，通过禁用编解码模式来执行该转换。当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
图38I示出了用于视频处理的示例性方法的流程图。方法3890包括，在步骤3892处，执行视频的第一视频块和视频的编解码表示之间的转换，其中，第一视频块的该转换使用第一编解码模式和帧内脉冲编解码调制模式，其中在该帧内脉冲编解码调制模式下，当前视频块在没有应用变换和变换域量化的情况下被编解码。方法3890还包括，在步骤3894处，执行视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块在没有使用帧内脉冲编解码调制模式的情况下被编解码，并且第二视频块的该转换使用第一编解码模式。当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
图38J示出了用于视频处理的示例性方法的流程图。方法3910包括，在步骤3912处，确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式。方法3910还包括，在步骤3914处，使用修改的变换量化旁路模式来执行该转换，其中在该修改的变换量化旁路模式下，当前视频块在没有变换和量化的情况下被无损编解码。在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
图38K示出了用于视频处理的示例性方法的流程图。方法3920包括，在步骤3922处，对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在变换量化旁路模式下编解码的，其中在该变换量化旁路模式下，当前视频块在没有变换和量化的情况下被无损编解码。方法3920还包括，在步骤3924处，由于该确定，通过禁用编解码模式来执行该转换。当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
图38L示出了用于视频处理的示例性方法的流程图。方法3930包括，在步骤3932处，执行视频的第一视频块和视频的编解码表示之间的转换，其中，第一视频块的该转换使用第一编解码模式和变换量化旁路模式，其中在该变换量化旁路模式下，当前视频块在没有变换和量化的情况下被无损编解码。方法3930还包括，在步骤3934处，执行视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块在没有使用变换量化旁路模式的情况下被编解码，并且第二视频块的该转换使用第一编解码模式。当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
图39A示出了用于视频处理的示例性方法的流程图。方法3940包括，在步骤3942处，执行视频的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，用于编解码模式的信息在不同于序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)或用于携带自适应环路滤波(ALF)参数的自适应参数集(APS)的参数集中被信令通知。
图39B示出了用于视频处理的示例性方法的流程图。方法3950包括，在步骤3952处，执行视频的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，用于编解码模式的信息与自适应环路滤波(ALF)信息一起在自适应参数集(APS)中被信令通知，其中，用于编解码模式的信息和ALF信息被包括在一个NAL单元中。
图39C示出了用于视频处理的示例性方法的流程图。方法3960包括，在步骤3962处，执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，用于编解码模式的信息在与用于信令通知自适应环路滤波(ALF)信息的第二类型的自适应参数集(APS)不同的第一类型的APS中被信令通知。
图39D示出了用于视频处理的示例性方法的流程图。方法3970包括，在步骤3972处，执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，视频区域不被允许引用自适应参数集或在用于处理视频的指定类型的数据结构之前信令通知的参数集，并且其中，指定类型的数据结构在视频区域之前被信令通知。
图39E示出了用于视频处理的示例性方法的流程图。方法3980包括，在步骤3982处，执行视频的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，包括用于处理视频的参数的参数集的语法元素在一致性比特流中具有预定义值。
图40A是视频处理装置4000的框图。装置4000可以用于实施本文描述的方法中的一种或多种。装置4000可以体现在智能电话、平板电脑、计算机、物联网(Internet ofThings，IoT)接收器等中。装置4000可以包括一个或多个处理器4002、一个或多个存储器4004、以及视频处理硬件4006。(多个)处理器4002可以被配置为实施本文档中描述的一种或多种方法(包括但不限于如图31A至图39E所示的方法)。存储器(多个存储器)4004可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件4006可以用于以硬件电路实施本文档中描述的一些技术。
图40B是可以在其中实施所公开的技术的视频处理系统的框图的另一示例。图40B是示出可以在其中实施本文公开的各种技术的示例视频处理系统4100的框图。各种实施方式可以包括系统4100的一些或所有组件。系统4100可以包括用于接收视频内容的输入4102。视频内容可以以例如8或10比特多分量像素值的原始或未压缩格式而接收，或者可以是压缩或编码格式。输入4102可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(Passive Optical Network，PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。
系统4100可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件4104。编解码组件4104可以将来自输入4102的视频的平均比特率减小到编解码组件4104的输出，以产生视频的编解码表示。编解码技术因此有时被称为视频压缩或视频转码技术。编解码组件4104的输出可以被存储，或者经由如由组件4106表示的通信连接而发送。在输入4102处接收的视频的存储或通信传送的比特流(或编解码)表示可以由组件4108用于生成像素值或传送到显示接口4110的可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是将理解，编解码工具或操作在编码器处被使用，并且反转编解码结果的对应的解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(Universal SerialBus，USB)、或高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)、或显示端口(Displayport)等。存储接口的示例包括SATA(Serial Advanced TechnologyAttachment，串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能电话、或能够执行数字数据处理和/或视频显示的其他设备。
在一些实施例中，视频编解码方法可以使用如关于图40A或图40B所述的在硬件平台上实施的装置而实施。
可以使用以下基于条款的格式来描述各种技术和实施例。
第一条款集合描述了在包括例如示例1和2的先前章节中列出的所公开的技术的特定特征和方面。
1.一种用于视频处理的方法，包括：对于视频的当前视频块和视频的编解码表示之间的转换，基于第一域或第二域中的样点来执行运动信息细化过程；以及基于运动信息细化过程的结果来执行该转换，其中，在该转换期间，样点是针对当前视频块而使用未细化的运动信息从第一域中的第一预测块获得的，至少第二预测块使用用于确定重构块的细化的运动信息在第二域中被生成，并且当前视频块的重构样点基于至少第二预测块而生成。
2.根据条款1所述的方法，其中，至少第二预测块是使用细化的运动信息从第一域中的参考图片中的样点生成的，并且将第一域转换到第二域的整形过程被进一步应用于至少第二预测块。
3.根据条款2所述的方法，在整形过程之后，第二预测块在用于生成当前视频块的重构样点之前被转换为第二域中的表示。
4.根据条款1所述的方法，其中，执行运动信息细化过程是基于解码器侧运动矢量推导(DMVD)方法。
5.根据条款4所述的方法，其中，DMVD方法包括解码器侧运动矢量细化(DMVR)或帧速率上转换(FRUC)或双向光流(BIO)。
6.根据条款4所述的方法，其中，DMVD过程中的代价计算或梯度计算基于第一域中的样点而执行。
7.根据条款6所述的方法，其中，代价计算包括绝对差之和(SAD)或绝对差的均值移除和(MR-SAD)。
8.根据条款1所述的方法，其中，运动信息细化过程基于从第一域中的至少第一预测块中的样点被转换到第二域的样点而执行，并且其中，在获得细化的运动信息之后，对至少第二预测块禁用了编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
9.根据条款4所述的方法，其中，运动信息细化过程基于第一域中的至少第一预测块而执行，并且其中，运动信息细化过程是利用第一域中的第一预测块而调用的。
10.根据条款1所述的方法，其中，最终预测块被生成作为两个第二预测块的加权平均，并且当前视频块的重构样点是基于最终预测块而生成的。
11.根据条款1所述的方法，其中，运动信息细化过程基于第一域中的预测块而执行，并且其中，在执行运动信息细化过程之后，对至少第二预测块禁用了编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
12.一种用于视频处理的方法，包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，在该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，其中，编解码工具使用至少基于视频的视频区域中的第一样点集合和当前视频块的参考图片中的第二样点集合而推导的参数在该转换期间被应用，并且其中，第一样点的域和第二样点的域是对齐的。
13.根据条款12所述的方法，其中，编解码工具包括在该转换期间使用当前视频块中的照明变化的线性模型的局部照明补偿(LIC)模型，并且LIC模型基于参数而应用。
14.根据条款12所述的方法，其中，视频区域包括当前片、片组或图片。
15.根据条款13所述的方法，其中，LIC模型被应用于第二域中的预测块，并且其中，第一样点集合和第二样点集合在第二域中。
16.根据条款13所述的方法，其中，参考块被转换到第二域，并且LIC模型被应用于第二域中的预测块。
17.根据条款15所述的方法，其中，第一样点集合和第二样点集合在用于推导参数之前被转换到第二域。
18.根据条款17所述的方法，其中，第二样点集合包括参考图片中的参考样点以及参考样点的邻近和/或非相邻样点。
19.根据条款13所述的方法，其中，LIC模型被应用于第一域中的预测块，并且其中，第一样点集合和第二样点集合在第一域中。
20.根据条款13所述的方法，其中，参考块被保持在第一域中，并且LIC模型被应用于第一域中的预测块。
21.根据条款19所述的方法，其中，第一样点集合在用于推导参数之前被转换到第一域。
22.根据条款21所述的方法，其中，第一样点集合包括当前视频块的空域邻近和/或非相邻样点。
23.根据条款12所述的方法，其中，用于推导参数的域被用于将参数应用于预测块。
24.根据条款13所述的方法，其中，LIC模型被应用于第二域中的预测块。
25.根据条款20或21所述的方法，其中，在LIC模型被应用于第一域中的预测块之后，取决于预测块的最终预测块被转换到第二域。
26.根据条款1-25中任一项所述的方法，其中，第一域是原始域，并且第二域是使用将亮度样点映射到特定值的亮度映射与色度缩放(LMCS)方法的整形域。
27.根据条款26所述的方法，其中，LMCS使用分段线性模型将亮度样点映射到特定值。
28.根据条款1-27中任一项所述的方法，其中，执行该转换包括从当前块生成编解码表示。
29.根据条款1-27中任一项所述的方法，其中，执行该转换包括从编解码表示生成当前块。
30.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器执行时使得处理器实施根据条款1至29中任一项所述的方法。
31.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据条款1至29中任一项所述的方法的程序代码。
第二条款集合描述了在包括例如示例3-5、8和15的先前章节中列出的所公开的技术的特定特征和方面。
1.一种用于视频处理的方法，包括：基于先前视频区域的编解码模式的一个或多个参数，为视频的当前视频区域的当前视频块确定当前视频块的编解码模式的参数；以及基于该确定，对当前视频块执行编解码以生成视频的编解码表示，并且其中，编解码模式的参数被包括在视频的编解码表示中的参数集中，并且其中，执行编解码包括将第一域中的当前视频块的表示变换为第二域中的当前视频块的表示，并且其中，在使用编解码模式执行编解码期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
2.一种用于视频处理的方法，包括：接收包括参数集的视频的编解码表示，其中该参数集包括编解码模式的参数信息；以及通过使用参数信息来执行对编解码表示的解码，以从编解码表示生成视频的当前视频区域的当前视频块，并且其中，编解码模式的参数信息基于先前视频区域的编解码模式的一个或多个参数，其中，在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
3.根据条款1或2所述的方法，其中，参数集不同于片组头。
4.根据条款1或2所述的方法，其中，参数集是自适应参数集(APS)。
5.根据条款1或2所述的方法，其中，当前视频区域包括视频的视频图片的一个片或视频的视频图片；
6.根据条款1或2所述的方法，其中，先前视频区域包括图片的一个或多个片。
7.根据条款1或2所述的方法，其中，先前视频区域包括视频的一个或多个视频图片。
8.一种用于视频处理的方法，包括：执行视频的当前视频块和视频的编解码表示之间的转换，并且其中，该转换包括将滤波操作应用于第一域中的或不同于第一域的第二域中的预测块。
9.根据条款8所述的方法，其中，对第一域中的预测块执行了滤波操作以生成滤波后的预测信号，编解码模式被应用于滤波后的预测信号以生成在第二域中的整形预测信号，并且当前视频块使用整形预测信号而构建。
10.根据条款8所述的方法，其中，编解码模式在滤波操作的应用之前被应用于预测块以生成在第二域中的整形预测信号，并且滤波操作使用整形预测信号而执行以生成滤波后的预测信号，并且当前视频块使用滤波后的预测信号而构建。
11.根据条款9或10的方法，其中，在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
12.根据条款8-11中任一项所述的方法，其中，滤波操作包括扩散滤波器。
13.根据条款8-11中任一项所述的方法，其中，与滤波操作相关联的参数取决于滤波操作被应用于第一域还是第二域中的块。
14.根据条款8所述的方法，其中，该转换还包括：在应用滤波操作之前，将运动补偿预测应用于当前视频块以获得预测信号；在应用滤波操作之后，将编解码模式应用于滤波后的预测信号以生成整形预测信号，该滤波后的预测信号通过将滤波操作应用于预测信号而生成；以及使用整形预测信号来构建当前视频块。
15.根据条款8所述的方法，其中，该转换还包括：在应用滤波操作之前，将运动补偿预测应用于当前视频块以获得预测信号；将编解码模式应用于预测信号以生成整形预测信号；以及在应用滤波操作之后，使用滤波后的整形预测信号来构建当前视频块，其中，该滤波后的整形预测信号通过将滤波操作应用于整形预测信号而生成。
16.一种用于视频处理的方法，包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，在该转换期间，为当前视频块确定了最终重构块，并且其中，临时重构块使用预测方法而生成并被表示在第二域中。
17.根据条款16所述的方法，其中，该转换还包括：将运动补偿预测应用于当前视频块以获得预测信号；将正向整形应用于预测信号，以生成用于生成临时重构块的整形预测信号；以及将逆向整形应用于临时重构块以获得逆重构块，并且其中，滤波被应用于逆重构块以生成最终重构块。
18.根据条款16所述的方法，其中，该转换还包括：将运动补偿预测应用于当前视频块以获得预测信号；将正向整形应用于预测信号，以生成用于生成临时重构块的整形预测信号；将逆向整形应用于滤波后的重构块以获得最终重构块，并且其中，该滤波后的重构块通过将滤波应用于临时重构块而生成。
19.根据条款16至18中任一项所述的方法，其中，该转换还包括应用将亮度样点映射到特定值的依赖于亮度的色度残差缩放(LMCS)过程。
20.根据条款16所述的方法，其中，滤波器被应用于第一域中的临时重构块，第二域中的临时重构块在滤波器的应用之前首先使用逆向整形过程而转换到第一域，并且最终重构块取决于滤波后的临时重构块。
21.根据条款16所述的方法，其中，滤波器被直接应用于第二域中的临时重构块，并且之后，逆向整形操作被应用，以生成最终重构块。
22.根据条款16所述的方法，其中，滤波器包括双边滤波器(BF)或哈达玛变换域滤波器(HF)。
23.根据条款16所述的方法，其中，滤波器包括去方块滤波器(DBF)过程、样点自适应偏移(SAO)滤波过程或自适应环路滤波器(ALF)滤波过程。
24.根据条款1-23中任一项所述的方法，其中，用于滤波操作或滤波器的滤波器参数取决于是否对当前视频块启用编解码模式，其中，在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
25.根据条款1-25中任一项所述的方法，其中，第一域是原始域，并且第二域是使用将亮度样点映射到特定值的亮度映射与色度缩放(LMCS)方法的整形域。
26.根据条款25所述的方法，其中，LMCS使用分段线性模型将亮度样点映射到特定值。
27.根据条款8-26中任一项所述的方法，其中，执行该转换包括从当前块生成编解码表示。
28.根据条款8-26中任一项所述的方法，其中，执行该转换包括从编解码表示生成当前块。
29.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器执行时使得处理器实施根据条款1至28中任一项所述的方法。
30.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据条款1至28中任一项所述的方法的程序代码。
第三条款集合描述了在包括例如示例6的先前章节中列出的所公开的技术的特定特征和方面。
1.一种视频处理方法，包括：执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，编解码表示中的参数集包括编解码模式的参数信息。
2.根据条款1所述的方法，其中，参数集不同于片组头。
3.根据条款2所述的方法，其中，参数集是自适应参数集(APS)。
4.根据条款3所述的方法，其中，编解码模式信息的APS被命名为亮度映射与色度缩放(LMCS)APS。
5.根据条款3所述的方法，其中，要用于当前视频块的APS的标识符被包含在视频的编解码表示中。
6.根据条款5所述的方法，其中，标识符是否存在于视频的编解码表示中取决于是否对视频区域启用编解码模式。
7.根据条款3所述的方法，其中，参数集包含APS的标识符。
8.根据条款1所述的方法，其中，为参数集分配了NAL单元类型值。
9.根据条款1所述的方法，其中，参数集的标识符的范围为0至M之间，其中，M为2K-1。
10.根据条款1所述的方法，其中，参数集跨视频的图片而共享。
11.根据条款1所述的方法，其中，参数集的标识符具有被固定长度编解码的值。
12.根据条款1所述的方法，其中，参数集的标识符用指数哥伦布(EG)码、截断一元码或二值化码进行编解码。
13.根据条款1所述的方法，其中，对于相同图片内的两个子区域，参数集有具有两个不同值的标识符。
14.根据条款3所述的方法，其中，参数集和自适应环路滤波器(ALF)信息的APS共享相同的网络抽象层(NAL)单元类型(NUT)。
15.根据条款1所述的方法，其中，参数信息与自适应环路滤波器(ALF)信息的当前APS一起被携带。
16.根据条款1所述的方法，其中，参数信息被携带在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、序列、头或图片头中。
17.根据条款1所述的方法，其中，参数信息包括整形器模型信息的指示、对编解码模式的使用或色度残差缩放因子中的至少一个。
18.根据条款1所述的方法，其中，参数信息在一个级别中被信令通知。
19.根据条款1所述的方法，其中，参数信息包括对在第二级别中信令通知的编解码模式的使用。
20.根据条款18和19所述的方法，其中，参数信息在APS中被信令通知，并且对编解码模式的使用在视频区域级别中被信令通知。
21.根据条款1所述的方法，其中，参数信息在一个级别中被解析。
22.根据条款1所述的方法，其中，参数信息包括对在第二级别中解析的编解码模式的使用。
23.根据条款21或22所述的方法，其中，参数信息在APS中被解析，并且对编解码模式的使用在视频区域级别中被解析。
24.根据条款1所述的方法，其中，预测编解码被应用，以对具有不同APS索引的参数信息进行编解码。
25.根据条款1-24中任一项所述的方法，其中，第一域是原始域，并且第二域是使用将亮度样点映射到特定值的亮度映射与色度缩放(LMCS)方法的整形域。
26.根据条款25所述的方法，其中，LMCS使用分段线性模型将亮度样点映射到特定值。
27.根据条款1-26中任一项所述的方法，其中，视频区域是图片或片组。
28.根据条款1-26中任一项所述的方法，其中，视频区域级别是图片头或片组头。
29.根据条款1-28中任一项所述的方法，其中，第一域是原始域，并且第二域是使用根据整形模型将亮度样点映射到特定值的亮度映射与色度缩放(LMCS)方法的整形域。
30.根据条款29所述的方法，其中，LMCS使用分段线性模型将亮度样点映射到特定值。
31.根据条款1-30中任一项所述的方法，其中，执行该转换包括从当前块生成编解码表示。
32.根据条款1-30中任一项所述的方法，其中，执行该转换包括从编解码表示生成当前块。
33.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器执行时使得处理器实施根据条款1至32中任一项所述的方法。
34.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据条款1至32中任一项所述的方法的程序代码。
第四条款集合描述了在包括例如示例7和9的先前章节中列出的所公开的技术的特定特征和方面。
1.一种用于视频处理的方法，包括：执行作为色度块的视频的当前视频块和视频的编解码表示之间的转换，其中，在该转换期间，当前视频块基于第一域和第二域而构建，并且其中，该转换还包括将正向整形过程和/或逆向整形过程应用于当前视频块的一个或多个色度分量。
2.根据条款1所述的方法，其中，该方法还包括：避免将依赖于亮度的色度残差缩放(LCRS)应用于当前视频块的一个或多个色度分量。
3.根据条款1所述的方法，其中，分段线性(PWL)模型、正向查找表或后向查找表中的至少一个用于色度分量。
4.根据条款3所述的方法，其中，用于色度分量的PWL模型、正向查找表和后向查找表是分别从对应的亮度分量的PWL模型、正向查找表和后向查找表推导的。
5.根据条款3所述的方法，其中，PWL模型在序列参数集(SPS)、视频参数集(VPS)、自适应参数集(APS)、图片参数集(PPS)、序列头、图片头、片组头、片头、编解码树单元(CTU)行、CTU组或区域中被信令通知。
6.根据条款3所述的方法，其中，正向查找表和后向查找表在序列参数集(SPS)、视频参数集(VPS)、自适应参数集(APS)、图片参数集(PPS)、序列头、图片头、片组头、片头、编解码树单元(CTU)行、CTU组或区域中被信令通知。
7.一种用于视频处理的方法，包括：执行视频的当前视频色度块和视频的编解码表示之间的转换，其中，执行该转换包括：基于规则来确定依赖于亮度的色度残差缩放(LCRS)被启用还是被禁用，以及基于该确定来重构当前视频色度块。
8.根据条款7所述的方法，其中，规则指定对特定块大小、时域层、片组类型、图片类型、编解码模式、特定类型的运动信息禁用LCRS。
9.根据条款7所述的方法，其中，规则指定对色度块禁用LCRS，并且正向和/或逆向整形过程被应用于对应的亮度块。
10.根据条款7所述的方法，其中，规则指定LCRS被应用于色度块，并且正向和/或逆向整形过程不被应用于对应的亮度块。
11.根据条款7所述的方法，其中，规则指定对使用跨分量线性模型(CCLM)编解码的当前视频色度块禁用LCRS。
12.根据条款7所述的方法，其中，规则指定对未使用跨分量线性模型(CCLM)编解码的当前视频色度块禁用LCRS。
13.根据条款7所述的方法，其中，规则指定禁用LCRS是基于视频块的尺寸超过虚拟管道数据单元(VPDU)。
14.根据条款13所述的方法，其中，在视频块包含少于M*H个样点的视频样点的情况下，LCRS不被允许。
15.根据条款13所述的方法，其中，在视频块的宽度和/或高度的最小尺寸小于或等于特定值的情况下，LCRS不被允许。
16.根据条款13所述的方法，其中，在视频块的宽度和/或高度的最小尺寸不小于特定值的情况下，LCRS不被允许。
17.根据条款15或16所述的方法，其中，特定值为8。
18.根据条款13所述的方法，其中，在视频块的宽度等于或大于第一值和/或视频块的高度等于或大于第二值的情况下，LCRS不被允许。
19.根据条款13所述的方法，其中，在视频块的宽度等于或小于第一值和/或视频块的高度等于或小于第二值的情况下，LCRS不被允许。
20.根据条款18或19所述的方法，其中，第一值或第二值中的至少一个为8、64或128。
21.根据条款13-20中任一项所述的方法，其中，视频块是亮度块或色度块。
22.根据条款1-21中任一项所述的方法，其中，第一域是原始域，并且第二域是使用根据整形模型将亮度样点映射到特定值的亮度映射与色度缩放(LMCS)方法的整形域。
23.根据条款22所述的方法，其中，LMCS使用分段线性模型将亮度样点映射到特定值。
24.根据条款1-23中任一项所述的方法，其中，通过执行依赖于亮度的色度残差缩放操作，色度残差以依赖于亮度的方式被缩放，其中该依赖于亮度的色度残差缩放操作包括缩放在用于推导视频色度块的重构之前的色度残差，并且缩放参数是从亮度样点推导的。
25.根据条款1-24中任一项所述的方法，其中，执行该转换包括从当前块生成编解码表示。
26.根据条款1-24中任一项所述的方法，其中，执行该转换包括从编解码表示生成当前块。
27.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器执行时使得处理器实施根据条款1至26中任一项所述的方法。
28.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据条款1至26中任一项所述的方法的程序代码。
第五条款集合描述了在包括例如示例10-14、28、29和40的先前章节中列出的所公开的技术的特定特征和方面。
1.一种用于视频处理的方法，包括：对于视频的当前视频块和视频的编解码表示之间的转换，基于当前视频块的一个或多个系数值来确定是否禁用对编解码模式的使用；以及基于该确定来执行该转换，其中，在使用编解码模式的该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
2.根据条款1所述的方法，其中，整形过程包括：选择性地将正向整形过程中的至少一个应用于第一域中的样点，其中该第一域中的样点然后被转换为第二域中的样点；以及选择性地将逆向整形过程应用于第二域中的样点，其中该第二域中的样点然后被转换为第一域中的表示。
3.根据条款1或2所述的方法，其中，整形过程还包括：选择性地应用依赖于亮度的色度残差缩放过程。
4.根据条款1-3中任一项所述的方法，其中，该确定是基于是否用全零系数对当前视频块进行编解码。
5.根据条款2所述的方法，其中，正向整形过程基于是否用全零系数对当前视频块进行编解码而跳过。
6.根据条款2所述的方法，其中，当前视频块是用全零系数编解码的，并且其中，逆向整形过程被跳过。
7.根据条款2所述的方法，其中，当前视频块是用全零系数编解码的，并且其中，依赖于亮度的色度残差缩放过程被跳过。
8.根据条款2所述的方法，其中，该确定是基于是否仅用位于特定位置处的一个非零系数对当前视频块进行编解码。
9.根据条款2所述的方法，其中，当前视频块是仅用位于特定位置处的一个非零系数编解码的，并且正向整形过程、逆向整形过程或依赖于亮度的色度残差缩放过程中的至少一个被跳过。
10.根据条款2所述的方法，其中，该确定是基于是否用M个非零系数对当前视频块进行编解码。
11.根据条款2所述的方法，其中，当前视频块是用M个非零系数编解码的，并且正向整形过程、逆向整形过程或依赖于亮度的色度残差缩放过程中的至少一个被跳过。
12.根据条款11所述的方法，其中，M为1。
13.一种视频处理的方法，包括：对于视频的超过视频的虚拟管道数据单元(VPDU)的当前视频块之间的转换，将当前视频块分为区域；以及通过将编解码模式分开应用于每个区域来执行该转换，其中，在通过应用编解码模式的该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
14.根据条款13所述的方法，其中，每个区域对应于编解码模式的单独编解码单元(CU)。
15.根据条款13所述的方法，其中，当前视频块的宽度等于或大于第一值，当前视频块被划分为具有等于或小于第一值的一个或多个宽度的子块，并且对每个子块启用了编解码模式。
16.根据条款13所述的方法，其中，当前视频块的高度等于或大于第二值，当前视频块被划分为具有等于或小于第二值的一个或多个高度的子块，并且对每个子块启用了编解码模式。
17.根据条款13所述的方法，其中，当前视频块的尺寸等于或大于第三值，当前视频块被划分为具有等于或小于第三值的一个或多个尺寸的子块，并且对每个子块启用了编解码模式。
18.根据条款15-17中任一项所述的方法，其中，子块具有相同的宽度或相同的高度。
19.一种用于视频处理的方法，包括：对于视频的当前视频块和视频的编解码表示之间的转换，基于当前视频块的尺寸或颜色格式来确定是否禁用对编解码模式的使用；以及基于该确定来执行该转换，其中，在使用编解码模式的该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
20.根据条款19所述的方法，其中，该确定确定对超过虚拟管道数据单元(VPDU)的当前视频块禁用编解码模式。
21.根据条款19所述的方法，其中，该确定确定对具有包含数量小于M*H的样点的尺寸的当前视频块禁用编解码模式。
22.根据条款19所述的方法，其中，该确定确定在当前视频块的宽度和/或高度的最小尺寸等于或小于作为整数的X的情况下对当前视频块禁用编解码模式。
23.根据条款19所述的方法，其中，该确定确定在当前视频块的宽度和/或高度的最小尺寸不小于作为整数的X的情况下对当前视频块禁用编解码模式。
24.根据条款22或23所述的方法，其中，X为8。
25.根据条款19所述的方法，其中，该确定确定在当前视频块具有等于或大于第一值的宽度和/或等于或大于第二值的高度的情况下对当前视频块禁用编解码模式。
26.根据条款19所述的方法，其中，该确定确定在当前视频块具有等于或小于第一值的宽度和/或等于或小于第二值的高度的情况下对当前视频块禁用编解码模式。
27.根据条款25或26所述的方法，其中，第一值或第二值中的至少一个为8。
28.根据条款19至27中任一项所述的方法，其中，禁用编解码模式包括禁用以下中的至少一个：1)将第一域中的样点转换到第二域的正向整形；2)将第二域中的样点转换到第一域的后向整形；3)依赖于亮度的色度残差缩放。
29.一种用于视频处理的方法，包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，编解码表示中的至少一个语法元素提供对编解码模式的使用的指示和整形器模型的指示。
30.根据条款29所述的方法，其中，对编解码模式的使用的指示是基于整形器模型的指示而编解码的。
31.根据条款29所述的方法，其中，整形器模型的指示是基于编解码模式的指示而编解码的。
32.根据条款29所述的方法，其中，仅语法元素中的一个语法元素被编解码。
33.根据条款1-32中任一项所述的方法，其中，不同的裁剪方法被应用于预测信号和重构信号。
34.根据条款33所述的方法，其中，允许视频内的不同裁剪参数的自适应裁剪被应用于预测信号。
35.根据条款34所述的方法，其中，自适应裁剪的最大值和最小值在第二域中被定义。
36.根据条款33所述的方法，其中，固定裁剪被应用于重构信号。
37.一种用于视频处理的方法，包括：确定对视频的当前视频块和视频的编解码表示之间的转换禁用了编解码模式；以及基于该确定来有条件地跳过正向整形和/或逆向整形，其中，在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
38.根据条款37所述的方法，其中，预测信号、重构信号或残差信号中的至少一个在第一域中。
39.根据条款37所述的方法，其中，预测信号、重构信号或残差信号中的至少一个在第二域中。
40.一种用于视频处理的方法，包括：执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，多个正向整形和/或多个逆向整形在视频区域的整形模式下被应用。
41.根据条款40的方法，其中，视频区域包括图片、片组、虚拟管道数据单元(VPDU)、编解码树单元(CTU)、行或多个编解码单元。
42.根据条款40或41所述的方法，其中，如何选择多个正向整形和/或多个逆向整形取决于以下中的至少一个：i)块大小或视频区域大小，ii)当前视频块或视频区域的编解码模式，iii)当前视频块或视频区域的图片类型，iv)当前视频块或视频区域的低延迟检查标志，v)当前视频块或视频区域的运动信息，vi)当前视频块或视频区域的参考图片，或vii)当前视频块或视频区域的视频内容。
43.根据条款1至42中任一项所述的方法，其中，在该转换期间，第一域中的样点被映射到第二域中的样点，其中该第二域中的样点的值小于第一域中的样点的值。
44.根据条款1至43中任一项所述的方法，其中，第一域是原始域，并且第二域是使用用以将亮度样点映射到特定值的亮度映射与色度缩放(LMCS)方法的整形域。
45.根据条款44所述的方法，其中，LMCS使用分段线性模型将亮度样点映射到特定值。
46.根据条款1-45中任一项所述的方法，其中，执行该转换包括从当前块生成编解码表示。
47.根据条款1-45中任一项所述的方法，其中，执行该转换包括从编解码表示生成当前块。
48.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器执行时使得处理器实施根据条款1至47中任一项所述的方法。
49.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据条款1至47中任一项所述的方法的程序代码。
第六条款集合描述了在包括例如示例16和17的先前章节中列出的所公开的技术的特定特征和方面。
1.一种视频处理方法，包括：确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式；以及使用调色板模式来执行该转换，其中在该调色板模式中，至少代表性样点值的调色板用于当前视频块，并且其中，在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
2.根据条款1所述的方法，其中，代表性样点值的调色板包括以下中的至少一个：1)调色板预测值，或2)逸出样点。
3.根据条款1所述的方法，其中，代表性样点值表示第一域中的值。
4.根据条款1所述的方法，其中，代表性样点值表示第二域中的值。
5.根据条款1或2所述的方法，其中，在调色板模式下使用并被包括在编解码表示中的调色板预测值在第一域中或第二域中。
6.根据条款1或2所述的方法，其中，在调色板模式下使用并被包括在编解码表示中的逸出样点在第一域中或第二域中。
7.根据条款1或2所述的方法，其中，当在调色板模式下使用并被包括在编解码表示中的调色板预测值和/或逸出样点在第二域中时，第二域中的第一重构块首先被生成并用于对后续块进行编解码。
8.根据条款7所述的方法，其中，当在修改的调色板模式下使用并被包括在编解码表示中的调色板预测值和/或逸出样点在第二域中时，使用第一重构块和逆向整形过程生成了第一域中的最终重构块。
9.根据条款8所述的方法，其中，逆向整形过程正好在去方块滤波器过程之前被调用。
10.根据条款1-9中任一项所述的方法，其中，该转换基于当前视频块的颜色分量而执行。
11.根据条款10所述的方法，其中，颜色分量是亮度分量。
12.一种视频处理的方法，包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在调色板模式下编解码的，其中在该调色板模式下，至少代表性样点值的调色板用于对当前视频块进行编解码；以及由于该确定，通过禁用编解码模式来执行该转换，其中，当编解码模式被应用于视频块时，视频块基于以依赖于亮度的方式而缩放的色度残差进行构建。
13.根据条款12所述的方法，其中，当当前视频块在调色板模式下被编解码时，编解码模式被禁用。
14.一种视频处理的方法，包括：执行视频的第一视频块和视频的编解码表示之间的转换，其中，该转换使用第一编解码模式和调色板编解码模式，其中在该调色板编解码模式下，至少代表性像素值的调色板用于对当前视频块进行编解码；以及执行在没有使用调色板编解码模式的情况下被编解码的视频的第二视频块和视频的编解码表示之间的转换，并且其中，第二视频块的该转换使用第一编解码模式，其中，当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
15.根据条款14所述的方法，其中，由于禁用对用于在第一域和第二域之间转换样点的正向整形和逆向整形的使用，应用于第一视频块的第一编解码模式不同于应用于第二视频块的第一编解码模式。
16.根据条款14所述的方法，其中，由于使用用于在第一域和第二域之间转换样点的不同的整形和/或不同的逆向整形功能，应用于第一视频块的第一编解码模式不同于应用于第二视频块的第一编解码模式。
17.根据条款1-11和14-16中任一项所述的方法，其中，第一域是原始域，并且第二域是使用将亮度样点映射到特定值的亮度映射与色度缩放(LMCS)方法的整形域。
18.根据条款17所述的方法，其中，LMCS使用分段线性模型将亮度样点映射到特定值。
19.根据条款1-18中任一项所述的方法，其中，执行该转换包括从当前块生成编解码表示。
20.根据条款1-18中任一项所述的方法，其中，执行该转换包括从编解码表示生成当前块。
21.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器执行时使得处理器实施根据条款1至21中任一项所述的方法。
22.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据条款1至21中任一项所述的方法的程序代码。
第七条款集合描述了在包括例如示例18和19的先前章节中列出的所公开的技术的特定特征和方面。
1.一种视频处理方法，包括：确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式；以及使用帧内块复制模式来执行该转换，其中该帧内块复制模式至少使用指向包括当前视频块的图片的块矢量来生成预测块，并且其中，在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
2.根据条款1所述的方法，其中，预测块在第一域中被生成。
3.根据条款1所述的方法，其中，残差块被表示在第一域中的编解码表示中。
4.根据条款1所述的方法，其中，预测块在第二域中被生成。
5.根据条款1所述的方法，其中，残差块被表示在第二域中的编解码表示中。
6.根据条款4或5所述的方法，其中，当前视频块的第一构建块基于第二域中的残差块和预测块的和而获得，并且第一构建块用于后续视频块和视频的编解码表示之间的转换。
7.根据条款4或5所述的方法，其中，当前视频块的最终构建块基于被应用于第一构建块以将第一构建块从第二域转换到第一域的逆向整形而获得。
8.根据条款1-7中任一项所述的方法，其中，该转换基于当前视频块的颜色分量而执行。
9.根据条款8所述的方法，其中，颜色分量是亮度分量。
10.一种用于视频处理的方法，包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在帧内块复制(IBC)模式下编解码的，其中该帧内块复制模式至少使用指向包含当前视频块的视频帧的块矢量来生成预测块，以用于对当前视频块进行编解码；以及由于该确定，通过禁用编解码模式来执行该转换，其中，当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
11.根据条款10所述的方法，其中，当当前视频块在IBC模式下被编解码时，编解码模式被禁用。
12.一种用于视频处理的方法，包括：执行视频的第一视频块和视频的编解码表示之间的转换，其中，该转换使用帧内块复制模式和第一编解码模式，其中该帧内块复制模式至少使用指向包含当前视频块的视频帧的块矢量来生成预测块；以及执行在没有使用帧内块复制模式的情况下被编解码的视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块的该转换使用第一编解码模式，其中，当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
13.根据条款12所述的方法，其中，由于禁用对用于在第一域和第二域之间转换样点的正向整形和逆向整形的使用，应用于第一视频块的第一编解码模式不同于应用于第二视频块的第一编解码模式。
14.根据条款12所述的方法，其中，由于使用用于在第一域和第二域之间转换样点的不同的正向整形和/或不同的逆向整形，应用于第一视频块的第一编解码模式不同于应用于第二视频块的第一编解码模式。
15.根据条款1-14中任一项所述的方法，其中，第一域是原始域，并且第二域是使用将亮度样点映射到特定值的亮度映射与色度缩放(LMCS)方法的整形域。
16.根据条款15所述的方法，其中，LMCS使用分段线性模型将亮度样点映射到特定值。
17.根据条款1-16中任一项所述的方法，其中，执行该转换包括从当前块生成编解码表示。
18.根据条款1-16中任一项所述的方法，其中，执行该转换包括从编解码表示生成当前块。
19.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器执行时使得处理器实施根据条款1至18中任一项所述的方法。
20.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据条款1至18中任一项所述的方法的程序代码。
第八条款集合描述了在包括例如示例20-27的先前章节中列出的所公开的技术的特定特征和方面。
1.一种视频处理方法，包括：确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式；以及使用基于块的增量脉冲编解码调制(BDPCM)模式来执行该转换，其中，在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
2.根据条款1所述的方法，其中，当前视频块的预测块在第一域中被生成。
3.根据条款1所述的方法，其中，当前视频块的残差块被表示在第一域中的编解码表示中。
4.根据条款1所述的方法，其中，当前视频块的预测块在第二域中被生成。
5.根据条款1所述的方法，其中，当前视频块的残差块被表示在第二域中的编解码表示中。
6.根据条款4或5所述的方法，其中，当前视频块的第一构建块基于第二域中的残差块和预测块的和而获得，并且第一构建块用于后续视频块和视频的编解码表示之间的转换。
7.根据条款4或5所述的方法，其中，当前视频块的最终构建块基于被应用于第一构建块以将第一构建块从第二域转换到第一域的逆向整形而获得。
8.一种视频处理的方法，包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是使用基于块的增量脉冲编解码调制(BDPCM)模式编解码的；以及由于该确定，通过禁用编解码模式来执行该转换，其中，当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
9.根据条款8所述的方法，其中，当当前视频块在BDPCM模式下被编解码时，编解码模式被禁用。
10.一种视频处理的方法，包括：执行视频的第一视频块和视频的编解码表示之间的转换，其中，第一视频块的该转换使用第一编解码模式和基于块的增量脉冲编解码调制(BDPCM)模式；以及执行视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块在没有使用BDPCM模式的情况下被编解码，并且第二视频块的该转换使用第一编解码模式，其中，当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
11.根据条款10的方法，其中，由于禁用对用于在第一域和第二域之间转换样点的正向整形和逆向整形的使用，应用于第一视频块的第一编解码模式不同于应用于第二视频块的第一编解码模式。
12.根据条款10的方法，其中，由于使用用于在第一域和第二域之间转换样点的不同的正向整形和/或不同的逆向整形，应用于第一视频块的第一编解码模式不同于应用于第二视频块的第一编解码模式。
13.一种视频处理方法，包括：确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式；以及使用变换跳过模式来执行该转换，其中在该变换跳过模式下，对预测残差的变换在对当前视频块进行编解码时被跳过，其中，在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
14.根据条款13所述的方法，其中，当前视频块的预测块在第一域中被生成。
15.根据条款13所述的方法，其中，当前视频块的残差块被表示在第一域中的编解码表示中。
16.根据条款13所述的方法，其中，当前视频块的预测块在第二域中被生成。
17.根据条款13所述的方法，其中，残差块被表示在第二域中的编解码表示中。
18.根据条款16或17所述的方法，其中，当前视频块的第一构建块通过基于第二域中的残差块和预测块的和而获得，并且第一构建块用于后续视频块和视频的编解码表示之间的转换。
19.根据条款16或17所述的方法，其中，当前视频块的最终构建块基于被应用于第一构建块以将第一构建块从第二域转换到第一域的逆向整形而获得。
20.一种视频处理的方法，包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在变换跳过模式下编解码的，其中在该变换跳过模式下，对预测残差的变换在对当前视频块进行编解码时被跳过；以及由于该确定，通过禁用编解码模式来执行该转换，其中，当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
21.根据条款20所述的方法，其中，当当前视频块在变换跳过模式下被编解码时，编解码模式被禁用。
22.一种视频处理的方法，包括：执行视频的第一视频块和视频的编解码表示之间的转换，其中，第一视频块的该转换使用第一编解码模式和变换跳过模式，其中在该变换跳过模式下，对预测残差的变换在对当前视频块进行编解码时被跳过；以及执行视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块在没有使用变换跳过模式的情况下被编解码，并且第二视频块的该转换使用第一编解码模式，其中，当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
23.根据条款22所述的方法，其中，由于禁用对用于在第一域和第二域之间转换样点的正向整形和逆向整形的使用，应用于第一视频块的第一编解码模式不同于应用于第二视频块的第一编解码模式。
24.根据条款22所述的方法，其中，由于使用用于在第一域和第二域之间转换样点的不同的正向整形和/或不同的逆向整形，应用于第一视频块的第一编解码模式不同于应用于第二视频块的第一编解码模式。
25.一种视频处理的方法，包括：确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式；以及使用帧内脉冲编解码调制模式来执行该转换，其中在该帧内脉冲编解码调制模式下，当前视频块在没有应用变换和变换域量化的情况下被编解码，其中，在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
26.根据条款25所述的方法，其中，当前视频块的预测块在第一域中被生成。
27.根据条款25所述的方法，其中，当前视频块的残差块被表示在第一域中的编解码表示中。
28.根据条款25所述的方法，其中，当前视频块的预测块在第二域中被生成。
29.根据条款25所述的方法，其中，残差块被表示在第二域中的编解码表示中。
30.根据条款28或29所述的方法，其中，当前视频块的第一构建块基于第二域中的残差块和预测块的和而获得，并且第一构建块用于后续视频块和视频的编解码表示之间的转换。
31.根据条款28或29所述的方法，其中，当前视频块的最终构建块基于被应用于第一构建块以将第一构建块从第二域转换到第一域的逆向整形而获得。
32.一种视频处理的方法，包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在帧内脉冲编解码调制模式下编解码的，其中在该帧内脉冲编解码调制模式下，当前视频块在没有应用变换和变换域量化的情况下被编解码；以及由于该确定，通过禁用编解码模式来执行该转换，其中，当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
33.根据条款32所述的方法，其中，当当前视频块在帧内脉冲编解码调制模式下被编解码时，编解码模式被禁用。
34.一种视频处理的方法，包括：执行视频的第一视频块和视频的编解码表示之间的转换，其中，第一视频块的该转换使用第一编解码模式和帧内脉冲编解码调制模式，其中在该帧内脉冲编解码调制模式下，当前视频块在没有应用变换和变换域量化的情况下被编解码；以及执行视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块在没有使用帧内脉冲编解码调制模式的情况下被编解码，并且第二视频块的该转换使用第一编解码模式，其中，当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
35.根据条款34所述的方法，其中，由于禁用对用于在第一域和第二域之间转换样点的正向整形和逆向整形的使用，应用于第一视频块的第一编解码模式不同于应用于第二视频块的第一编解码模式。
36.根据条款34所述的方法，其中，由于使用用于在第一域和第二域之间转换样点的不同的正向整形和/或不同的逆向整形，应用于第一视频块的第一编解码模式不同于应用于第二视频块的第一编解码模式。
37.一种视频处理的方法，包括：确定对视频的当前视频块和视频的编解码表示之间的转换启用了编解码模式；以及使用修改的变换量化旁路模式来执行该转换，其中在该修改的变换量化旁路模式下，当前视频块在没有变换和量化的情况下被无损编解码，其中，在该编解码模式下，当前视频块基于第一域和第二域中的样点而构建，和/或色度残差以依赖于亮度的方式被缩放。
38.根据条款37所述的方法，其中，当前视频块的预测块在第一域中被生成。
39.根据条款37所述的方法，其中，当前视频块的残差块被表示在第一域中的编解码表示中。
40.根据条款37所述的方法，其中，当前视频块的预测块在第二域中被生成。
41.根据条款37所述的方法，其中，残差块被表示在第二域中的编解码表示中。
42.根据条款40或41所述的方法，其中，当前视频块的第一构建块基于第二域中的残差块和预测块的和而获得，并且第一构建块用于后续视频块和视频的编解码表示之间的转换。
43.根据条款40或41所述的方法，其中，当前视频块的最终构建块基于被应用于第一构建块以将第一构建块从第二域转换到第一域的逆向整形而获得。
44.一种视频处理的方法，包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定当前视频块是在变换量化旁路模式下编解码的，其中在该变换量化旁路模式下，当前视频块在没有变换和量化的情况下被无损编解码；以及由于该确定，通过禁用编解码模式来执行该转换，其中，当编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
45.根据条款44所述的方法，其中，当当前视频块在帧内脉冲编解码调制模式下被编解码时，编解码模式被禁用。
46.一种视频处理的方法，包括：执行视频的第一视频块和视频的编解码表示之间的转换，其中，第一视频块的该转换使用第一编解码模式和变换量化旁路模式，其中在该变换量化旁路模式下，当前视频块在没有变换和量化的情况下被无损编解码；以及执行视频的第二视频块和视频的编解码表示之间的转换，其中，第二视频块在没有使用变换量化旁路模式的情况下被编解码，并且第二视频块的该转换使用第一编解码模式，其中，当第一编解码模式被应用于视频块时，视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，第一编解码模式以不同的方式被应用于第一视频块和第二视频块。
47.根据条款46所述的方法，其中，由于禁用对用于在第一域和第二域之间转换样点的正向整形和逆向整形的使用，应用于第一视频块的第一编解码模式不同于应用于第二视频块的第一编解码模式。
48.根据条款46所述的方法，其中，由于使用用于在第一域和第二域之间转换样点的不同的正向整形和/或不同的逆向整形，应用于第一视频块的第一编解码模式不同于应用于第二视频块的第一编解码模式。
49.根据条款1至48中任一项所述的方法，其中，该转换基于当前视频块的颜色分量而执行。
50.根据条款49所述的方法，其中，颜色分量是亮度分量。
51.根据条款1-50中任一项所述的方法，其中第一域是原始域，并且第二域是使用将亮度样点映射到特定值的亮度映射与色度缩放(LMCS)方法的整形域。
52.根据条款51所述的方法，其中，LMCS使用分段线性模型将亮度样点映射到特定值。
53.根据条款1至52中任一项所述的方法，其中，执行该转换包括从当前块生成编解码表示。
54.根据条款1至52中任一项所述的方法，其中，执行该转换包括从编解码表示生成当前块。
55.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器执行时使得处理器实施根据条款1至54中任一项所述的方法。
56.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据条款1至54中任一项所述的方法的程序代码。
第九条款集合描述了在包括例如示例30-34和41的先前章节中列出的所公开的技术的特定特征和方面。
1.一种视频处理的方法，包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，用于编解码模式的信息在不同于序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)或用于携带自适应环路滤波(ALF)参数的自适应参数集(APS)的参数集中被信令通知。
2.根据条款1所述的方法，其中，参数集跨图片而共享。
3.根据条款1所述的方法，其中，参数集包括一个或多个语法元素，其中该一个或多个语法元素包括参数集的标识符或指示参数集的扩展数据的存在的标志中的至少一个。
4.根据条款1所述的方法，其中，参数集特定于图片内的片组。
5.一种视频处理的方法，包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，用于编解码模式的信息与自适应环路滤波(ALF)信息一起在自适应参数集(APS)中被信令通知，其中，用于编解码模式的信息和ALF信息被包括在一个NAL单元中。
6.根据条款5所述的方法，其中，APS的标识符在片组头中被信令通知。
7.一种视频处理的方法，包括：执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，用于编解码模式的信息在与用于信令通知自适应环路滤波(ALF)信息的第二类型的自适应参数集(APS)不同的第一类型的APS中被信令通知。
8.根据条款7所述的方法，其中，第二类型的APS的标识符在视频区域级别中被信令通知。
9.根据条款7所述的方法，其中，第一类型的APS的标识符在视频区域级别中被信令通知。
10.根据条款7所述的方法，其中，被包含在编解码表示中的第一类型的APS包含第二类型的APS，其中该第二类型的APS在一致性比特流中包括ALF信息。
11.根据条款7所述的方法，其中，被包含在编解码表示中的第二类型的APS包含第一类型的APS，其中该第一类型的APS在一致性比特流中包括用于编解码模式的信息。
12.根据条款7所述的方法，其中，第一类型的APS和第二类型的APS与不同的标识符相关联。
13.根据条款12所述的方法，其中，第二类型的APS具有等于2N的标识符，N为整数。
14.根据条款13所述的方法，其中，第一类型的APS具有等于2N+1的标识符，N为整数。
15.一种视频处理的方法，包括：执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，视频区域不被允许引用自适应参数集或在用于处理视频的指定类型的数据结构之前信令通知的参数集，并且其中，指定类型的数据结构在视频区域之前被信令通知。
16.根据条款15所述的方法，其中，数据结构包括网络抽象层(NAL)单元、片组、序列参数集(SPS)、图片参数集(PPS)、访问单元分隔符NAL(AUD)、比特流结束NAL(EoB)、序列结束NAL(NAL)、瞬时解码刷新(IDR)NAL、完全随机访问(CRA)NAL、帧内随机访问点(IRAP)访问单元、I片组、图片或条带中的至少一个。
17.一种视频处理的方法，包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，包括用于处理视频的参数的参数集的语法元素在一致性比特流中具有预定义值。
18.根据条款17所述的方法，其中，预定义值为0和1。
19.根据条款17所述的方法，其中，预定义值为0和7。
20.根据条款1至19中任一项所述的方法，其中，视频区域包括片组、图片、条带或片中的至少一个。
21.根据条款1至20中任一项所述的方法，其中，第一域是原始域，并且第二域是使用将亮度样点映射到特定值的亮度映射与色度缩放(LMCS)方法的整形域。
22.根据条款21所述的方法，其中，LMCS使用分段线性模型将亮度样点映射到特定值。
23.根据条款1至22中任一项所述的方法，其中，执行该转换包括从当前块生成编解码表示。
24.根据条款1至22中任一项所述的方法，其中，执行该转换包括从编解码表示生成当前块。
25.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中该指令在由处理器执行时使得处理器实施根据条款1至24中任一项所述的方法。
26.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据条款1至24中任一项所述的方法的程序代码。
从前面可以理解，为了说明的目的，本文已经描述了当前公开的技术的特定实施例，但是在不脱离本发明的范围的情况下，可以进行各种修改。因此，当前公开的技术不受除了所附权利要求之外的限制。
本专利文档中描述的主题和功能操作的实施方式可以在各种系统、数字电子电路中被实施，或者在计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)中被实施，或者在它们中的一个或多个的组合中被实施。本说明书中描述的主题的实施方式可以被实施为一个或多个计算机程序产品，即编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块，该计算机程序指令用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包含用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写，并且其可以以任何形式部署，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以被实施为专用逻辑电路，例如，FPGA(Field Programmable Gate Array，现场可编程门阵列)或ASIC(Application SpecificIntegrated Circuit，专用集成电路)。
适合于执行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而，计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
本说明书以及附图旨在被认为仅是示例性的，其中示例性意味着示例。如本文所使用的，“或”的使用旨在包括“和/或”，除非上下文另外清楚地指示。
虽然本专利文档包含许多细节，但这些细节不应被解释为对任何发明或可能要求保护的范围的限制，而是作为特定于特定发明的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合实施。此外，尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。
仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。

Claims (49)

1.一种用于视频处理的方法，包括：
对于视频的当前视频块和所述视频的编解码表示之间的转换，基于所述当前视频块的一个或多个系数值来确定是否禁用对编解码模式的使用；以及
基于所述确定来执行所述转换，
其中，在使用所述编解码模式的所述转换期间，所述当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
2.根据权利要求1所述的方法，其中，整形过程包括：
选择性地将正向整形过程中的至少一个应用于所述第一域中的样点，其中所述第一域中的样点然后被转换为所述第二域中的样点；以及
选择性地将逆向整形过程应用于所述第二域中的样点，其中所述第二域中的样点然后被转换为所述第一域中的表示。
3.根据权利要求1或2所述的方法，其中，整形过程还包括：
选择性地应用依赖于亮度的色度残差缩放过程。
4.根据权利要求1-3中任一项所述的方法，其中，所述确定是基于是否用全零系数对所述当前视频块进行编解码。
5.根据权利要求2所述的方法，其中，所述正向整形过程基于是否用全零系数对所述当前视频块进行编解码而跳过。
6.根据权利要求2所述的方法，其中，所述当前视频块是用全零系数编解码的，并且其中，所述逆向整形过程被跳过。
7.根据权利要求2所述的方法，其中，所述当前视频块是用全零系数编解码的，并且其中，所述依赖于亮度的色度残差缩放过程被跳过。
8.根据权利要求2所述的方法，其中，所述确定是基于是否仅用位于特定位置处的一个非零系数对所述当前视频块进行编解码。
9.根据权利要求2所述的方法，其中，所述当前视频块是仅用位于特定位置处的一个非零系数编解码的，并且所述正向整形过程、所述逆向整形过程或所述依赖于亮度的色度残差缩放过程中的至少一个被跳过。
10.根据权利要求2所述的方法，其中，所述确定是基于是否用M个非零系数对所述当前视频块进行编解码。
11.根据权利要求2所述的方法，其中，所述当前视频块是用M个非零系数编解码的，并且所述正向整形过程、所述逆向整形过程或所述依赖于亮度的色度残差缩放过程中的至少一个被跳过。
12.根据权利要求11所述的方法，其中，M为1。
13.一种视频处理的方法，包括：
对于视频的超过所述视频的虚拟管道数据单元(VPDU)的当前视频块之间的转换，将所述当前视频块分为区域；以及
通过将编解码模式分开应用于每个区域来执行所述转换，
其中，在通过应用所述编解码模式的所述转换期间，所述当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
14.根据权利要求13所述的方法，其中，每个区域对应于所述编解码模式的单独编解码单元(CU)。
15.根据权利要求13所述的方法，其中，所述当前视频块的宽度等于或大于第一值，所述当前视频块被划分为具有等于或小于第一值的一个或多个宽度的子块，并且对每个子块启用所述编解码模式。
16.根据权利要求13所述的方法，其中，所述当前视频块的高度等于或大于第二值，所述当前视频块被划分为具有等于或小于第二值的一个或多个高度的子块，并且对每个子块启用所述编解码模式。
17.根据权利要求13所述的方法，其中，所述当前视频块的尺寸等于或大于第三值，所述当前视频块被划分为具有等于或小于第三值的一个或多个尺寸的子块，并且对每个子块启用所述编解码模式。
18.根据权利要求15-17中任一项所述的方法，其中，所述子块具有相同的宽度或相同的高度。
19.一种用于视频处理的方法，包括：
对于视频的当前视频块和所述视频的编解码表示之间的转换，基于所述当前视频块的尺寸或颜色格式来确定是否禁用对编解码模式的使用；以及
基于所述确定来执行所述转换，
其中，在使用所述编解码模式的所述转换期间，所述当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
20.根据权利要求19所述的方法，其中，所述确定确定对超过虚拟管道数据单元(VPDU)的所述当前视频块禁用所述编解码模式。
21.根据权利要求19所述的方法，其中，所述确定确定对具有包含数量小于M*H的样点的尺寸的所述当前视频块禁用所述编解码模式。
22.根据权利要求19所述的方法，其中，所述确定确定在所述当前视频块的宽度和/或高度的最小尺寸等于或小于作为整数的X的情况下对所述当前视频块禁用所述编解码模式。
23.根据权利要求19所述的方法，其中，所述确定确定在所述当前视频块的宽度和/或高度的最小尺寸不小于作为整数的X的情况下对所述当前视频块禁用所述编解码模式。
24.根据权利要求22或23所述的方法，其中，X为8。
25.根据权利要求19所述的方法，其中，所述确定确定在所述当前视频块具有等于或大于第一值的宽度和/或等于或大于第二值的高度的情况下对所述当前视频块禁用所述编解码模式。
26.根据权利要求19所述的方法，其中，所述确定确定在所述当前视频块具有等于或小于第一值的宽度和/或等于或小于第二值的高度的情况下对所述当前视频块禁用所述编解码模式。
27.根据权利要求25或26所述的方法，其中，所述第一值或所述第二值中的至少一个为8。
28.根据权利要求19至27中任一项所述的方法，其中，禁用所述编解码模式包括禁用以下中的至少一个：1)将所述第一域中的样点转换到所述第二域的正向整形；2)将所述第二域中的样点转换到所述第一域的后向整形；3)依赖于亮度的色度残差缩放。
29.一种用于视频处理的方法，包括：
执行视频的当前视频块和所述视频的编解码表示之间的转换，
其中，所述转换使用编解码模式，其中在所述编解码模式下，所述当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且
其中，所述编解码表示中的至少一个语法元素提供对所述编解码模式的使用的指示和整形器模型的指示。
30.根据权利要求29所述的方法，其中，对所述编解码模式的使用的所述指示是基于所述整形器模型的指示而编解码的。
31.根据权利要求29所述的方法，其中，所述整形器模型的指示是基于所述编解码模式的指示而编解码的。
32.根据权利要求29所述的方法，其中，仅所述语法元素中的一个语法元素被编解码。
33.根据权利要求1-32中任一项所述的方法，其中，不同的裁剪方法被应用于预测信号和重构信号。
34.根据权利要求33所述的方法，其中，允许所述视频内的不同裁剪参数的自适应裁剪被应用于所述预测信号。
35.根据权利要求34所述的方法，其中，所述自适应裁剪的最大值和最小值在所述第二域中被定义。
36.根据权利要求33所述的方法，其中，固定裁剪被应用于所述重构信号。
37.一种用于视频处理的方法，包括：
确定对视频的当前视频块和所述视频的编解码表示之间的转换禁用编解码模式；以及
基于所述确定来有条件地跳过正向整形和/或逆向整形，
其中，在所述编解码模式下，所述当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
38.根据权利要求37所述的方法，其中，预测信号、重构信号或残差信号中的至少一个在所述第一域中。
39.根据权利要求37所述的方法，其中，预测信号、重构信号或残差信号中的至少一个在所述第二域中。
40.一种用于视频处理的方法，包括：
执行视频的视频区域的当前视频块和所述视频的编解码表示之间的转换，
其中，所述转换使用编解码模式，其中在所述编解码模式下，所述当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且
其中，多个正向整形和/或多个逆向整形在所述视频区域的整形模式下被应用。
41.根据权利要求40的方法，其中，所述视频区域包括图片、片组、虚拟管道数据单元(VPDU)、编解码树单元(CTU)、行或多个编解码单元。
42.根据权利要求40或41所述的方法，其中，如何选择所述多个正向整形和/或所述多个逆向整形取决于以下中的至少一个：i)块大小或视频区域大小，ii)所述当前视频块或所述视频区域的编解码模式，iii)所述当前视频块或所述视频区域的图片类型，iv)所述当前视频块或所述视频区域的低延迟检查标志，v)所述当前视频块或所述视频区域的运动信息，vi)所述当前视频块或所述视频区域的参考图片，或vii)所述当前视频块或所述视频区域的视频内容。
43.根据权利要求1至42中任一项所述的方法，其中，在所述转换期间，所述第一域中的样点被映射到所述第二域中的样点，其中所述第二域中的样点的值小于所述第一域中的样点的值。
44.根据权利要求1至43中任一项所述的方法，其中，所述第一域是原始域，并且所述第二域是使用用以将亮度样点映射到特定值的亮度映射与色度缩放(LMCS)方法的整形域。
45.根据权利要求44所述的方法，其中，所述LMCS使用分段线性模型将所述亮度样点映射到所述特定值。
46.根据权利要求1-45中任一项所述的方法，其中，执行所述转换包括从所述当前块生成所述编解码表示。
47.根据权利要求1-45中任一项所述的方法，其中，执行所述转换包括从所述编解码表示生成所述当前块。
48.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器实施根据权利要求1至47中任一项所述的方法。
49.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于执行根据权利要求1至47中任一项所述的方法的程序代码。
CN202080012239.4A 2019-02-01 2020-02-01 对环路整形的限制 Pending CN113366833A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
CN2019074437 2019-02-01
CNPCT/CN2019/074437 2019-02-01
CNPCT/CN2019/078185 2019-03-14
CN2019078185 2019-03-14
CN2019079393 2019-03-23
CNPCT/CN2019/079393 2019-03-23
PCT/CN2020/074143 WO2020156532A1 (en) 2019-02-01 2020-02-01 Restrictions on in-loop reshaping

Publications (1)

Publication Number Publication Date
CN113366833A true CN113366833A (zh) 2021-09-07

Family

ID=71840381

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202080012239.4A Pending CN113366833A (zh) 2019-02-01 2020-02-01 对环路整形的限制
CN202080012237.5A Pending CN113994668A (zh) 2019-02-01 2020-02-01 基于环路整形的滤波过程
CN202080012242.6A Pending CN113424528A (zh) 2019-02-01 2020-02-01 环路整形和块差分脉冲编解码调制之间的相互作用
CN202080012236.0A Pending CN113475079A (zh) 2019-02-01 2020-02-01 环路整形和帧内块复制之间的相互作用

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202080012237.5A Pending CN113994668A (zh) 2019-02-01 2020-02-01 基于环路整形的滤波过程
CN202080012242.6A Pending CN113424528A (zh) 2019-02-01 2020-02-01 环路整形和块差分脉冲编解码调制之间的相互作用
CN202080012236.0A Pending CN113475079A (zh) 2019-02-01 2020-02-01 环路整形和帧内块复制之间的相互作用

Country Status (4)

Country Link
US (2) US11627333B2 (zh)
CN (4) CN113366833A (zh)
AU (1) AU2020213583B2 (zh)
WO (8) WO2020156533A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113366833A (zh) 2019-02-01 2021-09-07 北京字节跳动网络技术有限公司 对环路整形的限制
CN113366841B (zh) 2019-02-01 2024-09-20 北京字节跳动网络技术有限公司 配置用于视频编解码的依赖于亮度的色度残差缩放
KR102661416B1 (ko) * 2019-02-27 2024-04-25 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 대응하는 방법
WO2020177702A1 (en) * 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Two-level signaling of filtering information in video processing
KR20230004921A (ko) * 2019-03-07 2023-01-06 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
WO2020182093A1 (en) 2019-03-08 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Signaling of reshaping information in video processing
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
KR20210139272A (ko) 2019-03-23 2021-11-22 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링 파라미터 세트들에 대한 제한들
CA3135973A1 (en) 2019-04-23 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Methods for cross component dependency reduction
KR102641796B1 (ko) 2019-05-08 2024-03-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 교차-성분 코딩의 적용가능성에 대한 조건들
MX2021014971A (es) * 2019-06-17 2022-01-24 Lg Electronics Inc Codificacion de video o imagen en base a mapeo de luma y escalado de croma.
CN113475073B (zh) * 2019-06-17 2024-07-23 Lg电子株式会社 基于亮度映射的视频或图像编译
CN118018729A (zh) 2019-06-20 2024-05-10 Lg电子株式会社 图像解码和编码方法、数据的发送方法及存储介质
CN114175651A (zh) 2019-06-20 2022-03-11 Lg电子株式会社 基于亮度映射和色度缩放的视频或图像编码
CN114128273B (zh) 2019-06-20 2023-11-17 Lg电子株式会社 图像解码和编码方法及用于图像的数据的发送方法
EP3973707A4 (en) 2019-06-22 2022-08-31 Beijing Bytedance Network Technology Co., Ltd. CHROMA REST SCALE SYNTAX ELEMENT
WO2020262921A1 (ko) 2019-06-24 2020-12-30 엘지전자 주식회사 루마 맵핑 기반 비디오 또는 영상 코딩
WO2020262952A1 (ko) 2019-06-24 2020-12-30 엘지전자 주식회사 루마 샘플들의 맵핑 및 크로마 샘플들의 스케일링 기반 비디오 또는 영상 코딩
KR20220003115A (ko) 2019-06-24 2022-01-07 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
EP3977738A4 (en) 2019-07-07 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. SIGNALING OF CHROMA RESIDUAL SCALE
WO2021030788A1 (en) 2019-08-15 2021-02-18 Bytedance Inc. Entropy coding for palette escape symbol
JP7494289B2 (ja) 2019-08-15 2024-06-03 バイトダンス インコーポレイテッド 異なるパーティション構造をもつパレット・モード
CN114424545B (zh) 2019-09-19 2024-07-16 字节跳动有限公司 用于调色板模式的量化参数推导
WO2022228420A1 (en) * 2021-04-27 2022-11-03 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
US11622106B2 (en) * 2021-05-17 2023-04-04 Meta Platforms, Inc. Supporting multiple partition sizes using a unified pixel input data interface for fetching reference pixels in video encoders
CN118476221A (zh) * 2021-10-28 2024-08-09 抖音视界有限公司 用于视频处理的方法、装置和介质

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544284A (en) 1992-02-11 1996-08-06 Eastman Kodak Company Sequential product code quantization of digital color image
US20020145610A1 (en) * 1999-07-16 2002-10-10 Steve Barilovits Video processing engine overlay filter scaler
US7412003B2 (en) * 2003-09-17 2008-08-12 Texas Instruments Incorporated Transcoders and methods
JP6005520B2 (ja) * 2009-12-04 2016-10-12 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 映像符号化及び復号化におけるインターフレームの改善された色度変換の方法及び装置
US9100661B2 (en) 2010-04-05 2015-08-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using dynamic-range transformation, and method and apparatus for decoding video by using dynamic-range transformation
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8630356B2 (en) 2011-01-04 2014-01-14 The Chinese University Of Hong Kong High performance loop filters in video compression
US9872015B2 (en) 2011-04-21 2018-01-16 Hfi Innovation Inc. Method and apparatus for improved in-loop filtering
US9277228B2 (en) 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
KR20130053645A (ko) 2011-11-15 2013-05-24 한국전자통신연구원 적응적 루프 필터를 이용한 비디오 부호화/복호화 방법 및 장치
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
CN104205819B (zh) 2012-02-01 2017-06-30 诺基亚技术有限公司 用于视频编码的方法和装置
US9300984B1 (en) 2012-04-18 2016-03-29 Matrox Graphics Inc. Independent processing of data streams in codec
WO2014053518A1 (en) 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
CN105453564B (zh) 2013-07-30 2019-05-10 株式会社Kt 支持多个层的图像编码和解码方法以及使用该方法的装置
KR102027027B1 (ko) * 2013-10-07 2019-09-30 브이아이디 스케일, 인크. 다계층 비디오 코딩을 위해 조합된 확장성 프로세싱
US10397607B2 (en) * 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
US10148895B2 (en) 2013-12-19 2018-12-04 Flir Systems Ab Generating a combined infrared/visible light image having an enhanced transition between different types of image information
TWI536811B (zh) * 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
WO2015100522A1 (en) 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
US9948933B2 (en) * 2014-03-14 2018-04-17 Qualcomm Incorporated Block adaptive color-space conversion coding
KR102268090B1 (ko) * 2014-03-14 2021-06-23 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 팔레트 코딩
ES2744795T3 (es) 2014-05-28 2020-02-26 Koninklijke Philips Nv Métodos y aparatos para codificar unas imágenes HDR, y métodos y aparatos para usar tales imágenes codificadas
US9948949B2 (en) * 2014-06-20 2018-04-17 Qualcomm Incorporated Intra block copy block vector signaling for video coding
US9667829B2 (en) * 2014-08-12 2017-05-30 Digimarc Corporation System and methods for encoding information for printed articles
WO2016057323A1 (en) * 2014-10-06 2016-04-14 Huawei Technologies Co., Ltd. Improved palette mode in high efficiency video coding (hevc) screen content coding (scc)
GB2531005A (en) * 2014-10-06 2016-04-13 Canon Kk Improved encoding process using a palette mode
CN104320671A (zh) * 2014-11-13 2015-01-28 山东财经大学 一种基于h.264标准的在线视频转码方法
KR102150979B1 (ko) * 2014-12-19 2020-09-03 에이치에프아이 이노베이션 인크. 비디오 및 이미지 코딩에서의 비-444 색채 포맷을 위한 팔레트 기반 예측의 방법
WO2016115343A2 (en) 2015-01-14 2016-07-21 Vid Scale, Inc. Palette coding for non-4:4:4 screen content video
US9998742B2 (en) 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
US9591325B2 (en) * 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
CN107439012B (zh) 2015-04-06 2018-09-25 杜比实验室特许公司 用于环内转换的方法、装置和计算机可读存储介质
CN107637057A (zh) 2015-06-03 2018-01-26 联发科技股份有限公司 图像和视频数据的调色板编解码方法
GB2539211A (en) * 2015-06-08 2016-12-14 Canon Kk Enhanced coding and decoding using intra block copy mode
TWI816224B (zh) * 2015-06-08 2023-09-21 美商Ｖｉｄ衡器股份有限公司 視訊解碼或編碼方法及裝置
WO2017019818A1 (en) 2015-07-28 2017-02-02 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
EP3354032A1 (en) 2015-09-21 2018-08-01 VID SCALE, Inc. Inverse reshaping for high dynamic range video coding
US20170105014A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Luma-driven chroma scaling for high dynamic range and wide color gamut contents
EP3367681B1 (en) * 2015-10-22 2021-03-24 LG Electronics Inc. Modeling-based image decoding method and device in image coding system
CN106937121B (zh) * 2015-12-31 2021-12-10 中兴通讯股份有限公司 图像解码和编码方法、解码和编码装置、解码器及编码器
US20190045224A1 (en) 2016-02-04 2019-02-07 Mediatek Inc. Method and apparatus of non-local adaptive in-loop filters in video coding
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
US10701375B2 (en) 2016-03-23 2020-06-30 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
US20170310969A1 (en) * 2016-04-20 2017-10-26 Mediatek Inc. Image encoding method and apparatus with color space transform performed upon predictor and associated image decoding method and apparatus
EP3244616A1 (en) 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
CN109155853B (zh) * 2016-05-19 2023-03-28 杜比实验室特许公司 用于高动态范围图像的色度整形
US10645403B2 (en) 2016-05-19 2020-05-05 Dolby Laboratories Licensing Corporation Chroma reshaping for high dynamic range images
PL3731527T3 (pl) * 2016-05-28 2023-01-09 Hfi Innovation Inc. Sposób i urządzenie do kodowania w trybie palety dla danych kolorowego wideo
CN113453000B (zh) 2016-07-22 2024-01-12 夏普株式会社 使用自适应分量缩放对视频数据进行编码的系统和方法
WO2018044803A1 (en) 2016-08-30 2018-03-08 Dolby Laboratories Licensing Corporation Real-time reshaping of single-layer backwards-compatible codec
EP3510772B1 (en) 2016-09-09 2020-12-09 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
EP3509298A4 (en) * 2016-09-30 2020-07-22 LG Electronics Inc. -1- METHOD AND DEVICE FOR BLOCK PARTITIONING AND INTRAPREDICATION IN AN IMAGE CODING SYSTEM
EP3529986A1 (en) * 2016-12-23 2019-08-28 Huawei Technologies Co., Ltd. Low complexity mixed domain collaborative in-loop filter for lossy video coding
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US11025903B2 (en) 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
US10694181B2 (en) * 2017-01-27 2020-06-23 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity
US10735761B2 (en) * 2017-05-19 2020-08-04 Mediatek Inc Method and apparatus of video coding
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
US20190007699A1 (en) 2017-06-28 2019-01-03 Futurewei Technologies, Inc. Decoder Side Motion Vector Derivation in Video Coding
JP7164535B2 (ja) * 2017-06-29 2022-11-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 統合された画像再構成及び映像符号化
US10757442B2 (en) * 2017-07-05 2020-08-25 Qualcomm Incorporated Partial reconstruction based template matching for motion vector derivation
CN107360433B (zh) * 2017-07-20 2020-06-19 北京奇艺世纪科技有限公司 一种帧间预测编码方法和装置
US20200322606A1 (en) * 2017-10-24 2020-10-08 Sharp Kabushiki Kaisha Systems and methods for determining quantization parameter predictive values
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
UA126871C2 (uk) 2018-02-14 2023-02-15 Долбі Лабораторіс Лайсензін Корпорейшн Перетворення зображення в кодуванні відео з використанням оптимізації залежності викривлення від швидкості передачі
US10757428B2 (en) * 2018-10-10 2020-08-25 Apple Inc. Luma and chroma reshaping of HDR video encoding
CN118612424A (zh) 2018-10-22 2024-09-06 松下电器（美国）知识产权公司 编码装置、解码装置、发送装置以及非暂时性存储介质
WO2020086421A1 (en) 2018-10-25 2020-04-30 Interdigital Vc Holdings, Inc. Video encoding and decoding using block-based in-loop reshaping
JP7354241B2 (ja) 2018-11-07 2023-10-02 華為技術有限公司 ビデオエンコーダ、ビデオデコーダ、及び対応する方法
US11122264B2 (en) 2018-12-06 2021-09-14 Qualcomm Incorporated Adaptive loop filter (ALF) coefficients in video coding
US11647188B2 (en) 2019-01-04 2023-05-09 Interdigital Vc Holdings, Inc. Inverse mapping simplification
CN113366841B (zh) 2019-02-01 2024-09-20 北京字节跳动网络技术有限公司 配置用于视频编解码的依赖于亮度的色度残差缩放
CN113366833A (zh) 2019-02-01 2021-09-07 北京字节跳动网络技术有限公司 对环路整形的限制
US11516512B2 (en) 2019-03-04 2022-11-29 Alibaba Group Holding Limited Method and system for processing video content
US10742972B1 (en) 2019-03-08 2020-08-11 Tencent America LLC Merge list construction in triangular prediction
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
US11388406B2 (en) 2019-05-20 2022-07-12 Dolby Laboratories Licensing Corporation Piece-wise-linear mapping for in-loop reshaping in image coding
US11509938B2 (en) 2019-11-05 2022-11-22 Hfi Innovation Inc. Method and apparatus of signaling subpicture information in video coding
US20210168406A1 (en) 2019-11-29 2021-06-03 Tencent America LLC Signaling of video coding tools supporting various chroma formats
US11303914B2 (en) 2020-01-08 2022-04-12 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
CN113475079A (zh) 2021-10-01
US20210297669A1 (en) 2021-09-23
AU2020213583A1 (en) 2021-08-12
WO2020156526A1 (en) 2020-08-06
US20210297679A1 (en) 2021-09-23
WO2020156532A1 (en) 2020-08-06
AU2020213583B2 (en) 2023-06-01
CN113994668A (zh) 2022-01-28
WO2020156530A1 (en) 2020-08-06
WO2020156528A1 (en) 2020-08-06
WO2020156534A1 (en) 2020-08-06
WO2020156535A1 (en) 2020-08-06
US11627333B2 (en) 2023-04-11
WO2020156529A1 (en) 2020-08-06
WO2020156533A1 (en) 2020-08-06
CN113424528A (zh) 2021-09-21
AU2020213583A8 (en) 2021-08-26
US11553203B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
CN113574889B (zh) 环路整形信息的信令和语法
AU2020213583B2 (en) Signaling of in-loop reshaping information using parameter sets
CN113366841B (zh) 配置用于视频编解码的依赖于亮度的色度残差缩放
CN113632469A (zh) 默认的环内整形参数
KR102712508B1 (ko) 비디오 코딩을 위한 루마 종속적 크로마 잔차 스케일링의 구성
WO2020182219A1 (en) Signaling and syntax for in-loop reshaping information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination