CN115552895A - 用于渐进解码刷新的具有色度缩放的亮度映射 - Google Patents

用于渐进解码刷新的具有色度缩放的亮度映射 Download PDF

Info

Publication number
CN115552895A
CN115552895A CN202180034197.9A CN202180034197A CN115552895A CN 115552895 A CN115552895 A CN 115552895A CN 202180034197 A CN202180034197 A CN 202180034197A CN 115552895 A CN115552895 A CN 115552895A
Authority
CN
China
Prior art keywords
chroma
picture
scaling
region
luma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180034197.9A
Other languages
English (en)
Inventor
王利民
洪承郁
K·帕纽索庞
M·M·安尼克塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN115552895A publication Critical patent/CN115552895A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种方法、装置和计算机程序产品,用于管理针对渐进解码刷新(GDR)图片的具有色度缩放的亮度映射(LMCS)过程。在方法上下文中,该方法访问要解码的图片,并且确定图片是否在GDR时段内。该方法还可以防止对在GDR时段内的图片应用LMCS解码过程。另一种方法可以确定虚拟边界是否在具有GDR时段的图片的当前编码树单元内,如果是,则防止与LMCS相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元。另一种方法可以针对与LMCS相关联的色度残差缩放解码过程而从干净区域中的一个或多个重构像素填充相邻像素区域。

Description

用于渐进解码刷新的具有色度缩放的亮度映射
技术领域
示例实施例总体上涉及视频编码技术,并且更具体地涉及具有色度缩放的亮度映射过程的高效管理的技术。
背景技术
在诸如高级视频编码(AVC)、高效视频编码(HEVC)和/或通用视频编码(VVC)等视频编码设计中,编码视频序列可以包括帧内编码图片和帧间编码图片。帧内编码图片通常比帧间编码图片使用更多比特,因此帧内编码图片的传输时间会增加编码器到解码器延迟。对于低延迟应用,可能需要所有编码图片使用相似数目的比特,以便编码器到解码器延迟可以减少到大约一个图片间隔。因此,帧内编码图片不适合(超)低延迟应用。然而,在随机接入点处可能需要帧内编码图片。
诸如渐进解码刷新(GDR)、渐进随机存取(GRA)和渐进式帧内刷新(PIR)等方法可以缓解帧内编码图片的延迟问题。GDR不是在随机接入点处对帧内图片进行编码,而是通过将帧内编码区域扩展到若干图片之上来逐步刷新图片。然而,GDR可能会遇到与某些编码工具的不兼容性和/或其他问题,诸如具有色度缩放的亮度映射(LMCS),这是作为解码过程的一部分而应用的过程,其将亮度样本映射到特定值,并且可以对色度样本的值应用缩放操作。
发明内容
在一个实施例中,提供了一种装置,该装置包括至少一个处理器和包含计算机程序代码的至少一个存储器,至少一个存储器和计算机程序代码被配置为与至少一个处理器一起引起该装置访问要解码的图片。至少一个存储器和计算机程序代码还被配置为与至少一个处理器一起引起该装置确定图片是否在渐进解码刷新时段内。至少一个存储器和计算机程序代码还被配置为与至少一个处理器一起引起该装置:在图片在渐进解码刷新时段内的情况下防止具有色度缩放的亮度映射解码过程被应用于图片。
在该装置的一些实施例中,具有色度缩放的亮度映射解码过程包括与具有色度缩放的亮度映射相关联的所有解码过程。在该装置的一些实施例中,具有色度缩放的亮度映射解码过程仅包括与具有色度缩放的亮度映射相关联的色度残差缩放解码过程。在该装置的一些实施例中,无论图片是否在渐进解码刷新时段内,具有色度缩放的亮度映射解码过程的防止都被应用。在该装置的一些实施例中,具有色度缩放的亮度映射解码过程的防止还基于与图片内的虚拟边界相关联的启用值。在该装置的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种装置,该装置包括用于访问要解码的图片的部件。该装置还包括用于确定图片是否在渐进解码刷新时段内的部件。该装置还包括用于在图片在渐进解码刷新时段内的情况下防止具有色度缩放的亮度映射解码过程被应用于图片的部件。在一些实施例中,具有色度缩放的亮度映射解码过程包括与具有色度缩放的亮度映射相关联的所有解码过程。在一些实施例中,具有色度缩放的亮度映射解码过程仅包括与具有色度缩放的亮度映射相关联的色度残差缩放解码过程。在该装置的一些实施例中,无论图片是否在渐进解码刷新时段内,具有色度缩放的亮度映射解码过程的防止都被应用。在该装置的一些实施例中,具有色度缩放的亮度映射解码过程的防止还基于与图片内的虚拟边界相关联的启用值。在该装置的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种计算机程序产品,该计算机程序产品包括非暂态计算机可读存储介质,该非暂态计算机可读存储介质上存储有程序代码部分,该程序代码部分被配置为在执行时访问要解码的图片。该程序代码部分还被配置为在执行时确定图片是否在渐进解码刷新时段内。该程序代码部分还被配置为在执行时:在图片在渐进解码刷新时段内的情况下,防止具有色度缩放的亮度映射解码过程被应用于图片。
在该计算机程序产品的一些实施例中,具有色度缩放的亮度映射解码过程包括与具有色度缩放的亮度映射相关联的所有解码过程。在该计算机程序产品的一些实施例中,具有色度缩放的亮度映射解码过程仅包括与具有色度缩放的亮度映射相关联的色度残差缩放解码过程。在该计算机程序产品的一些实施例中,无论图片是否在渐进解码刷新时段内,具有色度缩放的亮度映射解码过程的防止都被应用。在该计算机程序产品的一些实施例中,具有色度缩放的亮度映射解码过程的防止还基于与图片内的虚拟边界相关联的启用值。在该计算机程序产品的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种方法,该方法包括访问要解码的图片。该方法还包括确定图片是否在渐进解码刷新时段内。该方法还包括:在图片在渐进解码刷新时段内的情况下,防止具有色度缩放的亮度映射解码过程被应用于图片。在该方法的一些实施例中,具有色度缩放的亮度映射解码过程包括与具有色度缩放的亮度映射相关联的所有解码过程。在该方法的一些实施例中,具有色度缩放的亮度映射解码过程仅包括与具有色度缩放的亮度映射相关联的色度残差缩放解码过程。在该方法的一些实施例中,无论图片是否在渐进解码刷新时段内,具有色度缩放的亮度映射解码过程的防止都被应用。在该方法的一些实施例中,具有色度缩放的亮度映射解码过程的防止还基于与图片内的虚拟边界相关联的启用值。在该方法的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种装置,该装置包括至少一个处理器和包含计算机程序代码的至少一个存储器,至少一个存储器和计算机程序代码被配置为与至少一个处理器一起引起该装置访问渐进解码刷新时段内要解码的图片。至少一个存储器和计算机程序代码还被配置为与至少一个处理器一起引起该装置确定虚拟边界是否在图片的当前编码树单元内,虚拟边界定义图片的干净区域和脏区域的分隔。至少一个存储器和计算机程序代码还被配置为与至少一个处理器一起引起该装置:在虚拟边界在当前编码树单元内的情况下,防止与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元。
在该装置的一些实施例中,无论图片是否在渐进解码刷新时段内,与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元的防止都被应用。在该装置的一些实施例中,与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元的防止还基于与图片内的虚拟边界相关联的启用值。在该装置的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种装置,该装置包括用于访问渐进解码刷新时段内要解码的图片的部件。该装置还包括用于确定虚拟边界是否在图片的当前编码树单元内的部件,虚拟边界定义图片的干净区域和脏区域的分隔。该装置还包括:用于在虚拟边界在当前编码树单元内的情况下防止与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元的部件。
在该装置的一些实施例中,无论图片是否在渐进解码刷新时段内,与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元的防止都被应用。在该装置的一些实施例中,与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元的防止还基于与图片内的虚拟边界相关联的启用值。在该装置的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种计算机程序产品,该计算机程序产品包括非暂态计算机可读存储介质,该非暂态计算机可读存储介质上存储有程序代码部分,该程序代码部分被配置为在执行时:访问渐进解码刷新时段内要解码的图片。该程序代码部分还被配置为在执行时:确定虚拟边界是否在图片的当前编码树单元内,虚拟边界定义图片的干净区域和脏区域的分隔。该程序代码部分还被配置为在执行时:在虚拟边界在当前编码树单元内的情况下,防止与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元。
在该计算机程序产品的一些实施例中,无论图片是否在渐进解码刷新时段内,与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元的防止都被应用。在该计算机程序产品的一些实施例中,与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元的防止还基于与图片内的虚拟边界相关联的启用值。在该计算机程序产品的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种方法,该方法包括访问渐进解码刷新时段内要解码的图片。该方法还包括确定虚拟边界是否在图片的当前编码树单元内,虚拟边界定义图片的干净区域和脏区域的分隔。该方法还包括:在虚拟边界在当前编码树单元内的情况下,防止与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元。
在该方法的一些实施例中,无论图片是否在渐进解码刷新时段内,与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元的防止都被应用。在该方法的一些实施例中,与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元的防止还基于与图片内的虚拟边界相关联的启用值。在该方法的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种装置,该装置包括至少一个处理器和包含计算机程序代码的至少一个存储器,至少一个存储器和计算机程序代码被配置为与至少一个处理器一起引起该装置:访问渐进解码刷新时段内要解码的图片的当前编码单元,当前编码单元位于干净区域内。至少一个存储器和计算机程序代码还被配置为与至少一个处理器一起引起该装置:确定相邻像素区域内的一个或多个像素是否在脏区域内。至少一个存储器和计算机程序代码还被配置为与至少一个处理器一起引起该装置:在相邻像素区域内的一个或多个像素被确定为在脏区域内的情况下,防止相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程。
在该装置的一些实施例中,无论图片是否在渐进解码刷新时段内,相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的防止都被应用。在该装置的一些实施例中,相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的防止还基于与图片内的虚拟边界相关联的启用值。在该装置的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种装置,该装置包括用于访问渐进解码刷新时段内要解码的图片的当前编码单元的部件,当前编码单元位于干净区域内。该装置还包括用于确定相邻像素区域内的一个或多个像素是否在脏区域内的部件。该装置还包括用于在相邻像素区域内的一个或多个像素被确定为在脏区域内的情况下防止相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的部件。
在该装置的一些实施例中,无论图片是否在渐进解码刷新时段内,相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的防止都被应用。在该装置的一些实施例中,相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的防止还基于与图片内的虚拟边界相关联的启用值。在该装置的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种计算机程序产品,该计算机程序产品包括非暂态计算机可读存储介质,该非暂态计算机可读存储介质上存储有程序代码部分,该程序代码部分被配置为在执行时:访问渐进解码刷新时段内要解码的图片的当前编码单元,当前编码单元位于干净区域内。该程序代码部分还被配置为在执行时:确定相邻像素区域内的一个或多个像素是否在脏区域内。该程序代码部分还被配置为在执行时:在相邻像素区域内的一个或多个像素被确定为在脏区域内的情况下,防止相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程。
在该计算机程序产品的一些实施例中,无论图片是否在渐进解码刷新时段内,相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的防止都被应用。在该计算机程序产品的一些实施例中,相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的防止还基于与图片内的虚拟边界相关联的启用值。在该计算机程序产品的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种方法,该方法包括访问渐进解码刷新时段内要解码的图片的当前编码单元,当前编码单元位于干净区域内。该方法还包括确定相邻像素区域内的一个或多个像素是否在脏区域内。该方法还包括在相邻像素区域内的一个或多个像素被确定为在脏区域内的情况下,防止相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程。
在该方法的一些实施例中,无论图片是否在渐进解码刷新时段内,相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的防止都被应用。在该方法的一些实施例中,相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的防止还基于与图片内的虚拟边界相关联的启用值。在该方法的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种装置,该装置包括至少一个处理器和包含计算机程序代码的至少一个存储器,至少一个存储器和计算机程序代码被配置为与至少一个处理器一起引起该装置:访问渐进解码刷新时段内要解码的图片的当前编码单元,当前编码单元位于干净区域内。至少一个存储器和计算机程序代码还被配置为与至少一个处理器一起引起该装置:确定相邻像素区域内的一个或多个像素是否在脏区域内。至少一个存储器和计算机程序代码还被配置为与至少一个处理器一起引起该装置:在相邻像素区域内的一个或多个像素被确定为在脏区域内的情况下,针对与具有色度缩放的亮度映射相关联的色度缩放解码过程,从干净区域中的一个或多个重构像素填充相邻像素区域。
在该装置的一些实施例中,无论图片是否在渐进解码刷新时段内,针对与具有色度缩放的亮度映射相关联的色度缩放解码过程而从干净区域中的一个或多个重构像素对相邻像素区域的填充都被应用。在该装置的一些实施例中,针对与具有色度缩放的亮度映射相关联的色度缩放解码过程而从干净区域中的一个或多个重构像素对相邻像素区域的填充还基于与图片内的虚拟边界相关联的启用值。在该装置的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种装置,该装置包括用于访问渐进解码刷新时段内要解码的图片的当前编码单元的部件,当前编码单元位于干净区域内。该装置还包括用于确定相邻像素区域内的一个或多个像素是否在脏区域内的部件。该装置还包括用于在相邻像素区域内的一个或多个像素被确定为在脏区域内的情况下针对与具有色度缩放的亮度映射相关联的色度残差缩放解码过程而从干净区域中的一个或多个重构像素填充相邻像素区域的部件。
在该装置的一些实施例中,无论图片是否在渐进解码刷新时段内,针对与具有色度缩放的亮度映射相关联的色度缩放解码过程而从干净区域中的一个或多个重构像素对相邻像素区域的填充都被应用。在该装置的一些实施例中,针对与具有色度缩放的亮度映射相关联的色度缩放解码过程而从干净区域中的一个或多个重构像素对相邻像素区域的填充还基于与图片内的虚拟边界相关联的启用值。在该装置的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种计算机程序产品,该计算机程序产品包括非暂态计算机可读存储介质,该非暂态计算机可读存储介质上存储有程序代码部分,该程序代码部分被配置为在执行时:访问渐进解码刷新时段内要解码的图片的当前编码单元,当前编码单元位于干净区域内。该程序代码部分还被配置为在执行时:确定相邻像素区域内的一个或多个像素是否在脏区域内。该程序代码部分还被配置为在执行时:在相邻像素区域内的一个或多个像素被确定为在脏区域内的情况下,针对与具有色度缩放的亮度映射相关联的色度残差缩放解码过程,从干净区域中的一个或多个重构像素填充相邻像素区域。
在该计算机程序产品的一些实施例中,无论图片是否在渐进解码刷新时段内,针对与具有色度缩放的亮度映射相关联的色度缩放解码过程而从干净区域中的一个或多个重构像素对相邻像素区域的填充都被应用。在该计算机程序产品的一些实施例中,针对与具有色度缩放的亮度映射相关联的色度缩放解码过程而从干净区域中的一个或多个重构像素对相邻像素区域的填充还基于与图片内的虚拟边界相关联的启用值。在该计算机程序产品的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
在另一实施例中,提供了一种方法,该方法包括访问渐进解码刷新时段内要解码的图片的当前编码单元,当前编码单元位于干净区域内。该方法还包括确定相邻像素区域内的一个或多个像素是否在脏区域内。该方法还包括:在相邻像素区域内的一个或多个像素被确定为在脏区域内的情况下,针对与具有色度缩放的亮度映射相关联的色度残差缩放解码过程,从干净区域中的一个或多个重构像素填充相邻像素区域。
在该方法的一些实施例中,无论图片是否在渐进解码刷新时段内,针对与具有色度缩放的亮度映射相关联的色度缩放解码过程而从干净区域中的一个或多个重构像素对相邻像素区域的填充都被应用。在该方法的一些实施例中,针对与具有色度缩放的亮度映射相关联的色度缩放解码过程而从干净区域中的一个或多个重构像素对相邻像素区域的填充还基于与图片内的虚拟边界相关联的启用值。在该方法的一些实施例中,与虚拟边界相关联的启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
附图说明
在概括地描述了本公开的某些示例实施例之后,以下将参考附图,这些附图不一定按比例绘制,在附图中:
图1是根据本公开的示例实施例的GDR时段内的示例图片的表示,其中干净区域和脏区域由虚拟边界分隔;
图2是根据本公开的示例实施例的示例编码树单元的表示;
图3是可以根据本公开的示例实施例具体配置的装置的框图;
图4A是示出根据示例实施例而执行的操作的流程图;
图4B是组合帧间帧内预测权重推导期间顶部和左侧相邻块的示例用法的表示;
图4C是组合帧间帧内预测权重推导期间顶部和左侧相邻块的示例用法的表示;
图5A是示出根据示例实施例而执行的操作的流程图;
图5B是根据示例实施例的VVC规范的解码过程中的特定变化的表示;
图6A是示出根据示例实施例而执行的操作的流程图;
图6B是根据示例实施例的VVC规范的解码过程中的特定变化的表示;
图7A是示出根据示例实施例而执行的操作的流程图;以及
图7B是根据示例实施例的VVC规范的解码过程中的特定变化的表示。
具体实施方式
下面将参考附图更全面地描述本公开的一些实施例,附图中示出了本公开的部分而非全部实施例。实际上,一些实施例可以以很多不同的形式体现,而不应当被解释为仅限于本文所述的实施例;相反,提供这些实施例以便本公开能够满足适用的法律要求。相似的附图标记始终指代相似的元素。如本文中使用的,术语“数据”、“内容”、“信息”和类似术语可以互换使用,以指代能够根据本公开的实施例进行传输、接收和/或存储的数据。因此,任何这样的术语的使用不应当被视为限制本公开的实施例的精神和范围。
此外,如本文中使用的,术语“电路系统”是指(a)仅硬件电路实现(例如,模拟电路系统和/或数字电路系统中的实现);(b)电路和(多个)计算机程序产品的组合,包括存储在一个或多个计算机可读存储器上的软件和/或固件指令,这些指令一起工作以引起装置执行本文所述的一个或多个功能;以及(c)即使软件或固件在物理上不存在也需要软件或固件来操作的电路,诸如(多个)微处理器或(多个)微处理器的一部分。“电路系统”的这一定义适用于本术语在本文中的所有使用,包括在任何权利要求中。作为另一示例,如本文中使用的,术语“电路系统”还包括包含一个或多个处理器和/或其(多个)部分以及附带的软件和/或固件的实现。作为另一示例,本文中使用的术语“电路系统”还包括例如用于移动电话的基带集成电路或应用处理器集成电路、或者服务器、蜂窝网络设备、其他网络设备(诸如核心网装置)、现场可编程门阵列和/或其他计算设备中的类似集成电路。
概述
如上所述,GDR方法可以缓解帧内编码图片的延迟问题。GDR不是在随机接入点处对帧内图片进行编码,而是通过将帧内编码区域扩展到GDR时段的若干图片之上来逐步刷新图片。GDR时段内的典型图片包括干净区域(例如,经历过帧内刷新的区域)和脏区域(例如,尚未经历帧内刷新的区域),其中干净区域可以包含在脏区域旁边的强制帧内区域,该强制帧内区域用于渐进式帧内刷新(PIR)。
通用视频编码(VVC)规范的图片报头包括虚拟边界语法。使用图片报头中包括的虚拟边界语法,图片可以具有自己的虚拟边界。例如,虚拟边界可以是定义干净区域与脏区域之间边界的水平线或垂直线。
图1示出了具有垂直虚拟边界的垂直GDR的示例,其中GDR时段以图片POC(n)开始,并且以图片POC(n+N-1)结束,总共包括n个图片。GDR时段内的第一图片POC(n)称为GDR图片。强制帧内编码区域105在GDR时段内从左到右逐渐扩展到N个图片之上,并且干净区域110从图片POC(n)逐渐扩展到图片POC(N+n-1)。图片POC(n+N)称为恢复点图片。虚拟边界120将GDR时段的图片POC(n+1)的干净区域(110和105)和脏区域115分隔开。GDR时段内的当前图片包括干净区域和脏区域,其中干净区域可以包含在脏区域旁边的强制帧内区域,该强制帧内区域用于渐进式帧内刷新(PIR),如图1中的图片POC(n+1)所示。干净区域与脏区域之间的虚拟边界120可以由图片报头中的虚拟边界语法发信号通知。在GDR中,如果在恢复点处需要exact_match,则干净区域中的编码单元(CU)不能使用脏区域中的任何编码信息(例如,重构像素、编码模式、运动矢量(MV)、参考索引(refldx)等)。
VVC中包括编码工具,该编码工具称为具有色度缩放的亮度映射(LMCS)。LMCS是一个作为解码过程的一部分而应用的过程,它将亮度样本映射到特定值,并且可以对色度样本的值应用缩放操作。根据当前VVC规范(B.Bross、J.Chen、S.Lin和Y-K.Wang的“VersatileVideo Coding”,JVET-Q2001-v13,2020年1月,其通过引用并入本文,以下简称“VVC规范”),干净区域的编码单元的LMCS可以使用脏区域的像素。因此,使用LMCS可能无法实现GDR的exact_match。
图2示出了干净区域中的CU的LMCS如何利用脏区域中的重构像素的示例,其中编码树单元(CTU)大小设置为128×128像素,并且虚拟边界穿过当前CTU,并且当前CTU内32×32的当前编码单元205位于干净区域中。
在VVC规范中,语法元素sps_log2_ctu_size_minus5被发信号通知,并且相关联的变量如下计算:
CtbSizeY=1<<(sps_log2_ctu_size_minus5+5),sizeY=Min(CtbSizeY,64)
对于当前CTU中的当前CU,数组recLuma[i](其中i=0,1,…,2*sizeY-1)定义为sizeY左侧重构相邻像素和sizeY上方重构相邻像素的集合,如图2所示,其中sizeY=64。
数组recLuma[i](其中i=0,1,…,2*sizeY-1)的平均值计算如下:
Figure BDA0003934659670000131
然后,使用上面计算的变量invAvgLuma确定色度残差的缩放因子varScale:
invAvgLuma→vatScale。
利用缩放因子varScale,当前CU的色度分量(Cb和Cr)因此如下重构,其中下标rec表示重构,pre表示预测,res表示残差:
Cbrec[i][j]=Cbpre[i][j]+Cbres[i][i]×varScale
Crrec[i][j]=Crpreu][j]+Crres[i][j]×varScale
然而,数组recLuma[i](其中i=0,1,…,2*sizeY-1)的某些元素可以位于脏区域内,并且因此在干净区域中当前CU的色度分量的最终重构可能会使用脏区域中重构的相邻亮度像素,这可能会导致泄漏并且导致无法实现exact_match。例如,如图2所示,对于当前CU 205,上述重构的相邻亮度像素210位于脏区域中。
示例装置
图3中描绘了可以配置为根据本文所述实施例执行操作的装置300的一个示例。如图3所示,该装置包括处理电路系统32、存储器34和通信接口36,与其相关联或与其通信。处理电路系统32可以通过总线与存储器通信,以便在装置的组件之间传递信息。存储器可以是非暂态的,并且可以包括例如一个或多个易失性和/或非易失性存储器。换言之,例如,存储器可以是电子存储设备(例如,计算机可读存储介质),该存储设备包括被配置为存储可以由机器(例如,计算设备,如处理电路系统)检索的数据(例如,位)的门。存储器可以被配置为存储信息、数据、内容、应用、指令等,以使得装置能够根据本公开的示例实施例执行各种功能。例如,存储器可以被配置为缓冲输入数据,以供处理电路系统处理。另外地或替代地,存储器可以被配置为存储供处理电路系统执行的指令。
在一些实施例中,装置100可以体现在各种计算设备中。然而,在一些实施例中,该装置可以体现为芯片或芯片组。换言之,装置可以包括一个或多个物理封装(例如,芯片),包括结构组件(例如,底板)上的材料、组件和/或电线。结构组件可以为其上包括的组件电路系统提供物理强度、尺寸守恒和/或电气交互限制。因此,在某些情况下,装置可以被配置为在单个芯片上或作为单个“片上系统”实现本公开的实施例。因此,在一些情况下,芯片或芯片组可以构成用于执行一个或多个操作以提供本文所述的功能的部件。
处理电路系统32可以以多种不同方式体现。例如,处理电路系统可以体现为一种或多种硬件处理部件,诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、带有或不带有伴随DSP的处理元件、或包括集成电路的各种其他电路系统,诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等。因此,在一些实施例中,处理电路系统可以包括被配置为独立执行的一个或多个处理核心。多核处理电路系统可以在单个物理封装内实现多处理。另外地或替代地,处理电路系统可以包括一个或多个处理器,该处理器通过总线串联配置以实现指令、流水线和/或多线程的独立执行。
在示例实施例中,处理电路系统32可以被配置为执行存储在存储器设备34中的指令或处理电路系统可以访问的指令。替代地或另外地,处理电路系统可以被配置为执行硬编码功能。因此,无论是通过硬件或软件方法配置,还是通过其组合配置,处理电路系统都可以表示实体(例如,物理上体现在电路系统中),该实体在相应配置时能够根据本公开的一个实施例执行操作。因此,例如,当处理电路系统被体现为ASIC、FPGA等时,处理电路系统可以是用于执行本文所述的操作的专门配置的硬件。替代地,作为另一示例,当处理电路系统被体现为指令的执行器时,指令可以将处理器具体配置为在执行被指令时执行本文所述的算法和/或操作。然而,在某些情况下,处理电路系统可以是特定设备(例如,图像或视频处理系统)的处理器,该处理器被配置为通过用于执行本文所述算法和/或操作的指令进一步配置处理电路系统来采用一个实施例。处理电路系统可以包括被配置为支持处理电路系统的操作的时钟、算术逻辑单元(ALU)和逻辑门。
通信接口36可以是任何部件,诸如以硬件或硬件和软件组合体现的设备或电路系统,该部件被配置为接收和/或传输数据,包括视频或图像文件形式的媒体内容、一个或多个音频曲目等。在这点上,通信接口可以包括例如天线(或多个天线)和支持硬件和/或软件,以实现与无线通信网络的通信。另外地或替代地,通信接口可以包括用于与(多个)天线交互以引起通过(多个)天线传输信号或处理通过(多个)天线接收的信号的电路系统。在某些环境中,替代地或另外地,通信接口也可以支持有线通信。例如,通信接口可以包括通信调制解调器和/或其他硬件/软件,以支持通过电缆、数字用户线(DSL)、通用串行总线(USB)或其他机制进行通信。
根据一些实施例,装置300可以按照用于提供视频编码、解码和/或压缩的架构进行配置。在这点上,装置300可以被配置为视频编码设备。例如,装置300可以被配置为根据一个或多个视频压缩标准(诸如VVC规范)编码视频。虽然本文中的某些实施例涉及与VVC标准相关联的操作,但值得注意的是,本文中讨论的过程可以用于任何视频编码标准。
用于GDR的LMCS的示例过程
在本文所述的实施例中,可以在图片报头语义中引入新变量WithinGdrPeriodFlag,如下表A1所示。
Figure BDA0003934659670000161
Figure BDA0003934659670000171
表A1
替代地,WithinGdrPeriodFlag可以如下导出:
当当前图片是GDR图片时,变量GdrPicOrderCntVal、RpPicOrderCntVal推导如下:
GdrPicOrderCntVal=PicOrderCntVal
RpPicOrderCntVal=GdrPicOrderCntVal+recovery_poc_cnt
对于当前图片,如果有任何GDR图片的GdrPicOrderCntVal小于或等于PicOrderCntVal并且RpPicOrderCntVal大于PicOrderCntVal,则变量WithinGdrPeriodFlag导出为等于1,否则导出为等于0。
上述用于结束GDR时段和WithinGdrPeriodFlag的推导仅仅是示例实施例,并且其他实施例也可以类似地实现。例如,上面的一些推导假定允许recovery_poc_cnt等于0(例如,GDR图片也是恢复点)。在一个示例中,推导过程根据recovery_poc_cnt的不同语义进行了调节,其中它指定GDR时段内的最后的图片而不是恢复点图片,并且因此也不允许GDR图片也是恢复点图片。在这种情况下,对于当前图片,如果有任何GDR图片的GdrPicOrderCntVal小于或等于PicOrderCntVal并且RpPicOrderCntVal大于或等于PicOrderCntVal,则变量WithinGdrPeriodFlag导出为等于1,否则导出为等于0。
在一个实施例中,编码器判断图片是否在GDR时段内,例如通过如上所述推导WithinGdrPeriodFlag。当图片被判定为在GDR时段内时,编码器关闭LMCS,例如,通过将图片报头中的ph_lmcs_enabled_flag设置为等于零(0),或将图片的所有切片报头中的slice_lmcs_enabled_flag设置为等于零(0)。
在一个实施例中,编码器判断图片是否在GDR时段内,例如通过如上所述推导WithinGdrPeriodFlag。当图片被判定为在GDR时段内时,编码器关闭LMCS的色度残差缩放,例如通过将图片报头中的ph_chroma_residual_scale_flag设置为等于0。
图4A示出了一个流程图,该流程图包括一个实施例的操作,其中控制用于LMCS。在操作401,装置300包括诸如处理电路系统32、存储器34等部件,该部件被配置为访问要解码的图片。例如,如上所述,图片可以被包括作为编码视频序列的一部分,并且装置300可以被配置为在编码视频序列编码过程中(诸如在解码过程中)访问图片。
在操作402,装置300包括诸如处理电路系统32、存储器34等部件,该部件被配置为确定图片是否在渐进解码刷新(GDR)时段内。在一些实施例中,确定图片是否在GDR时段内可以包括分析与图片相关联的标志变量。如图4B所示,示例图片报头结构语法包括布尔标志变量WithinGdrPeriodFlag。在这点上,如果图片在GDR时段内(WithinGdrPeriodFlag!=0),则不会发信号通知任何LMCS相关语法元素,并且将会跳过LMCS相关解码过程,这可以节省比特以及原本会实施的处理周期。如图4B所示,对于包括WithinGdrPeriodFlag变量不等于零的GDR时段内的图片,语法标志ph_lmcs_enabled_flag不被发信号通知,并且推断为等于零。
由于标志ph_lmcs_enabled_flag等于0,因此对于具有GDR时段的图片,将不会实现与LMCS相关联的解码过程。在这点上,在操作403,在图片是GDR时段内的图片的情况下,装置300包括诸如处理电路系统32、存储器34等部件,该部件被配置为防止具有色度缩放的亮度映射解码过程被应用于GDR时段内的图片。
在另一实施例中,LMCS解码过程可以仅限于色度分量。在本实施例中,如果当前图片在GDR时段内,则语法标志ph_chroma_residual_scale_flag将不会被发信号通知,并且与LMCS相关联的色度残差缩放的解码过程将被阻止发生。例如,图4C示出了另一示例图片报头结构语法。如图所示,对于GDR时段内的图片(例如,当WithinGdrPeriodFlag不等于0时),语法标志ph_chroma_residual_scale_flag不被发信号通知,并且被推断为等于0。由于标志ph_chroma_residual_scale_flag等于0,因此对于GDR时段内的图片,不会实现与LMCS的色度缩放相关联的解码过程。在这点上,在一些实施例中,装置300,诸如处理电路系统32、存储器34等部件,被配置为仅防止与LMCS相关联的色度残差缩放解码过程被应用于GDR时段内的图片。
在另一实施例中,对于虚拟边界穿过的当前CTU的干净区域中的当前CU,如果其上方sizeY(或左侧sizeY)重构相邻像素中的任何像素位于脏区域中,则可以防止当前CTU的干净区域内的当前CU的LMCS的色度残差缩放。以图2为例,由于虚拟边界220穿过当前CTU,并且当前CTU内的当前CU 205位于当前CTU的干净区域内,因此可以防止当前CU 205的LMCS的色度残留缩放。
如图5A所示,在操作501,装置300包括诸如处理电路系统32、存储器34等部件,该部件被配置为访问GDR时段内要解码的图片。如上所述,GDR时段内的图片可以被包括作为编码视频序列的一部分,并且装置300可以被配置为在编码视频序列的编码过程中(诸如在解码过程中)访问GDR时段中的图片。在操作502,装置300包括诸如处理电路系统32、存储器34等部件,该部件被配置为确定虚拟边界是否在GDR时段内的图片的当前编码树单元内。在一些实施例中,虚拟边界可以定义GDR时段内的图片的干净区域和脏区域的分隔。在操作503,装置300包括诸如处理电路系统32、存储器34等部件,该部件被配置为在虚拟边界在当前编码树单元内的情况下,防止与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于干净区域内的一个或多个编码单元。
这些操作可以通过改变解码过程来执行。下表A中描述的是根据本文所述的某些实施例对VVC规范的“使用色度样本的亮度相关色度残差缩放过程进行图像重构”一节的变化。图5B进一步强调了对本文中提出的章节的具体变化。
Figure BDA0003934659670000201
Figure BDA0003934659670000211
Figure BDA0003934659670000221
Figure BDA0003934659670000231
表A
在另一实施例中,对于虚拟边界穿过的当前CTU的干净区域中的当前CU,如果其上方sizeY(或左侧sizeY)重构相邻像素中的任何像素位于脏区域中,则重构相邻像素的上方sizeY行(或左侧sizeY列)整个可以被视为不可用于当前CU的LMCS的色度残差缩放。例如,在图2中,由于当前CU 205的上述重构相邻像素210位于脏区域中,因此在重构相邻像素上方的整行64被视为不可用于LMCS的色度残差缩放。在这点上,如图6A所示,在操作601,装置300包括诸如处理电路系统32、存储器34等部件,该部件被配置为访问GDR时段内要解码的图片的当前编码单元,其中当前编码单元位于干净区域内。如上所述,GDR时段内的图片可以被包括作为编码视频序列的一部分。在操作602,装置300包括诸如处理电路系统32、存储器34等部件,该部件被配置为确定相邻像素区域内的一个或多个像素是否在脏区域内。在操作603,装置300包括诸如处理电路系统32、存储器34等部件,该部件被配置为在顶部(或左侧)相邻像素区域内的一个或多个像素被确定为位于脏区域内的情况下,防止顶部(或左侧)相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放解码过程。
这些操作可以通过改变解码过程来执行。下表B中描述的是根据本文所述的某些实施例对VVC规范的“使用色度样本的亮度相关色度残差缩放过程进行图像重构”一节的变化。图6B进一步强调了对本文中提出的章节的具体变化。
Figure BDA0003934659670000241
Figure BDA0003934659670000251
Figure BDA0003934659670000261
表B
在另一实施例中,对于虚拟边界穿过的当前CTU的干净区域中的CU,如果其上方sizeY(或左侧sizeY)重构相邻像素中的一个或多个位于脏区域中,则针对当前CU的LMCS的色度残差缩放,可以从干净区域中的重构像素填充脏区域中的重构的相邻像素。例如,在图2中,由于当前CU 205的上述重构相邻像素210位于脏区域中,因此从重构像素95填充它们。在这点上,如图7A所示,在操作701,装置300包括诸如处理电路系统32、存储器34等部件,该部件被配置为访问GDR时段内要解码的图片的当前编码单元,其中当前编码单元位于干净区域内。如上所述,GDR时段内的图片可以被包括作为编码视频序列的一部分。在操作702,装置300包括诸如处理电路系统32、存储器34等部件,该部件被配置为确定相邻像素区域内的一个或多个像素是否在脏区域内。在操作703,装置300包括诸如处理电路系统32、存储器34等部件,该部件被配置为在相邻像素区域内的一个或多个像素被确定为在脏区域内的情况下,针对与具有色度缩放的亮度映射相关联的色度残差缩放解码过程,从干净区域中的一个或多个重构像素填充脏区域中的相邻像素。
这些操作可以通过改变解码过程来执行。表C描述了根据本文所述的某些实施例对VVC规范的“使用色度样本的亮度相关色度残差缩放过程进行图像重构”一节的变化。图7B进一步强调了对本文中提出的章节的具体变化。
Figure BDA0003934659670000281
Figure BDA0003934659670000291
Figure BDA0003934659670000301
Figure BDA0003934659670000311
表C
在另一实施例中,对于虚拟边界穿过的当前CTU的干净区域中的当前CU,如果其上方sizeY(或左侧sizeY)重构相邻像素中的一个或多个位于脏区域中,则它们被视为不可用于当前CU的LMCS色度残差缩放。例如,再次参考图2,由于当前CU 205的上述重构相邻像素210位于脏区域内,因此它们不用于当前CU 205的LMCS的色度残差缩放。
在另一实施例中,无论图片是否在GDR时段内,上述涉及解码过程变化的实施例中的任何一个都可以应用于所有虚拟边界。因此,通过将WithinGdrPeriodFlag设置为1,上述涉及解码过程变化的实施例无条件地适用于解码过程。
在另一实施例中,上述涉及解码过程变化的实施例中的任何一个都可以应用于所指示的虚拟边界。编码器可以指示上述实施例中的任何一个适用于GDR时段内的图片的WithinGdrPeriodFlag等于1(例如,在WithinGdrPeriodFlag等于或将等于1的图片中)的情况,并且适用于任何GDR时段外的图片中的WithinGdrPeriodFlag等于0(例如,在WithinGdrPeriodFlag等于或将等于0的图片中)的情况。然而,编码器可以替代地或另外地将指示用于GDR以外的目的;例如,用于具有不连续投影面的投影360°视频,诸如立方体贴图的立方体面,其由虚拟边界限定。编码器在语法结构中指示(诸如在图片参数集中)并且解码器从语法结构中解码(诸如从图片参数集解码中)一个或多个语法元素,诸如标志,以控制涉及解码过程变化的上述实施例中的任何一个如何应用。(多个)语法元素(诸如标志)可以共同控制语法结构范围内的所有虚拟边界,也可以有(多个)单独的语法元素分别控制一个或多个虚拟边界。例如,可以通过将WithinGdrPeriodFlag设置为等于语法结构中标志的值,来应用上述任何实施例。例如,ph_lmcs_over_virtual_boundaries_flag可以与虚拟边界的其他语法元素一起被包括在图片参数集语法结构中,如下:
Figure BDA0003934659670000321
表D
在另一实施例中,上述涉及解码过程变化的实施例中的任何一个都可以应用于所指示的虚拟边界。编码器可以指示上述实施例中的任何一个适用于GDR时段内的图片的WithinGdrPeriodFlag等于1(例如,在WithinGdrPeriodFlag等于或将等于1的图片中)的情况,并且适用于任何GDR时段外的图片中的WithinGdrPeriodFlag等于0(例如,在WithinGdrPeriodFlag等于或将等于0的图片中)的情况。然而,编码器可以替代地或另外地将指示用于GDR以外的目的;例如,用于具有不连续投影面的投影360°视频,诸如立方体贴图的立方体面,其由虚拟边界限定。编码器在语法结构中指示(诸如在图片参数集中)并且解码器从语法结构中解码(诸如从图片参数集中)一个或多个语法元素,诸如标志,以控制涉及解码过程变化的上述实施例中的任何一个如何应用。(多个)语法元素(诸如标志)可以共同控制语法结构范围内的所有虚拟边界,也可以有(多个)单独的语法元素分别控制一个或多个虚拟边界。例如,可以通过将WithinGdrPeriodFlag设置为等于语法结构中标志的值,来应用上述任何实施例。例如,ph_lmcs_over_virtual_boundaries_flag可以与虚拟边界的其他语法元素一起被包括在图片参数集语法结构中。例如,ph_lmcs_over_virtual_boundaries_flag可以由LMCS启用的标志(例如ph_lmcs_enabled_flag)进行调节,如下表E所示。
图片报头结构语法
Figure BDA0003934659670000331
Figure BDA0003934659670000341
表E
在另一实施例中,上述涉及解码过程变化的实施例中的任何一个都可以应用于所指示的虚拟边界。编码器可以指示上述实施例中的任何一个适用于GDR时段内的图片的WithinGdrPeriodFlag等于1(例如,在WithinGdrPeriodFlag等于或将等于1的图片中)的情况,并且适用于任何GDR时段外的图片中的WithinGdrPeriodFlag等于0(例如,在WithinGdrPeriodFlag等于或将等于0的图片中)的情况。然而,编码器可以替代地或另外地将指示用于GDR以外的目的;例如,用于具有不连续投影面的投影360°视频,诸如立方体贴图的立方体面,其由虚拟边界限定。编码器在语法结构中指示(诸如在图片参数集中)并且解码器从语法结构中解码(诸如从图片参数集中)一个或多个语法元素,诸如标志,以控制涉及解码过程变化的上述实施例中的任何一个如何应用。(多个)语法元素(诸如标志)可以共同控制语法结构范围内的所有虚拟边界,也可以有(多个)单独的语法元素分别控制一个或多个虚拟边界。例如,可以通过将WithinGdrPeriodFlag设置为等于语法结构中标志的值,来应用上述任何实施例。例如,ph_lmcs_over_virtual_boundaries_flag可以与虚拟边界的其他语法元素一起被包括在图片参数集语法结构中。例如,虚拟边界的语法元素可能会出现在LMCS的语法元素之前,并且ph_LMCS_over_virtual_boundaries_flag可以由虚拟边界呈现标志来调节,例如ph_virtuall_boundarys_present_flags,如下表F所示。
图片报头结构语法
Figure BDA0003934659670000351
Figure BDA0003934659670000361
表F
在另一示例中,ph_lmcs_over_virtual_boundaries_flag可以与虚拟边界的其他语法元素一起被包括在图片参数集语法结构中,虚拟边界由ph_chroma_residual_scale_flag调节为等于1,如下表G所示。
图片报头结构语法
Figure BDA0003934659670000362
Figure BDA0003934659670000371
表G
如上所述,公开了一种方法、装置和计算机程序产品,其用于根据GDR时段的图片促进LMCS过程并且提供LMCS和GDR的兼容性问题的解决方案。这种设计的优点包括减少图片的传输时间和减少编码器到解码器延迟。
图4A、图5A、图6A和图7A示出了根据特定示例实施例描述方法的流程图。可以理解,流程图的每个块和流程图中的块的组合可以通过各种方式实现,诸如硬件、固件、处理器、电路系统、和/或与软件执行相关联的其他通信设备,包括一个或多个计算机程序指令。例如,上述一个或多个过程可以由计算机程序指令实现。在这点上,体现上述过程的计算机程序指令可以由采用本公开的实施例的设备的存储器设备34存储,并且由处理器32执行。可以理解,任何这样的计算机程序指令都可以加载到计算机或其他可编程装置(例如,硬件)上以产生机器,使得所得到的计算机或其他可编程装置实现流程图块中指定的功能。这些计算机程序指令还可以存储在计算机可读存储器中,计算机可读存储器可以指示计算机或其他可编程装置以特定方式运行,使得存储在计算机读存储器中的指令产生制品,该制品的执行实现流程图块中指定的功能。计算机程序指令还可以加载到计算机或其他可编程装置上,以引起一系列操作在计算机或其他可编程装置上被执行,以产生计算机实现的过程,从而在计算机或其他可编程装置中执行的指令提供用于实现流程图块中指定的功能的操作。
因此,流程图块支持执行指定功能的方法组合和执行指定功能所需要的操作组合。还应当理解,流程图中的一个或多个块以及流程图中块的组合可以通过可以执行指定功能的基于专用硬件的计算机系统来实现,也可以通过专用硬件和计算机指令的组合来实现。
受益于上述描述和相关附图中的教导的这些发明所属领域的技术人员会想到本文所述发明的很多修改和其他实施例。因此,应当理解,本公开不限于所公开的具体实施例,并且修改和其他实施例旨在被包括在所附权利要求的范围内。
此外,尽管上述描述和相关附图在元件和/或功能的某些示例组合的上下文中描述了示例实施例,但应当认识到,在不偏离所附权利要求的范围的情况下,替代实施例可以提供元件和/或功能的不同组合。在这点上,例如,还考虑了与上面明确描述的不同的元件和/或功能组合,如一些所附权利要求中所述。尽管本文中使用了特定术语,但它们仅在一般和描述性意义上使用,并非出于限制目的。

Claims (48)

1.一种装置,包括:至少一个处理器;以及包括计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起引起所述装置:
访问要解码的图片;
确定所述图片是否在渐进解码刷新时段内;以及
在所述图片在所述渐进解码刷新时段内的情况下:
防止具有色度缩放的亮度映射解码过程被应用于所述图片。
2.根据权利要求1所述的装置,其中所述具有色度缩放的亮度映射解码过程包括:与具有色度缩放的亮度映射相关联的所有解码过程。
3.根据权利要求1所述的装置,其中所述具有色度缩放的亮度映射解码过程仅包括:与具有色度缩放的亮度映射相关联的色度残差缩放解码过程。
4.根据权利要求1到3中任一项所述的装置,其中无论所述图片是否在所述渐进解码刷新时段内,所述具有色度缩放的亮度映射解码过程的所述防止都被应用。
5.根据权利要求1到4中任一项所述的装置,其中所述具有色度缩放的亮度映射解码过程的所述防止还基于与所述图片内的虚拟边界相关联的启用值。
6.根据权利要求5所述的装置,其中与所述虚拟边界相关联的所述启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
7.一种装置,包括:
用于访问要解码的图片的部件;
用于确定所述图片是否在渐进解码刷新时段内的部件;以及
用于在所述图片在所述渐进解码刷新时段内的情况下防止具有色度缩放的亮度映射解码过程被应用于所述图片的部件。
8.根据权利要求7所述的装置,其中所述具有色度缩放的亮度映射解码过程包括:与具有色度缩放的亮度映射相关联的所有解码过程。
9.根据权利要求7所述的装置,其中所述具有色度缩放的亮度映射解码过程仅包括:与具有色度缩放的亮度映射相关联的色度残差缩放解码过程。
10.一种计算机程序产品,包括非暂态计算机可读存储介质,所述非暂态计算机可读存储介质上存储有程序代码部分,所述程序代码部分被配置为在执行时:
访问要解码的图片;
确定所述图片是否在渐进解码刷新时段内;以及
在所述图片在所述渐进解码刷新时段内的情况下:
防止具有色度缩放的亮度映射解码过程被应用于所述图片。
11.根据权利要求10所述的计算机程序产品,其中所述具有色度缩放的亮度映射解码过程包括:与具有色度缩放的亮度映射相关联的所有解码过程。
12.根据权利要求10所述的计算机程序产品,其中所述具有色度缩放的亮度映射解码过程仅包括:与具有色度缩放的亮度映射相关联的色度残差缩放解码过程。
13.一种方法,包括:
访问要解码的图片;
确定所述图片是否在渐进解码刷新时段内;以及
在所述图片在所述渐进解码刷新时段内的情况下:
防止具有色度缩放的亮度映射解码过程被应用于所述图片。
14.根据权利要求13所述的方法,其中所述具有色度缩放的亮度映射解码过程包括:与具有色度缩放的亮度映射相关联的所有解码过程。
15.根据权利要求13所述的方法,其中所述具有色度缩放的亮度映射解码过程仅包括:与具有色度缩放的亮度映射相关联的色度残差缩放解码过程。
16.根据权利要求13至15中任一项所述的方法,其中无论所述图片是否在所述渐进解码刷新时段内,所述具有色度缩放的亮度映射解码过程的所述防止都被应用。
17.根据权利要求13至16中任一项所述的方法,其中所述具有色度缩放的亮度映射解码过程的所述防止还基于与所述图片内的虚拟边界相关联的启用值。
18.根据权利要求17所述的方法,其中与所述虚拟边界相关联的所述启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
19.一种装置,包括:至少一个处理器;以及包括计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起引起所述装置:
访问渐进解码刷新时段内要解码的图片;
确定虚拟边界是否在所述图片的当前编码树单元内,其中所述虚拟边界定义所述图片的干净区域和脏区域的分隔;以及
在所述虚拟边界在所述当前编码树单元内的情况下:
防止与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于所述干净区域内的一个或多个编码单元。
20.根据权利要求19所述的装置,其中无论所述图片是否在所述渐进解码刷新时段内,与具有色度缩放的亮度映射相关联的所述色度残差缩放解码过程被应用于所述干净区域内的一个或多个编码单元的所述防止都被应用。
21.根据权利要求19至20中任一项所述的装置,其中与具有色度缩放的亮度映射相关联的所述色度残差缩放解码过程被应用于所述干净区域内的一个或多个编码单元的所述防止还基于与所述图片内的虚拟边界相关联的启用值。
22.根据权利要求21所述的装置,其中与所述虚拟边界相关联的所述启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
23.一种装置,包括:
用于访问渐进解码刷新时段内要解码的图片的部件;
用于确定虚拟边界是否在所述图片的当前编码树单元内的部件,其中所述虚拟边界定义所述图片的干净区域和脏区域的分隔;以及
用于在所述虚拟边界在所述当前编码树单元内的情况下、防止与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于所述干净区域内的一个或多个编码单元的部件。
24.一种计算机程序产品,包括非暂态计算机可读存储介质,所述非暂态计算机可读存储介质上存储有程序代码部分,所述程序代码部分被配置为在执行时:
访问渐进解码刷新时段内要解码的图片;
确定虚拟边界是否在所述图片的当前编码树单元内,其中所述虚拟边界定义所述图片的干净区域和脏区域的分隔;以及
在所述虚拟边界在所述当前编码树单元内的情况下:
防止与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于所述干净区域内的一个或多个编码单元。
25.一种方法,包括:
访问渐进解码刷新时段内要解码的图片;
确定虚拟边界是否在所述图片的当前编码树单元内,其中所述虚拟边界定义所述图片的干净区域和脏区域的分隔;以及
在所述虚拟边界在所述当前编码树单元内的情况下:
防止与具有色度缩放的亮度映射相关联的色度残差缩放解码过程被应用于所述干净区域内的一个或多个编码单元。
26.根据权利要求25所述的方法,其中无论所述图片是否在所述渐进解码刷新时段内,与具有色度缩放的亮度映射相关联的所述色度残差缩放解码过程被应用于所述干净区域内的一个或多个编码单元的所述防止都被应用。
27.根据权利要求25至26中任一项所述的方法,其中与具有色度缩放的亮度映射相关联的所述色度残差缩放解码过程被应用于所述干净区域内的一个或多个编码单元的所述防止还基于与所述图片内的虚拟边界相关联的启用值。
28.根据权利要求27所述的方法,其中与所述虚拟边界相关联的所述启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
29.一种装置,包括:至少一个处理器;以及包括计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起引起所述装置:
访问渐进解码刷新时段内要解码的图片的当前编码单元,其中所述当前编码单元位于干净区域内;
确定相邻像素区域内的一个或多个像素是否在脏区域内;以及
在所述相邻像素区域内的一个或多个像素被确定为在所述脏区域内的情况下:
防止所述相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程。
30.根据权利要求29所述的装置,其中无论所述图片是否在所述渐进解码刷新时段内,所述相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的所述防止都被应用。
31.根据权利要求29至30中任一项所述的装置,其中所述相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的所述防止还基于与所述图片内的虚拟边界相关联的启用值。
32.根据权利要求31所述的装置,其中与所述虚拟边界相关联的所述启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
33.一种装置,包括:
用于访问渐进解码刷新时段内要解码的图片的当前编码单元的部件,其中所述当前编码单元位于干净区域内;
用于确定相邻像素区域内的一个或多个像素是否在脏区域内的部件;以及
用于在所述相邻像素区域内的一个或多个像素被确定为在所述脏区域内的情况下、防止所述相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的部件。
34.一种计算机程序产品,包括非暂态计算机可读存储介质,所述非暂态计算机可读存储介质上存储有程序代码部分,所述程序代码部分被配置为在执行时:
访问渐进解码刷新时段内要解码的图片的当前编码单元,其中所述当前编码单元位于干净区域内;
确定相邻像素区域内的一个或多个像素是否在脏区域内;以及
在所述相邻像素区域内的一个或多个像素被确定为在所述脏区域内的情况下:
防止所述相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程。
35.一种方法,包括:
访问渐进解码刷新时段内要解码的图片的当前编码单元,其中所述当前编码单元位于干净区域内;
确定相邻像素区域内的一个或多个像素是否在脏区域内;以及
在所述相邻像素区域内的一个或多个像素被确定为在所述脏区域内的情况下:
防止所述相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程。
36.根据权利要求35所述的方法,其中无论所述图片是否在所述渐进解码刷新时段内,所述相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的所述防止都被应用。
37.根据权利要求35至36中任一项所述的方法,其中所述相邻像素区域内的所有像素被用于与具有色度缩放的亮度映射相关联的色度残差缩放过程的所述防止还基于与所述图片内的虚拟边界相关联的启用值。
38.根据权利要求37所述的方法,其中与所述虚拟边界相关联的所述启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
39.一种装置,包括:至少一个处理器;以及包括计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起引起所述装置:
访问渐进解码刷新时段内要解码的图片的当前编码单元,其中所述当前编码单元位于干净区域内;
确定相邻像素区域内的一个或多个像素是否在脏区域内;以及
在所述相邻像素区域内的一个或多个像素被确定为在所述脏区域内的情况下:
针对与具有色度缩放的亮度映射相关联的色度缩放解码过程,从所述干净区域中的一个或多个重构像素填充所述相邻像素区域。
40.根据权利要求39所述的装置,其中无论所述图片是否在所述渐进解码刷新时段内,针对与具有色度缩放的亮度映射相关联的色度缩放解码过程而从所述干净区域中的一个或多个重构像素对所述相邻像素区域的所述填充都被应用。
41.根据权利要求39至40中任一项所述的装置,其中针对与具有色度缩放的亮度映射相关联的色度缩放解码过程而从所述干净区域中的一个或多个重构像素对所述相邻像素区域的所述填充还基于与所述图片内的虚拟边界相关联的启用值。
42.根据权利要求41所述的装置,其中与所述虚拟边界相关联的所述启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
43.一种装置,包括:
用于访问渐进解码刷新时段内要解码的图片的当前编码单元的部件,其中所述当前编码单元位于干净区域内;
用于确定相邻像素区域内的一个或多个像素是否在脏区域内的部件;以及
用于在所述相邻像素区域内的一个或多个像素被确定为在所述脏区域内的情况下、针对与具有色度缩放的亮度映射相关联的色度残差缩放解码过程而从所述干净区域中的一个或多个重构像素填充所述相邻像素区域的部件。
44.一种计算机程序产品,包括非暂态计算机可读存储介质,所述非暂态计算机可读存储介质上存储有程序代码部分,所述程序代码部分被配置为在执行时:
访问渐进解码刷新时段内要解码的图片的当前编码单元,其中所述当前编码单元位于干净区域内;
确定相邻像素区域内的一个或多个像素是否在脏区域内;以及
在所述相邻像素区域内的一个或多个像素被确定为在所述脏区域内的情况下:
针对与具有色度缩放的亮度映射相关联的色度残差缩放解码过程,从所述干净区域中的一个或多个重构像素填充所述相邻像素区域。
45.一种方法,包括:
访问渐进解码刷新时段内要解码的图片的当前编码单元,其中所述当前编码单元位于干净区域内;
确定相邻像素区域内的一个或多个像素是否在脏区域内;以及
在所述相邻像素区域内的一个或多个像素被确定为在所述脏区域内的情况下:
针对与具有色度缩放的亮度映射相关联的色度残差缩放解码过程,从所述干净区域中的一个或多个重构像素填充所述相邻像素区域。
46.根据权利要求45所述的方法,其中无论所述图片是否在所述渐进解码刷新时段内,针对与具有色度缩放的亮度映射相关联的色度缩放解码过程而从所述干净区域中的一个或多个重构像素对所述相邻像素区域的所述填充都被应用。
47.根据权利要求45至46中任一项所述的方法,其中针对与具有色度缩放的亮度映射相关联的色度缩放解码过程而从所述干净区域中的一个或多个重构像素对所述相邻像素区域的所述填充还基于与所述图片内的虚拟边界相关联的启用值。
48.根据权利要求47所述的方法,其中与所述虚拟边界相关联的所述启用值的使用基于与具有色度缩放的亮度映射(LMCS)相关联的第二启用值。
CN202180034197.9A 2020-04-08 2021-03-25 用于渐进解码刷新的具有色度缩放的亮度映射 Pending CN115552895A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063007200P 2020-04-08 2020-04-08
US63/007,200 2020-04-08
PCT/EP2021/057748 WO2021204553A1 (en) 2020-04-08 2021-03-25 Luma mapping with chroma scaling for gradual decoding refresh

Publications (1)

Publication Number Publication Date
CN115552895A true CN115552895A (zh) 2022-12-30

Family

ID=75339733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180034197.9A Pending CN115552895A (zh) 2020-04-08 2021-03-25 用于渐进解码刷新的具有色度缩放的亮度映射

Country Status (8)

Country Link
US (1) US20230164338A1 (zh)
EP (1) EP4133720A1 (zh)
JP (1) JP2023521367A (zh)
CN (1) CN115552895A (zh)
BR (1) BR112022020381A2 (zh)
CA (1) CA3173460A1 (zh)
MX (1) MX2022012643A (zh)
WO (1) WO2021204553A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2590636B (en) * 2019-12-20 2024-01-10 Canon Kk High level syntax for video coding and decoding
JP7457143B2 (ja) * 2020-02-14 2024-03-27 北京字節跳動網絡技術有限公司 映像ビットストリームにおける一般的な制約フラグの使用

Also Published As

Publication number Publication date
CA3173460A1 (en) 2021-10-14
US20230164338A1 (en) 2023-05-25
BR112022020381A2 (pt) 2022-11-29
EP4133720A1 (en) 2023-02-15
JP2023521367A (ja) 2023-05-24
MX2022012643A (es) 2023-01-11
WO2021204553A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
US20220295047A1 (en) Image prediction method and device
US10194150B2 (en) Method and device for coding image, and method and device for decoding image
WO2017039883A1 (en) Acceleration interface for video decoding
KR20210077799A (ko) 부호화 장치, 부호화 방법 및 프로그램
JP2009207136A (ja) 複数のビデオストリームを処理する方法、ビデオストリームの符号化システムおよびビデオストリームの復号化システム
AU2012391251A1 (en) Method, apparatus and system for encoding and decoding video
CN111669597B (zh) 调色板解码装置和方法
US20200162761A1 (en) Deblocking filtering control for illumination compensation
US20060062311A1 (en) Graceful degradation of loop filter for real-time video decoder
EP3866471A1 (en) Improved tile size signalling in video encoding and decoding
KR101476532B1 (ko) Hevc nal 유닛 구문 구조의 확장
JP2024081752A (ja) 情報処理方法及び装置、設備、記憶媒体
JP7490803B2 (ja) シンタックスエレメントを使用するビデオ処理
US20100111166A1 (en) Device for decoding a video stream and method thereof
TW202209879A (zh) 圖像編碼方法、圖像解碼方法及相關裝置
WO2021237569A1 (zh) 编码方法、解码方法、装置及系统
US9918079B2 (en) Electronic device and motion compensation method
JP2022546898A (ja) ビデオ画像処理方法、装置、および記憶媒体
CN115552895A (zh) 用于渐进解码刷新的具有色度缩放的亮度映射
US20230104384A1 (en) Luma mapping with chroma scaling for gradual decoding refresh
WO2020089201A1 (en) Deblocking between block boundaries and sub-block boundaries in a video encoder and/or video decoder
WO2022017747A1 (en) Leak-free gradual decoding refresh without restrictions on coding units in clean areas
WO2022217442A1 (zh) 系数编解码方法、编码器、解码器以及计算机存储介质
EP3989566A1 (en) Motion information list construction method in video encoding and decoding, device, and apparatus
CN103327336A (zh) 一种三维编码的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination