CN112055967B - 基于运动矢量的图像编码方法及其设备 - Google Patents

基于运动矢量的图像编码方法及其设备 Download PDF

Info

Publication number
CN112055967B
CN112055967B CN201980028903.1A CN201980028903A CN112055967B CN 112055967 B CN112055967 B CN 112055967B CN 201980028903 A CN201980028903 A CN 201980028903A CN 112055967 B CN112055967 B CN 112055967B
Authority
CN
China
Prior art keywords
motion vector
information
current block
deriving
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980028903.1A
Other languages
English (en)
Other versions
CN112055967A (zh
Inventor
S·帕鲁利
金昇焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN202410273206.5A priority Critical patent/CN118175298A/zh
Priority to CN202410273207.XA priority patent/CN118175299A/zh
Publication of CN112055967A publication Critical patent/CN112055967A/zh
Application granted granted Critical
Publication of CN112055967B publication Critical patent/CN112055967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

由根据本发明的解码设备执行的图片解码方法包括以下步骤:接收关于运动矢量压缩的信息,推导针对包括在当前图片中的当前块的运动矢量,基于针对当前块的运动矢量推导针对当前块的预测块,基于关于运动矢量压缩的信息存储关于针对当前块的运动矢量的信息,以及基于针对当前块的预测块生成针对当前图片的重构图片。

Description

基于运动矢量的图像编码方法及其设备
技术领域
本公开涉及一种图像编码技术,更具体地,涉及一种图像编码系统中基于运动矢量的图像编码方法和设备。
背景技术
对于诸如HD(高清晰度)图像和UHD(超高清)图像之类的高分辨率且高质量的图像的需求在各个领域都在增加。因为图像数据具有高分辨率和高质量,所以要发送的信息量或比特量相对于传统图像数据增加。因此,当使用诸如传统有线/无线宽带线的介质发送图像数据或者使用现有存储介质存储图像数据时,其传输成本和存储成本增加。
因此,需要一种用于有效地发送、存储和再现高分辨率和高质量的图像的信息的高效图像压缩技术。
发明内容
技术任务
本公开的目的是提供一种用于增强图像编码效率的方法和设备。
本公开的另一目的是提供一种用于增强基于运动矢量的帧间预测的效率的方法和设备。
本公开的又一个目的是提供一种用于在基于运动矢量的帧间预测过程中基于运动矢量压缩存储关于运动矢量的信息的方法和设备。
本公开的又一个目的是提供一种用于在基于运动矢量的帧间预测过程中基于运动矢量压缩存储关于运动矢量的信息,从而增强图像编码效率的方法和设备。
本公开的又一个目的是提供一种用于在基于运动矢量的帧间预测过程中基于运动矢量压缩存储关于运动矢量的信息,从而减少存储关于运动矢量的信息所需的位数的方法和设备。
技术方案
本公开的示例性实施方式提供了一种由解码设备执行的图片解码方法。该方法包括:接收关于运动矢量压缩的信息,推导针对包括在当前图片中的当前块的运动矢量,基于针对当前块的运动矢量推导针对当前块的预测块,基于关于运动矢量压缩的信息存储关于针对当前块的运动矢量的信息,以及基于针对当前块的预测块生成针对当前图片的重构图片。
本公开的另一示例性实施方式提供了一种用于执行图片解码的解码设备。该解码装置包括:预测器,预测器用于接收关于运动矢量压缩的信息,推导针对包括在当前图片中的当前块的运动矢量,并且基于针对当前块的运动矢量推导针对当前块的预测块;存储器,存储器用于基于关于运动矢量压缩的信息存储关于针对当前块的运动矢量的信息;以及加法器,加法器用于基于针对当前块的预测块生成针对当前图片的重构图片。
本公开的又一示例性实施方式提供了一种由编码设备执行的图片编码方法。该方法包括:推导针对当前块的运动矢量,生成关于运动矢量压缩的信息,基于针对当前块的运动矢量推导针对当前块的预测块,基于关于运动矢量压缩的信息存储关于针对当前块的运动矢量的信息,基于针对当前块的预测块推导针对当前块的残差样本,以及对包括关于残差样本的信息和关于运动矢量压缩的信息的图像信息进行编码。
本公开的又一示例性实施方式提供了一种用于执行图片编码的编码设备。该编码装置包括:预测器,预测器用于推导针对当前块的运动矢量,生成关于运动矢量压缩的信息,以及基于针对当前块的运动矢量推导针对当前块的预测块;存储器,存储器用于基于关于运动矢量压缩的信息存储关于针对当前块的运动矢量的信息;残差处理器,残差处理器用于基于针对当前块的预测块推导针对当前块的残差样本;以及熵编码器,熵编码器用于对包括关于残差样本的信息和关于运动矢量压缩的信息的图像信息进行编码。
有益效果
本公开可以增强整体图像/视频压缩效率。
本公开可以增强基于运动矢量的帧间预测的效率。
本公开可以在基于运动矢量的帧间预测过程中限制存储在运动场存储器(motionfield storage)中的运动矢量,从而增强图像编码效率。
本公开可以在基于运动矢量的帧间预测过程中基于运动矢量压缩存储关于运动矢量的信息,从而增强图像编码效率。
本公开可以在基于运动矢量的帧间预测过程中基于运动矢量压缩存储关于运动矢量的信息,从而减少存储关于运动矢量的信息所需的位数。
附图说明
图1示意性地示出了根据示例性实施方式的编码设备的配置。
图2是用于示意性地示出根据示例性实施方式的解码设备的配置的图。
图3是用于示出根据示例性实施方式的TMVP候选的图。
图4是示出根据示例性实施方式的关于运动矢量的信息的图。
图5是示出根据示例性实施方式的用于推导运动信息的当前块内的位置的图。
图6是示出根据示例性实施方式的当前块内的感兴趣区域的图。
图7是示出根据示例性实施方式的编码设备的操作的流程图。
图8是示出根据示例性实施方式的编码设备的配置的框图。
图9是示出根据示例性实施方式的解码设备的操作的流程图。
图10是示出根据示例性实施方式的解码设备的配置的框图。
具体实施方式
本公开的示例性实施方式提供了一种由解码设备执行的图片解码方法。该方法包括:接收关于运动矢量压缩的信息,推导针对包括在当前图片中的当前块的运动矢量,基于针对当前块的运动矢量推导针对当前块的预测块,基于关于运动矢量压缩的信息存储关于针对当前块的运动矢量的信息,以及基于针对当前块的预测块生成针对当前图片的重构图片。
本公开的实施方式
本公开可以按各种形式进行修改,并且将在附图中描述和例示其特定实施方式。然而,这些实施方式并不旨在限制本公开。以下描述中使用的术语仅仅用于描述特定的实施方式,而不旨在限制本公开。单数的表述包括复数的表述,只要它被清楚不同地读出即可。诸如“包括”和“具有”这样的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合,因此应该理解,没有排除存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性。
另外,为了便于解释不同的特定功能,独立地绘制本实施方式中描述的附图中的元件,并不意味着这些元件由独立的硬件或独立的软件实现。例如,可以组合元件中的两个或更多个以形成单个元件,或者可以将一个元件划分成多个元件。在不脱离本实施方式的概念的情况下,元件被组合和/或划分的实施方式属于本公开。
以下描述可以应用于处理视频、图像或图片的技术领域。例如,以下描述中公开的方法或示例性实施方式可以与通用视频编码(VVC)标准(ITU-T H.266建议书)、VVC之后的下一代视频/图像编码标准或VVC之前的标准(例如,高效视频编码(HEVC)标准(ITU-TH.265建议书)等)的公开内容相关联。
下文中,将参照附图详细地描述本实施方式的示例。另外,在整个附图中,类似的附图标记用于指示类似的元件,并且将省略对类似元件的相同描述。
在本公开中,视频可以意指根据时间推移的一系列图像的集合。通常,图片意指表示特定时间的图像的单元,切片是构成图片的一部分的单元。一个图片可以由多个切片构成,并且术语图片和切片可以根据场合需要彼此混合。
像素或画素(pel)可以意指构成一个图片(或图像)的最小单元。另外,“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值,可以仅表示亮度分量的像素(像素值),并且可以仅表示色度分量的像素(像素值)。
单元指示图像处理的基本单元。单元可以包括特定区域和与该区域相关的信息中的至少一个。可选地,单元可以与诸如块、区域等的术语混合。在典型情况下,M×N块可以表示以M列和N行排列的样本或变换系数的集合。
图1简要地图示适用本公开的编码设备的结构。在下文中,编码/解码设备可以包括视频编码/解码设备和/或图像编码/解码设备,并且视频编码/解码设备可以用作包括图像编码/解码设备的概念,或者图像编码/解码设备可以用作包括视频编码/解码设备的概念。
参照图1,视频编码设备100可以包括图片分割器105、预测器110、残差处理器120、熵编码器130、加法器140、滤波器150和存储器160。残差处理器120可以包括减法器121、变换器122、量化器123、重排器124、反量化器125、逆变换器126。
图片分割器105可以将输入图片分离成至少一个处理单元。
在示例中,处理单元可以被称为编码单元(CU)。在这种情况下,可以根据四叉树二叉树(QTBT)结构从最大编码单元(LCU)递归地分离出编码单元。例如,可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元分离为更深深度的多个编码单元。在这种情况下,例如,可以首先应用四叉树结构,并且可以稍后应用二叉树结构和三叉树结构。另选地,可以首先应用二叉树结构/三叉树结构。可以基于不再进一步被分离的最终编码单元执行根据本实施方式的编码过程。在这种情况下,最大编码单元可以根据图像特性基于编码效率等而用作最终编码单元,或者编码单元可以根据需要递归地分离成较低深度的编码单元并且具有最佳尺寸的编码单元可以用作最终编码单元。这里,编码过程可以包括诸如预测、变换和重构这样的过程,这将在后面描述。
在另一示例中,处理单元可以包括编码单元(CU)、预测单元(PU)或变换器(TU)。可以根据四叉树结构将编码单元从最大编码单元(LCU)分离为更深深度的编码单元。在这种情况下,最大编码单元可以根据图像特性基于编码效率等而直接用作最终编码单元,或者编码单元可以根据需要递归地分离为更深深度的编码单元,并且具有最佳大小的编码单元可以用作最终编码单元。当设置了最小编码单元(SCU)时,编码单元可以不被分离为比最小编码单元小的编码单元。这里,最终编码单元是指被分割或分离成预测单元或变换器的编码单元。预测单元是从编码单元分割的单元,并且可以是样本预测的单元。这里,预测单元可以被划分成子块。可以根据四叉树结构从编码单元划分出变换器,并且变换器可以是推导变换系数的单元和/或从变换系数推导残差信号的单元。下文中,编码单元可以被称为编码块(CB),预测单元可以被称为预测块(PB),并且变换器可以被称为变换块(TB)。预测块或预测单元可以是指图片中的块的形式的特定区域,并且包括预测样本的阵列。另外,变换块或变换器可以是指图片中的块的形式的特定区域,并且包括变换系数或残差样本的阵列。
预测器110可以对处理目标块(下文中,它可以表示当前块或残差块)执行预测,并且可以生成包括针对当前块的预测样本的预测块。在预测器110中执行的预测的单元可以是编码块,或者可以是变换块,或者可以是预测块。
预测器110可以确定对当前块是应用帧内预测还是应用帧间预测。例如,预测器110可以确定以CU为单位应用帧内预测还是帧间预测。
在帧内预测的情况下,预测器110可以基于当前块所属的图片(下文中,当前图片)中的当前块之外的参考样本来推导当前块的预测样本。在这种情况下,预测器110可以基于当前块的邻近参考样本的平均值或内插来推导预测样本(情况(i)),或者可以基于关于当前块的邻近参考样本中的预测样本的特定(预测)方向中存在的参考样本来推导预测样本(情况(ii))。情况(i)可以被称为非定向模式或非角度模式,并且情况(ii)可以被称为定向模式或角度模式。在帧内预测中,预测模式可以包括作为示例的33个定向模式和至少两个非定向模式。非定向模式可以包括DC模式和平面模式。预测器110可以通过使用应用于邻近块的预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下,预测器110可以基于由参考图片上的运动矢量指定的样本来推导当前块的预测样本。预测器110可以通过应用跳过模式、合并模式和运动矢量预测(MVP)模式中的任何一个来推导当前块的预测样本。在跳过模式和合并模式的情况下,预测器110可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下,与合并模式不同,不发送预测样本和原始样本之间的差(残差)。在MVP模式的情况下,邻近块的运动矢量被用作运动矢量预测值,以推导当前块的运动矢量。
在帧间预测的情况下,邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括时间邻近块的参考图片也可以称为并置图片(colPic)。运动信息可以包括运动矢量和参考图片索引。诸如预测模式信息和运动信息之类的信息可以被(熵)编码,并且然后作为比特流的形式输出。
当在跳过模式和合并模式中使用时间相邻块的运动信息时,参考图片列表中的最高图片可以用作参考图片。可以基于当前图片和相应的参考图片之间的图片顺序号(POC)差来对齐包括在参考图片列表中的参考图片。POC对应于显示顺序,并且可以与编码顺序区分开。
减法器121生成残差样本,该残差样本是原始样本和预测样本之间的差。如果应用跳过模式,则可以不如上所述生成残差样本。
变换器122以变换块为单位变换残差样本以生成变换系数。变换器122可以基于相应变换块的大小和被应用于与变换块在空间上交叠的编码块或预测块的预测模式来执行变换。例如,如果帧内预测被应用于与变换块交叠的编码块或者预测块并且变换块是4×4残差阵列,则可以使用离散正弦变换(DST)变换核来变换残差样本,并且在其他情况下,使用离散余弦变换(DCT)变换核来变换残差样本。
量化器123可以量化变换系数以生成经量化的变换系数。
重排器124重新排列经量化的变换系数。重排器124可以通过系数扫描方法将块形式的经量化的变换系数重新排列成一维矢量。尽管重排器124被描述为单独的组件,但是重排器124可以是量化器123的一部分。
熵编码器130可以对经量化的变换系数执行熵编码。熵编码可以包括编码方法,例如,指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。除了经量化的变换系数之外,熵编码器130还可以根据熵编码或根据预先配置的方法一起或单独地对视频重构所需的信息(例如,语法元素值等)执行编码。可以以比特流形式以网络抽象层(NAL)为单位发送或存储熵编码信息。比特流可以经由网络发送或存储在数字存储介质中。这里,网络可以包括广播网络或通信网络,数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SDD等的各种存储介质。
反量化器125对由量化器123量化的值(变换系数)进行反量化,并且逆变换器126对由反量化器125反量化的值进行逆变换以生成残差样本。
加法器140将残差样本添加到预测样本以重构图片。可以以块为单位将残差样本添加到预测样本以生成重构块。虽然加法器140被描述为单独的组件,但是加法器140可以是预测器110的一部分。另外,加法器140可以被称为重构器或重构块生成器。
滤波器150可以将去块滤波和/或样本自适应偏移应用于重构图片。可以通过去块滤波和/或样本自适应偏移来校正重构图片中的块边界处的伪像或量化时的失真。在去块滤波完成之后,可以以样本为单位应用样本自适应偏移。滤波器150可以将自适应环路滤波器(ALF)应用于重构的图片。可以将ALF应用于已经应用去块滤波和/或样本自适应偏移的重构图片。
存储器160可以存储重构图片(解码图片)或编码/解码所需的信息。这里,重构图片可以是由滤波器150滤波的重构图片。存储的重构图片可以用作用于其他图片的(帧间)预测的参考图片。例如,存储器160可以存储用于帧间预测的(参考)图片。这里,可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。
图2简要地示出本公开适用的视频/图像解码设备的结构。下文中,视频解码设备可以包括图像解码设备。
参照图2,视频解码设备200可以包括熵解码器210、残差处理器220、预测器230、加法器240、滤波器250和存储器260。残差处理器220可以包括重排器221、反量化器222、逆变换器223。另外,尽管并未描绘,但是视频解码设备200可以包括用于接收包括视频信息的比特流的接收器。接收器可以被配置为单独的模块,或者可以被包括在熵解码器210中。
当输入包括视频/图像信息的比特流时,视频解码设备200可以与在视频编码设备中处理视频信息的过程关联地重构视频/图像/图片。
例如,视频解码设备200可以使用在视频编码设备中应用的处理单元来执行视频解码。因此,视频解码的处理单元块可以是例如编码单元,并且在另一示例中是编码单元、预测单元或变换器。可以根据四叉树结构和/或二叉树结构和/或三叉树结构从最大编码单元分离编码单元。
在一些情况下可以进一步使用预测单元和变换单元,并且在这种情况下,预测块是从编码单元推导或分割出的块,并且可以是样本预测的单位。这里,预测单元可以被划分为子块。变换器可以根据四叉树结构从编码单元分离出,并且可以是推导变换系数的单元或从变换系数推导残差信号的单元。
熵解码器210可以解析比特流以输出视频重构或图片重构所需的信息。例如,熵解码器210可以基于诸如指数哥伦布编码、CAVLC、CABAC等之类的编码方法来解码比特流中的信息,并且可以输出视频重构所需的语法元素的值和关于残差的变换系数的量化值。
更具体地,CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin(二进制位),使用解码目标语法元素信息以及邻居和解码目标块的解码信息或者在先前步骤中解码的符号/bin的信息来确定上下文模型,根据确定的上下文模型预测bin生成概率,并执行bin的算术解码以生成与每个语法元素值相对应的符号。这里,CABAC熵解码方法可以在确定上下文模型之后使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。
可以将在熵解码器210中解码的信息中的关于预测的信息提供给预测器250,并且可以将已经由熵解码器210执行熵解码的残差值(即,经量化的变换系数)输入到重排器221。
重排器221可以将经量化的变换系数重新排列成二维块形式。重排器221可以执行与由编码设备执行的系数扫描相对应的重新排列。尽管重排器221被描述为单独的组件,但是重排器221可以是反量化器222的一部分。
反量化器222可以基于(反)量化参数对量化的变换系数进行反量化,以输出变换系数。在这种情况下,可以从编码设备发信号通知用于推导量化参数的信息。
逆变换器223可以对变换系数进行逆变换以推导残差样本。
预测器230可以对当前块执行预测,并且可以生成包括针对当前块的预测样本的预测块。在预测器230中执行的预测的单元可以是编码块,或者可以是变换块或者可以是预测块。
预测器230可以基于关于预测的信息确定是应用帧内预测还是应用帧间预测。在这种情况下,用于确定在帧内预测和帧间预测之间将使用哪一个的单元可以与用于生成预测样本的单元不同。另外,用于生成预测样本的单元在帧间预测和帧内预测中也可以不同。例如,可以以CU为单位确定在帧间预测和帧内预测之间将应用哪一个。此外,例如,在帧间预测中,可以通过以PU为单位确定预测模式来生成预测样本,并且在帧内预测中,可以通过以PU为单位确定预测模式来以TU为单位生成预测样本。
在帧内预测的情况下,预测器230可以基于当前图片中的邻近参考样本推导针对当前块的预测样本。预测器230可以通过基于当前块的邻近参考样本应用定向模式或非定向模式来推导当前块的预测样本。在这种情况下,可以通过使用邻近块的帧内预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下,预测器230可以基于根据运动矢量在参考图片中指定的样本来推导针对当前块的预测样本。预测器230可以使用跳过模式、合并模式和MVP模式中的一个来推导针对当前块的预测样本。这里,由视频编码设备提供的当前块的帧间预测所要求的运动信息(例如,运动矢量和关于参考图片索引的信息)可以基于关于预测的信息来获取或推导。
在跳过模式和合并模式中,邻近块的运动信息可以用作当前块的运动信息。这里,邻近块可以包括空间邻近块和时间邻近块。
预测器230可以使用可用相邻块的运动信息来构造合并候选列表,并且使用合并候选列表上的合并索引所指示的信息作为当前块的运动矢量。合并索引可以由编码设备发信号通知。运动信息可以包括运动矢量和参考图片。在跳过模式和合并模式中,当使用时间相邻块的运动信息时,参考图片列表中的最高图片可以用作参考图片。
在跳过模式的情况下,与合并模式不同,不发送预测样本和原始样本之间的差(残差)。
在MVP模式的情况下,可以使用邻近块的运动矢量作为运动矢量预测器来推导当前块的运动矢量。这里,邻近块可以包括空间邻近块和时间邻近块。
当应用合并模式时,例如,可以使用经重构的空间相邻块的运动矢量和/或与作为时间相邻块的Col块相对应的运动矢量来生成合并候选列表。从合并候选列表中选择的候选块的运动矢量被用作合并模式中的当前块的运动矢量。上述关于预测的信息可以包括合并索引,该合并索引指示从包括在合并候选列表中的候选块中选择的具有最佳运动矢量的候选块。这里,预测器230可以使用合并索引推导当前块的运动矢量。
当作为另一示例应用MVP(运动矢量预测)模式时,可以使用经重构的空间相邻块的运动矢量和/或与作为时间相邻块的Col块相对应的运动矢量来生成运动矢量预测值候选列表。也就是说,经重构的空间相邻块的运动矢量和/或与作为时间相邻块的Col块相对应的运动矢量可以用作运动矢量候选。上述关于预测的信息可以包括指示从包括在列表中的运动矢量候选中选择的最佳运动矢量的预测运动矢量索引。这里,预测器230可以使用运动矢量索引从包括在运动矢量候选列表中的运动矢量候选中选择当前块的预测运动矢量。编码设备的预测器可以获得当前块的运动矢量与运动矢量预测值之间的运动矢量差(MVD),对MVD进行编码并以比特流的形式输出经编码的MVD。也就是说,可以通过从当前块的运动矢量中减去运动矢量预测值来获得MVD。这里,预测器230可以获取包括在关于预测的信息中的运动矢量,并且通过将运动矢量差添加到运动矢量预测值来推导当前块的运动矢量。另外,预测器可以从上述关于预测的信息获得或推导指示参考图片的参考图片索引。
加法器240可以将残差样本添加到预测样本以重构当前块或当前图片。加法器240可以通过以块为单位将残差样本添加到预测样本来重构当前图片。当应用跳过模式时,不发送残差,并且因此预测样本可以变为重构样本。虽然加法器240被描述为单独的组件,但是加法器240可以是预测器230的一部分。另外,加法器240可以被称为重构器或重构块生成器。
滤波器250可以将去块滤波、样本自适应偏移和/或ALF应用于重构图片。这里,可以在去块滤波之后以样本为单位应用样本自适应偏移。可以在去块滤波和/或应用样本自适应偏移之后应用ALF。
存储器260可以存储重构图片(解码图片)或解码所需的信息。这里,重构图片可以是经滤波器250滤波的重构图片。例如,存储器260可以存储用于帧间预测的图片。这里,可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。重构图片可以用作其他图片的参考图片。存储器260可以按输出顺序输出重构图片。
此外,如上所述,在执行视频编码时,执行预测以提高压缩效率。因此,可以生成包括针对作为要编码的块(即,编码目标块)的当前块的预测样本的预测块。这里,预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中被以相同的方式推导,并且编码设备可以将关于原始块与预测块之间的残差的信息(残差信息)而不是原始块的原始样本值发信号通知给解码设备,从而提高图像编码效率。解码设备可以基于残差信息来推导包括残差样本的残差块,将残差块与预测块相加以生成包括重构样本的重构块,并且生成包括重构块的重构图片。
可以通过变换和量化过程来生成残差信息。例如,编码设备可以推导原始块与预测块之间的残差块,对残差块中所包括的残差样本(残差样本阵列)执行变换过程以推导变换系数,对变换系数执行量化过程以推导量化变换系数,并且可以(通过比特流)向解码设备发信号通知相关残差信息。这里,残差信息可以包括量化变换系数的值信息、位置信息、变换技术、变换核以及量化参数等。解码设备可以基于残差信息执行反量化/逆变换过程,并且可以推导残差样本(或残差块)。解码设备可以基于预测块和残差块来生成重构图片。另外,为了以后参考图片的帧间预测,编码设备还可以对量化变换系数执行反量化/逆变换以推导残差块,并且基于残差块生成重构图片。
图3是用于示出根据示例性实施方式的TMVP候选的图。
在示例性实施方式中,TMVP可以被包括作为编码设备100或解码设备200的帧间预测中的MVP候选或合并候选。更具体地,解码设备200可以基于当前块的空间相邻块和/或时间相邻块推导运动信息候选列表(例如,MVP候选列表),基于所接收的选择信息(例如,合并索引、MVP标志或MVP索引)选择包括在运动信息候选列表中的候选中的一个,并且基于所选择的候选推导当前块的运动信息。解码设备200可以基于推导出的运动信息生成预测样本。这里,例如,解码装置200可以推导所选择的候选作为当前块的MVP。此外,时间相邻块可以表示与当前块相对应的参考图片内的并置块(collocated block),并且TMVP方法可以表示用于将并置块的运动矢量推导为运动信息候选列表的时间候选并且将从并置块的运动矢量推导出的时间候选用作当前块的MVP的方法。
参照图3,TMVP可以将与当前块的右下位置相对应的参考图片内的块定义为并置块C0,并且将相应块的运动矢量用作MVP。此时,如果右下位置C0处的块仅可以被用于帧内预测,或者如果右下位置C0的块由于诸如超过图像边界的原因而不可用,则与当前块的中心位置C1相对应的块可以用作并置块。这里,中心位置可以表示中心右下位置。也就是说,在四个样本位于当前块的中心的情况下,中心位置可以表示四个样本中的右下样本的位置。例如,RB位置可以称为ColBr,并且C1位置可称为ColCtr。此外,包括并置块的图片可以被称为并置图片或并置帧。
在示例性实施方式中,如果块的大小增加,那么在推导TMVP候选时可以优先考虑C1而不是C0。另选地,如果除C0和C1以外的其它位置的并置块更好地表示当前块的运动信息,那么可以在推导TMVP候选时使用除C0和C1以外的其它位置处的并置块。
在另一示例性实施方式中,即使块的形状为非正方形,在推导TMVP候选时优先考虑C1而不是C0,或可基于除C0、C1或左上角位置以外的其它位置的并置块来推导TMVP候选。非正方形块的形状可以包括例如矩形等。
在又一示例性实施方式中,可以在推导TMVP候选的过程中使用经发信号通知的块内的经修改的像素位置而不是左上角像素位置。用于解释本示例性实施方式的语法的示例在下面的表1中表示。
[表1]
在表1中,如果adaptive_pix_loc_flag被激活,则adaptive_pix_idx可以在解码设备中被解析。也就是说,如果adaptive_pixel_loc_flag的值为1,那么可以另外发信号通知adaptive_pixel_idx,并且如果adaptive_pixel_loc_flag的值为0,那么可以在推导TMVP候选的过程中使用当前块的左上角像素位置。adaptive_pix_idx可以意指用于基于光栅扫描顺序表示当前块内的特定像素位置的索引。
根据表1的示例公开了在序列参数集(SPS)级别发信号通知的语法,但是该示例不限于此。例如,为了表示在推导TMVP候选的过程中使用所发信号通知的块内的经修改的像素位置而不是左上角像素位置,还可以在图片参数集(PPS)级别、CU级别或PU标头级别发信号通知语法。
图4是示出根据示例性实施方式的关于运动矢量的信息的图。
当执行帧间预测时,可以解码每个编码单元或预测单元的运动矢量,并且可以更新每个编码单元或预测单元的运动矢量场(MVF)。存储在MVF中的信息可以包括运动矢量、参考索引、列表信息、预测模式信息等。可能需要多个位来表示存储在MVF中的信息,并且因此,如果多个MVF的运动信息被存储在运动场存储器中,则额外开销(overhead)可以应用于运动场存储器。
在示例性实施方式中,例如,可以使用16位、18位、20位等来表示在-215至215-1范围内的运动矢量。表示运动矢量所需的位数可以根据子画素的类型而变化。在一个更具体的示例中,如果以四分之一画素为单位存储在-215至215-1范围内的运动矢量,则可以使用18位。此时,1位可以用于表示运动矢量的符号,并且15位可以用于表示15位的二进制。在下文中,基于本示例中的方法的运动矢量的表示被称为“运动矢量非压缩”。
为了减少存储运动矢量所需的位数(即,增加运动矢量压缩),本公开的示例性实施方式提出了一种使用少于16的位数的方法。在下文中,存储运动矢量所需的信息(例如,位数)的减少被称为“运动矢量压缩”。
图4与运动矢量压缩的示例相对应。可以独立于关于相应视频编码系统的预定义运动矢量分辨率来应用运动矢量压缩。作为运动矢量分辨率,例如,可以有四分之一画素、半画素、十六分之一画素等。
图4所示的运动矢量结构由缩放因子、符号和运动数据组成。在示例性实施方式中,可以基于下面的式1推导运动矢量。
[式1]
MV=(缩放因子×运动数据)×符号
可以确认式1中的运动矢量是通过缩放因子、符号和运动数据的相乘得到的。
根据本公开的示例性实施方式,表示在-215至215-1的范围内的运动矢量时,sf、k和b(=1)可以满足下面的式2,sf是用于表示缩放因子的位数,k是用于表示运动数据的位数,并且b(=1)是用于表示符号的位数。
[式2]
sf+k+b<16
在一个示例中,如果sf是2,则可以如下表2所示推导缩放因子。
[表2]
sf二进制代码 缩放因子
00 1
01 2
10 4
11 8
参照表2,可以确定关于缩放因子的信息的二进制代码00表示缩放因子1,二进制代码01表示缩放因子2,二进制代码10表示缩放因子4,并且二进制代码11表示缩放因子8。
在一个示例中,sf可以是4。如果sf是4,则可以例如,如下表3所示推导缩放5因子。
[表3]
sf二进制代码 缩放因子
0000 1
0001 2
0010 4
0011 8
0100 16
0101 32
0110 64
0111 128
1000 256
1001 512
1010 1024
1011 2048
1100 4096
1101 8192
1110 16384
1111 32768
在表3中表示的sf二进制代码、缩放因子的数值以及对应关系仅仅是说明性的,并且可以以与其类似的方法不同地表示。
在一个示例中,k=5位可以用于表示运动数据。运动数据可以包括例如有效载荷信息。此时,b=1位可以用于表示运动矢量的符号,并且sf=4位可以用于表示缩放因子。
在另一示例性实施方式中,可以基于运动矢量的指数(exponent)值和运动矢量的尾数(mantissa)值来表示运动矢量。这里,运动矢量的尾数值可以包括关于前述运动数据和符号的信息。此外,运动矢量的指数值可以对应于上述缩放因子。也就是说,运动矢量也可以基于运动数据、符号和缩放因子来表示,或者基于运动矢量的指数值和运动矢量的尾数值来表示。
在一示例中,当基于指数值和尾数值来表示运动矢量时,运动矢量的指数值可以由4位表示,并且运动矢量的尾数值可以由6位表示。在同一示例中,如果运动矢量旨在基于运动数据、符号和缩放因子来表示,则运动数据可以由5位表示,符号可以由1位表示,并且缩放因子可以由4位表示。如上所述,运动数据和符号的组合可以表示与运动矢量尾数值相对应的信息。
为了应用根据本公开的示例性实施方式的运动矢量压缩,关于用于表示运动矢量的缩放因子的位数的信息、关于用于表示运动矢量的符号的位数的信息、关于用于表示运动矢量的运动数据的位数的信息和关于是否要应用运动矢量压缩的信息中的至少一个可以被包括在关于要发信号通知的运动矢量压缩的信息中。在下面的表4中示出了,其中在序列参数集(SPS)级别发信号通知关于运动矢量压缩的信息的示例。
[表4]
在表4中,compress_motion_flag可以表示关于是否要应用运动矢量压缩的信息(或者关于是否发信号通知运动矢量压缩的参数的信息),num_bits_for_scaling_factor可以表示关于用于表示运动矢量的缩放因子的位数的信息,num_bits_for_motion_payload可以表示关于用于表示运动矢量的运动数据的位数的信息,并且sign_bit_info可以表示关于用于表示运动矢量的符号的位数的信息。
如果compress_motion_flag的值是1,则表示关于运动矢量压缩的信息的参数可以被包括在要发信号通知的SPS中。如果compress_motion_flag的值是0,则表示关于运动矢量压缩的信息的参数可以不被发信号通知。
在一示例中,如果在十六分之一画素的运动矢量分辨率下运动矢量的大小是27,则基于运动矢量非压缩,运动数据变为27×16=211,从而需要12位,其是用于表示运动数据的11位和用于表示符号的1位的和,以便于表示运动矢量。
另一方面,基于示例中的运动矢量压缩,如果缩放因子为8,则运动数据变为27×16/8=28。因此,为了表示运动矢量,需要作为表示运动数据的8位、表示缩放因子的2位(然而,表示缩放因子需要2位的事实仅仅是说明性的,并且表示缩放因子的位数不限于2位)和表示符号的1位的总和的11位。参考本示例,可以确定,如果应用了运动矢量压缩,则与不应用运动矢量压缩的情况相比,可以节省1位。这与由式2获得的结果相匹配。也就是说,如果根据本公开的示例性实施方式应用运动矢量压缩,则可以在将运动矢量存储在运动场存储器中时节省位数,从而防止运动场存储器的额外开销,并提高图像编码系统的整体编码效率。
同时,参照表4,在SPS级别示例性地发信号通知关于运动矢量压缩的信息,但是该示例不限于此。例如,也可以在图片参数集(PPS)、切片分段报头、片组(tile group)报头、编码单元(CU)或预测单元(PU)级别发信号通知关于运动矢量压缩的信息。此外,尽管没有在表4中示出,但是也可以发信号通知附加的条件标志信息来表示运动矢量压缩。
图5是示出根据示例性实施方式的用于推导运动信息的当前块内的位置的图。
在示例性实施方式中,可以基于除4×4块的左上像素位置之外的像素位置来存储关于块的运动信息。例如,根据i)预测模式、ii)块的大小、iii)块的形状、和/或iv)用于推导块的MVF的运动模型,可以使用不同的像素位置。
图5示出其中基于位置A存储4×16矩形块的运动信息的示例。可以根据预测模式、块的大小、块的形状和/或所使用的运动模型来不同地确定除了图5所示的位置A之外的各种位置。
在另一示例中,根据运动模型可以使用不同的像素位置。在更具体的示例中,由于仿射预测使用4参数运动模型或6参数运动模型,所以可以根据是4参数运动模型还是6参数运动模型自适应地确定像素位置。本示例可使用基于SPS、PPS或其它报头信息发送的语法来执行。
图6是示出根据示例性实施方式的当前块内的感兴趣区域(ROI)的图。
在示例性实施方式中,可以限制用于推导一个图片或帧内的MVF的区域。在示例中,可以基于固定映射在图片内表示特定限制区域,或者可以基于针对每个图片变化的映射在图片内表示特定限制区域。图6所示的感兴趣区域(ROI)可以表示用于推导一个图片或帧内的MVF的限制区域。下面的表5示出其中在SPS级别发信号通知关于ROI的信息的示例。
[表5]
在表5中,如果roi_window_flag的值是1,则它可以表示ROI裁剪(cropping)窗口偏移参数将随后被包括在SPS内。如果roi_window_flag的值是0,则它可以表示ROI裁剪窗口偏移参数不存在于SPS内。roi_window_flag可以与表示块的MVF是否是基于ROI推导出的ROI标志信息的示例相对应。
roi_win_left_offset、roi_win_right_offset、roi_win_top_offset和roi_win_bottom_offset可以鉴于图片坐标中指定的矩形区域来表示,该矩形区域用于输出在解码过程中输出的经编码视频序列(CVS)内的图片的样本。例如,roi_win_left_offset、roi_win_right_offset、roi_win_top_offset和roi_win_bottom_offset可以表示ROI的坐标信息。也就是说,roi_win_left_offset、roi_win_right_offset、roi_win_top_offset和roi_win_bottom_offset可以分别表示ROI的左偏移值、ROI的右偏移值、ROI的上偏移值和ROI的下偏移值。如果roi_window_flag的值为0,则roi_win_left_offset、roi_win_right_offset、roi_win_top_offset和roi_win_bottom_offset的所有值可以被估计为0。
表5示出SPS报头的语法的示例,但是也可以在解码过程中通过PPS、切片报头、片组报头或其它报头发信号通知语法。
图7是示出根据示例性实施方式的编码设备的操作的流程图,并且图8是示出根据示例性实施方式的编码设备的配置的框图。
图7和图8所示的编码设备可以执行与稍后描述的图9和图10所示的解码设备相对应的操作。因此,后面将参照图9和图10描述的内容也可以以相同的方式应用于图7和图8所示的编码设备。
图7所示的每个步骤可以由图1所示的编码设备100执行。更具体地,S700到S720可以由图1所示的预测器110执行,S730可以由图1所示的存储器160或预测器110执行,S740可以由图1所示的残差处理器120执行,并且S750可以由图1所示的熵编码器130执行。此外,根据S700到S750的操作基于上面参照图3到图6描述的一些内容。因此,将省略或简化与上面参照图1、图3到图6描述的内容交叠的特定内容的描述。
如图8所示,根据示例性实施方式的编码设备可以包括预测器110、残差处理器120和熵编码器130。然而,在一些情况下,图8中所示的所有组件可以不是编码设备的必要组件,并且可以通过比图8中所示的组件更多或更少的组件来实现编码设备。例如,编码设备还可以包括存储器160。
在根据示例性实施方式的编码设备中,预测器110、残差预测器120和熵编码器130可以分别由单独的芯片实现,或者至少两个组件也可以通过一个芯片实现。
根据示例性实施方式的编码设备可以推导当前块的运动矢量(S700)。更具体地,编码设备的预测器110可以推导当前块的运动矢量。
根据示例性实施方式的编码设备可以生成关于运动矢量压缩的信息(S710)。更具体地,编码设备的预测器110可以生成关于运动矢量压缩的信息。
根据示例性实施方式的编码设备可以基于针对当前块的运动矢量推导针对当前块的预测块(S720)。更具体地,编码设备的预测器110可以基于针对当前块的运动矢量推导针对当前块的预测块。
根据示例性实施方式的编码设备可以基于关于运动矢量压缩的信息来存储关于针对当前块的运动矢量的信息(S730)。更具体地,编码设备的存储器160(图8中未示出)或预测器110可以基于关于运动矢量压缩的信息存储关于针对当前块的运动矢量的信息。
根据示例性实施方式的编码设备可以基于针对当前块的预测块推导针对当前块的残差样本(S740)。更具体地,编码设备的残差处理器120可以基于针对当前块的预测块推导针对当前块的残差样本。
根据示例性实施方式的编码设备可以对包括关于残差样本的信息和关于运动矢量压缩的信息的图像信息进行编码(S750)。更具体地,编码设备的熵编码器130可以对包括关于残差样本的信息和关于运动矢量压缩的信息的图像信息进行编码。
根据图7和图8所示的编码设备和编码设备的操作方法,编码设备可以推导针对当前块的运动矢量(S700),生成关于运动矢量压缩的信息(S710),基于针对当前块的运动矢量推导针对当前块的预测块(S720),基于关于运动矢量压缩的信息存储关于针对当前块的运动矢量的信息(S730),基于针对当前块的预测块推导针对当前块的残差样本(S740),并且对包括关于残差样本的信息和关于运动矢量压缩的信息的图像信息进行编码(S750)。也就是说,可以在基于运动矢量的帧间预测过程中基于运动矢量压缩存储关于运动矢量的信息,从而增强图像编码效率。
图9是示出根据示例性实施方式的解码设备的操作的流程图,并且图10是示出根据示例性实施方式的解码设备的配置的框图。
图9所示的每个步骤可以由图2所示的解码设备200执行。更具体地,S900到S920可以由图2所示的预测器230执行,S930可以由图2所示的存储器260执行,并且S940可以由图2所示的加法器240执行。此外,根据S900到S940的操作基于上面参照图3到图6描述的一些内容。因此,将省略或简化与上面参照图2到图6描述的内容交叠的特定内容的描述。
如图10所示,根据示例性实施方式的解码装置可以包括预测器230、加法器240和存储器260。然而,在某些情况下,图10中所示的所有组件可以不是解码设备的必要组件,并且解码设备可以由比图10所示的组件更多或更少的组件来实现。
在根据示例性实施方式的解码设备中,预测器230、加法器240和存储器260可以分别由单独的芯片实现,或者至少两个组件也可以通过一个芯片实现。
根据示例性实施方式的解码设备可以接收关于运动矢量压缩的信息(S900)。更具体地,解码设备的预测器230可以接收或解码关于运动矢量压缩的信息。
在示例性实施方式中,关于运动矢量压缩的信息可以包括关于用于表示运动矢量的缩放因子的位数的信息、关于用于表示运动矢量的符号的位数的信息、关于用于表示运动矢量的运动数据的位数的信息中的至少一个。在一示例中,关于运动矢量压缩的信息可以包括关于用于表示运动矢量的缩放因子的位数的信息、关于用于表示运动矢量的符号的位数的信息以及关于用于表示运动矢量的运动数据的位数的信息中的全部。
在另一示例性实施方式中,关于运动矢量压缩的信息可以包括关于用于表示运动矢量的指数值的位数的信息和关于用于表示运动矢量的尾数值的位数的信息中的至少一个。在一个示例中,关于运动矢量压缩的信息可以包括关于用于表示运动矢量的指数值的位数的信息和关于用于表示运动矢量的尾数值的位数的信息中的全部。
在该示例中,用于表示运动矢量的指数值的位数可以是4。此时,用于表示运动矢量的尾数值的位数可以是6。
在示例性实施方式中,用于表示缩放因子的位数是2,并且关于缩放因子的信息的二进制码00可以表示缩放因子1,二进制码01可以表示缩放因子2,二进制码10可以表示缩放因子4,并且二进制码11可以表示缩放因子8。
在另一示例性实施方式中,关于运动矢量压缩的信息可以包括表示是否基于压缩方法来表示运动矢量的标志信息,并且如果标志信息指示1,则关于运动矢量压缩的信息可以包括关于用于表示运动矢量的缩放因子的位数的信息、关于用于表示运动矢量的符号的位数的信息以及关于表示用于表示运动矢量的运动数据的位数的信息中的至少一个。
在示例性实施方式中,可以在SPS级别、图片参数集(PPS)级别、视频参数集(VPS)级别、切片报头级别和编码单元(CU)级别中的一个或更多个发信号通知关于运动矢量压缩的信息。
在示例性实施方式中,关于运动矢量压缩的信息可以包括关于用于推导当前图片内的运动矢量场(MVF)的感兴趣区域(ROI)的信息。关于ROI的信息可以包括表示是否基于ROI推导MVF的ROI标志信息,并且如果ROI标志信息指示1,则关于ROI的信息可以进一步包括ROI的坐标信息。在示例中,ROI的坐标信息可以包括ROI的左偏移值、ROI的右偏移值、ROI的上偏移值和ROI的下偏移值。
在示例性实施方式中,可以在SPS级别发信号通知关于ROI的信息。然而,该示例不限于SPS,并且例如,可以在SPS级别、PPS级别、VPS级别、切片报头级别和编码单元级别中的一个或更多个级别发信号通知关于ROI的信息。
根据示例性实施方式的解码设备可以推导针对包括在当前图片中的当前块的运动矢量(S910)。更具体地,解码设备的预测器230可以推导针对包括在当前图片中的当前块的运动矢量。
根据示例性实施方式的解码设备可以基于针对当前块的运动矢量推导针对当前块的预测块(S920)。更具体地,解码设备的预测器230可以基于针对当前块的运动矢量推导针对当前块的预测块。
根据示例性实施方式的解码设备可以基于关于运动矢量压缩的信息存储关于针对当前块的运动矢量的信息(S930)。更具体地,解码设备的存储器260可以基于关于运动矢量压缩的信息存储关于针对当前块的运动矢量的信息。
在示例性实施方式中,关于运动矢量的信息可以包括关于针对运动矢量缩放的运动矢量的信息。此外,关于运动矢量的信息可以包括关于运动矢量的缩放因子的信息、关于运动矢量的符号的信息以及关于运动矢量的运动数据的信息。在示例中,当运动矢量的缩放因子、运动矢量的符号和运动矢量的运动数据的值相乘时,可以推导运动矢量的缩放运动矢量。
在另一示例性实施方式中,关于运动矢量的信息可以包括关于运动矢量的缩放因子的信息、关于运动矢量的符号的信息以及关于运动矢量的运动数据的信息中的至少一个。解码设备可以基于当前块的运动矢量和缩放因子推导缩放运动数据,并且存储关于包括关于运动数据的信息的运动矢量的信息。
根据示例性实施方式的解码设备可以基于针对当前块的预测块生成针对当前图片的重构图片(S940)。更具体地,解码设备的加法器240可以基于针对当前块的预测块生成针对当前图片的重构图片。
在示例性实施方式中,解码设备可以仅存储来自单个列表的信息。例如,如果两个列表在双向预测中引用相同的图片,则解码设备可以仅存储来自两个列表中的一个列表的信息。本示例性实施方式可以基于SPS、PPS或其它报头中的条件解析来执行。例如,条件解析可以表示基于语法元素指示单个列表是否可以用于更新MVF。
在示例性实施方式中,可以自适应地执行用于存储MVF的确定,并且可以基于CTU、切片或片组执行该确定。用于存储MVF的确定的自适应执行可以被称为“自适应MVF存储”,并且用于自适应MVF存储的信令的示例在下面的表6中示出。
[表6]
在表6中,如果store_mvf_data的值是0,则可以不使用自适应MVF存储器。如果store_mvf_data的值是1,则可以使用自适应MVF存储器。如果store_mvf_data的值是1,则可以发信号通知mvf_storage_idx。
如果mvf_storage_idx的值是0,则可在帧级别考虑自适应MVF存储;如果mvf_storage_idx的值是1,则可以在CTU级别考虑自适应MVF存储;并且如果mvf_storage_idx的值是1,则自适应MVF存储可以在切片级别或片组级别被考虑。基于表6,可以在所有帧级别、所有CTU级别、所有切片级别或所有片组级别考虑是否可以执行自适应MVF存储。
根据图9和图10所示的解码设备和解码设备的操作方法,解码设备可以接收关于运动矢量压缩的信息(S900),推导针对包括在当前图片中的当前块的运动矢量(S910),基于针对当前块的运动矢量推导针对当前块的预测块(S920),基于关于运动矢量压缩的信息存储关于针对当前块的运动矢量的信息(S930),并且基于针对当前块的预测块生成针对当前图片的重构图片(S940)。也就是说,可以在基于运动矢量的帧间预测过程中基于运动矢量压缩存储关于运动矢量的信息,从而增强图像编码效率。
根据本公开的前述方法可以由软件形式实现,并且例如,根据本公开的编码设备和/或解码设备可以包括在诸如TV、计算机、智能电话、机顶盒或显示设备的用于执行图像处理的装置中。
前述各个部件、模块或单元可以是用于执行存储在存储器(或存储单元)中的连续执行处理的处理器或硬件部分。前述示例实施方式中描述的各个步骤可以由处理器或硬件部分执行。前述示例实施方式中描述的各个模块/块/单元可以作为硬件/处理器操作。此外,本公开所提出的方法可以用代码来执行。代码可以被写在处理器可读的存储介质上,并且因此可以由设备提供的处理器读取。
在前述示例性实施方式中,尽管基于示出为一系列步骤或方框的流程图描述了方法,但是本公开不限于步骤的顺序,并且特定步骤可以按与上述不同的顺序发生,或者与上述其他步骤同时发生。另外,本领域的技术人员可以理解,流程图中示出的步骤不是排他性的,并且在不影响本公开的范围的情况下,可以包括其他步骤,或者可以删除流程图中的一个或更多个步骤。
当本公开的示例实施方式以软件的形式实现时,前述方法可以由用于执行前述功能的模块(过程、功能等)来实现。这些模块可以存储在存储器中并且由处理器执行。存储器可以在处理器内部或外部,并且可以以各种熟知的手段连联接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器、存储卡、存储介质和/或其它存储装置。

Claims (4)

1.一种由解码设备执行的图像解码方法,该图像解码方法包括以下步骤:
推导与运动矢量压缩相关的信息;
推导针对包括在当前图片中的当前块的运动矢量;
基于针对所述当前块的所述运动矢量推导针对所述当前块的预测块;
基于与所述运动矢量压缩相关的所述信息来推导所述运动矢量的缩放运动矢量;
存储关于针对所述当前块的所述运动矢量的信息,其中,关于所述运动矢量的所述信息包括关于针对所述运动矢量的所述缩放运动矢量的信息;以及
基于针对所述当前块的所述预测块生成针对所述当前图片的重构图片,
其中,与所述运动矢量压缩相关的所述信息包括与用于表示所述缩放运动矢量的位数相关的信息、关于所述运动矢量的缩放因子的信息以及关于所述运动矢量的符号和运动数据的信息,并且
其中,关于所述符号和所述运动数据的所述信息由6位表示。
2.一种由编码设备执行的图像编码方法,该图像编码方法包括以下步骤:
推导针对当前块的运动矢量;
推导与运动矢量压缩相关的信息;
基于针对所述当前块的所述运动矢量推导针对所述当前块的预测块;
基于与所述运动矢量压缩相关的所述信息来推导所述运动矢量的缩放运动矢量;
存储关于针对所述当前块的所述运动矢量的信息,其中,关于所述运动矢量的所述信息包括关于所述运动矢量的所述缩放运动矢量的信息;
基于针对所述当前块的所述预测块推导针对所述当前块的残差样本;以及
对包括关于所述残差样本的信息的图像信息进行编码,
其中,与所述运动矢量压缩相关的所述信息包括与用于表示所述缩放运动矢量的位数相关的信息、关于所述运动矢量的缩放因子的信息以及关于所述运动矢量的符号和运动数据的信息,并且
其中,关于所述符号和所述运动数据的所述信息由6位表示。
3.一种存储指令的非暂态计算机可读数字存储介质,所述指令在被处理器执行时实现包括以下步骤的方法:
推导当前块的运动矢量;
推导与运动矢量压缩相关的信息;
基于针对所述当前块的所述运动矢量推导针对所述当前块的预测块;
基于与所述运动矢量压缩相关的所述信息来推导所述运动矢量的缩放运动矢量;
存储关于针对所述当前块的所述运动矢量的信息,其中,关于所述运动矢量的所述信息包括关于所述运动矢量的所述缩放运动矢量的信息;
基于针对所述当前块的所述预测块推导针对所述当前块的残差样本;以及
对包括关于所述残差样本的信息的图像信息进行编码,
其中,与所述运动矢量压缩相关的所述信息包括与用于表示所述缩放运动矢量的位数相关的信息、关于所述运动矢量的缩放因子的信息以及关于所述运动矢量的符号和运动数据的信息,并且
其中,关于所述符号和所述运动数据的所述信息由6位表示。
4.一种用于图像的数据的发送方法,所述发送方法包括以下步骤:
获得比特流,所述比特流是基于以下操作生成的:推导针对当前块的运动矢量,推导与运动矢量压缩相关的信息,基于针对所述当前块的所述运动矢量推导针对所述当前块的预测块,基于与所述运动矢量压缩相关的所述信息来推导所述运动矢量的缩放运动矢量,存储关于针对所述当前块的所述运动矢量的信息,其中,关于所述运动矢量的所述信息包括关于所述运动矢量的所述缩放运动矢量的信息,基于针对所述当前块的所述预测块推导针对所述当前块的残差样本,以及对包括关于所述残差样本的信息的图像信息进行编码;以及
发送包括所述比特流的所述数据,
其中,与所述运动矢量压缩相关的所述信息包括与用于表示所述缩放运动矢量的位数相关的信息、关于所述运动矢量的缩放因子的信息以及关于所述运动矢量的符号和运动数据的信息,并且
其中,关于所述符号和所述运动数据的所述信息由6位表示。
CN201980028903.1A 2018-04-02 2019-03-20 基于运动矢量的图像编码方法及其设备 Active CN112055967B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202410273206.5A CN118175298A (zh) 2018-04-02 2019-03-20 图片解码方法、图片编码方法和发送方法
CN202410273207.XA CN118175299A (zh) 2018-04-02 2019-03-20 解码设备、编码设备和发送设备

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862651648P 2018-04-02 2018-04-02
US62/651,648 2018-04-02
US201862665456P 2018-05-01 2018-05-01
US62/665,456 2018-05-01
PCT/KR2019/003251 WO2019194436A1 (ko) 2018-04-02 2019-03-20 움직임 벡터에 기반한 영상 코딩 방법 및 그 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202410273206.5A Division CN118175298A (zh) 2018-04-02 2019-03-20 图片解码方法、图片编码方法和发送方法
CN202410273207.XA Division CN118175299A (zh) 2018-04-02 2019-03-20 解码设备、编码设备和发送设备

Publications (2)

Publication Number Publication Date
CN112055967A CN112055967A (zh) 2020-12-08
CN112055967B true CN112055967B (zh) 2024-03-26

Family

ID=68101290

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202410273206.5A Pending CN118175298A (zh) 2018-04-02 2019-03-20 图片解码方法、图片编码方法和发送方法
CN202410273207.XA Pending CN118175299A (zh) 2018-04-02 2019-03-20 解码设备、编码设备和发送设备
CN201980028903.1A Active CN112055967B (zh) 2018-04-02 2019-03-20 基于运动矢量的图像编码方法及其设备

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202410273206.5A Pending CN118175298A (zh) 2018-04-02 2019-03-20 图片解码方法、图片编码方法和发送方法
CN202410273207.XA Pending CN118175299A (zh) 2018-04-02 2019-03-20 解码设备、编码设备和发送设备

Country Status (6)

Country Link
US (3) US11297327B2 (zh)
EP (1) EP3780609A4 (zh)
JP (1) JP7273845B2 (zh)
KR (1) KR102516233B1 (zh)
CN (3) CN118175298A (zh)
WO (1) WO2019194436A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115426494B (zh) * 2018-12-29 2024-05-17 华为技术有限公司 编码器,解码器和使用压缩mv存储的对应方法
WO2023219301A1 (ko) * 2022-05-13 2023-11-16 현대자동차주식회사 인트라 예측 블록에 대한 움직임벡터 저장을 위한 방법 및 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013074467A (ja) * 2011-09-28 2013-04-22 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2013102259A (ja) * 2011-11-07 2013-05-23 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
CN103339941A (zh) * 2011-11-02 2013-10-02 松下电器产业株式会社 动态图像编码方法、动态图像编码装置、动态图像解码方法、动态图像解码装置和动态图像编码解码装置
KR20140102639A (ko) * 2011-01-31 2014-08-22 한국전자통신연구원 움직임 벡터를 이용한 영상 부호화/복호화 방법 및 장치
JP2016106494A (ja) * 2016-02-12 2016-06-16 株式会社東芝 動画像符号化方法及び動画像復号化方法
KR20160106127A (ko) * 2014-01-08 2016-09-09 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 인코딩된 비트 스트림에서의 움직임 벡터 표현
WO2017034113A1 (ko) * 2015-08-24 2017-03-02 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2018026118A1 (ko) * 2016-08-01 2018-02-08 한국전자통신연구원 영상 부호화/복호화 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
BR112012025206B1 (pt) * 2010-04-09 2022-04-12 Mitsubishi Electric Corporation Dispositivo de decodificação de imagem em movimento
RU2613178C2 (ru) * 2011-01-07 2017-03-15 Интердиджитал Пэйтент Холдингз, Инк. Способ, система и устройство для приема совместно используемого канала нисходящей линии связи в кооперативных многоточечных передачах
US9300943B2 (en) * 2011-01-12 2016-03-29 Panasonic Intellectual Property Corporation Of America Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
KR102285746B1 (ko) * 2011-02-09 2021-08-04 엘지전자 주식회사 움직임 정보 저장 방법 및 이를 이용한 시간적 움직임 벡터 예측자 유도 방법
EP2679012B1 (en) * 2011-02-21 2015-08-26 Dolby Laboratories Licensing Corporation Floating point video coding
JP5786478B2 (ja) * 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
WO2013109092A1 (ko) * 2012-01-18 2013-07-25 한국전자통신연구원 영상 부호화 및 복호화 방법 및 장치
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
JP6440747B2 (ja) * 2014-06-27 2018-12-19 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Hevcでタイル化されたビデオ・ストリームに基づく関心領域の決定
WO2016056821A1 (ko) * 2014-10-08 2016-04-14 엘지전자 주식회사 3d 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치
JP6503014B2 (ja) * 2017-06-16 2019-04-17 株式会社東芝 動画像符号化方法及び動画像復号化方法
CN116866566A (zh) * 2018-03-21 2023-10-10 Lx 半导体科技有限公司 图像编码/解码方法、存储介质以及图像数据的传输方法
US20220150529A1 (en) * 2018-09-17 2022-05-12 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus, and recording medium storing bitstream
WO2020069673A1 (en) * 2018-10-06 2020-04-09 Mediatek Inc. Method and apparatus of shared merge candidate list region for video coding
CN115426494B (zh) * 2018-12-29 2024-05-17 华为技术有限公司 编码器,解码器和使用压缩mv存储的对应方法
WO2020172342A1 (en) * 2019-02-20 2020-08-27 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of motion vector rounding, clipping and storage for inter prediction

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140102639A (ko) * 2011-01-31 2014-08-22 한국전자통신연구원 움직임 벡터를 이용한 영상 부호화/복호화 방법 및 장치
JP2013074467A (ja) * 2011-09-28 2013-04-22 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
CN103339941A (zh) * 2011-11-02 2013-10-02 松下电器产业株式会社 动态图像编码方法、动态图像编码装置、动态图像解码方法、动态图像解码装置和动态图像编码解码装置
JP2013102259A (ja) * 2011-11-07 2013-05-23 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
KR20160106127A (ko) * 2014-01-08 2016-09-09 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 인코딩된 비트 스트림에서의 움직임 벡터 표현
WO2017034113A1 (ko) * 2015-08-24 2017-03-02 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP2016106494A (ja) * 2016-02-12 2016-06-16 株式会社東芝 動画像符号化方法及び動画像復号化方法
WO2018026118A1 (ko) * 2016-08-01 2018-02-08 한국전자통신연구원 영상 부호화/복호화 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BOSSEN (BOSSENTECH) F ET AL.Non-CE4: On Temporal Motion Buffer Compression,JVET-M0512-v2.《The Joint Video Exploration Team of ISO/IEC JTC1/SC29/WG11 and ITU-T SG. 16》.2019,全文. *
CE9: Reduced resolution storage of motion vector data,JCTVC-D072;Yeping Su and Andrew Segall;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;第1-3页 *
Yeping Su and Andrew Segall.CE9: Reduced resolution storage of motion vector data,JCTVC-D072.《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》.2011,第1-3页. *

Also Published As

Publication number Publication date
CN118175298A (zh) 2024-06-11
KR20200108083A (ko) 2020-09-16
EP3780609A1 (en) 2021-02-17
CN118175299A (zh) 2024-06-11
US20220159266A1 (en) 2022-05-19
EP3780609A4 (en) 2022-04-13
US20230300342A1 (en) 2023-09-21
JP7273845B2 (ja) 2023-05-15
US12010324B2 (en) 2024-06-11
US20210021834A1 (en) 2021-01-21
WO2019194436A1 (ko) 2019-10-10
KR102516233B1 (ko) 2023-03-30
US11297327B2 (en) 2022-04-05
JP2021518084A (ja) 2021-07-29
CN112055967A (zh) 2020-12-08
US11695935B2 (en) 2023-07-04

Similar Documents

Publication Publication Date Title
US20240089488A1 (en) Method for encoding image and non-transitory computer readable storage medium storing a bitstream generated by a method
CN111886861B (zh) 根据图像编码系统中的块划分结构的图像解码方法和设备
US10721479B2 (en) Intra prediction method and apparatus in image coding system
EP3367680A1 (en) Intra-prediction method and apparatus in video coding system
CN112042198B (zh) 基于仿射运动预测的图像编码方法及其装置
US11800114B2 (en) Inter-prediction method and apparatus in image coding system
US11838546B2 (en) Image decoding method and apparatus relying on intra prediction in image coding system
US12010324B2 (en) Image coding method based on motion vector and apparatus therefor
KR20180044935A (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
CN110603810B (zh) 图像编译系统中根据块分离结构的图像解码方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant