CN105191304A - 依据像素数据执行位平面扫描编码的图像编码方法与装置以及相关的图像解码方法与装置 - Google Patents

依据像素数据执行位平面扫描编码的图像编码方法与装置以及相关的图像解码方法与装置 Download PDF

Info

Publication number
CN105191304A
CN105191304A CN201480013044.6A CN201480013044A CN105191304A CN 105191304 A CN105191304 A CN 105191304A CN 201480013044 A CN201480013044 A CN 201480013044A CN 105191304 A CN105191304 A CN 105191304A
Authority
CN
China
Prior art keywords
pixel
color channel
data
bit
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480013044.6A
Other languages
English (en)
Other versions
CN105191304B (zh
Inventor
吴东兴
周汉良
李坤傧
朱启诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN105191304A publication Critical patent/CN105191304A/zh
Application granted granted Critical
Publication of CN105191304B publication Critical patent/CN105191304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种图像编码方法,包括至少如下步骤:接收一帧内的多个目标像素,其中每一目标像素的像素数据具有对应至少一颜色通道的至少一颜色通道数据;决定该多个目标像素的一比特预算;并且针对多个选择的像素依据该比特预算以及一扫描顺序执行位平面扫描编码,并据此产生该多个选择的像素的已编码的像素数据,作为该多个目标像素的编码数据,其中该多个选择的像素是从该多个目标像素中选择的;并且该位平面扫描编码提取每一选择的像素的像素数据的部分位作为该选择的像素的已编码的像素数据。此外,提供了一种相对应的图像解码方法。

Description

依据像素数据执行位平面扫描编码的图像编码方法与装置以及相关的图像解码方法与装置
交叉引用
本发明请求美国临时案申请号61/774,811(申请日2013年3月8日)的优先权,并请求美国申请号14/183,537(申请日2014年2月19日)的优先权,且上述申请案的所有内容以引用方式纳入。
技术领域
本申请所揭露的实施例与图像编码以及解码相关,更具体来说,涉及依据像素数据执行位平面扫描编码的图像编码方法与装置以及相关的图像解码方法与装置。
背景技术
第一芯片与第二芯片之间设置一个显示接口来从第一芯片至第二芯片传递显示数据。举例来说,第一芯片可以是一个主机应用处理器(hostapplicationprocessor),并且第二芯片是一个驱动集成芯片(driverintegratedcircuit,IC)。显示数据包括图像数据(imagedata)、视频数据、图形数据(graphicdata)、以及/或者屏幕显示数据OSD(on-screendisplay)。此外,显示数据可以是用于2维(2D)播放的单一视角数据或者用于3维(3D)播放的多视角数据。当一个显示平板支持较高的显示分辨率时,可以实现2D/3D较高分辨率的播放。因此通过显示接口传输的显示数据具有较大的数据尺寸/数据速率,这将不可避免地增加显示接口的能量消耗。如果主机应用处理器与驱动IC都位于一个由电池供电的可携带设备(例如一个智能手机),由于显示接口增加的能量消耗,电池的寿命将被缩短。
相似地,相机模组与后端处理芯片之间也设置一个相机接口,用来将相机数据从相机模组传输至后端处理芯片,以完成进一步的处理。举例来说,后端处理芯片是一个主机应用处理器。当相机模组支持较高图像分辨率时,通过相机接口传输的相机数据将具有一个较大的数据尺寸/数据速率,其将不可避免地增加相机接口的功率消耗。如果相机模组与主机应用处理器都位于一个由电池供电的可携带设备(例如一个智能手机),由于相机接口增加的能量消耗,电池的寿命将被缩短。
因此,需要一种能够降低显示接口/相机接口的功率消耗的新设计。
发明内容
依据本申请的实施方式,提出一种依据像素数据执行位平面扫描编码的图像编码方法与装置,以及相关的图像解码方法与装置。
依据本发明的第一实施例,揭露了一种示例性的图像编码方法。包含:接收一帧内的多个目标像素,其中每一目标像素的像素数据具有对应至少一颜色通道的至少一颜色通道数据;决定该多个目标像素的一比特预算;并且针对多个选择的像素依据该比特预算以及一扫描顺序执行位平面扫描编码,并据此产生该多个选择的像素的已编码的像素数据,作为该多个目标像素的编码数据,其中该多个选择的像素是从该多个目标像素中选择的;并且该位平面扫描编码提取每一选择的像素的像素数据的部分位作为该选择的像素的已编码的像素数据。
依据本发明的第一实施例,揭露了一种示例性的图像解码方法,包括:接收一个输入比特流,该输入比特流对应多个选择的像素;决定一帧内的多个目标像素的一个比特预算,其中该多个选择的像素是来自该多个目标像素;并且依据该比特预算以及一扫描顺序针对该多个选择的像素执行位平面扫描解码,并据此依据该多个选择的像素的已解码的像素数据产生该多个目标像素的已解码的像素数据,其中每一目标像素的已解码的像素数据具有对应至少一个颜色通道的至少一个颜色通道数据,并且该位平面扫描解码至少以该选择的像素的已编码的像素数据填充每一选择的像素的已解码像素数据的部分位。
依据本发明的第三实施例,揭露了一种示例性的图像编码装置。该图像编码装置包括一个输入端口以及一个编码器。该输入端口配置为接收一帧内的多个目标像素,其中每一目标像素的像素数据具有对应至少一颜色通道的至少一颜色通道数据。编码器配置为决定该多个目标像素的一比特预算,并且针对多个选择的像素依据该比特预算以及一扫描顺序执行位平面扫描编码,并据此产生该多个选择的像素的已编码的像素数据,作为该多个目标像素的编码数据,其中该多个选择的像素是从该多个目标像素中获得的,并且该位平面扫描编码提取每一选择的像素的像素数据的部分位作为该选择的像素的已编码的像素数据。
依据本发明的第四实施例,揭露了一种示例性的图像解码装置。该图像解码装置包括一个输入端口以及一个解码器。输入端口配置为接收一个输入比特流,该输入比特流对应多个选择的像素,其中该多个选择的像素是来自一帧内的多个目标像素。解码器配置为决定一帧内的多个目标像素的一个比特预算,并且依据该比特预算以及一扫描顺序针对该多个选择的像素执行位平面扫描解码,并据此依据该多个选择的像素的已解码的像素数据产生该多个目标像素的已解码的像素数据,其中每一目标像素的已解码的像素数据具有对应至少一个颜色通道的至少一个颜色通道数据,并且该位平面扫描解码至少以该选择的像素的已编码的像素数据填充每一选择的像素的已解码像素数据的部分位。
本领域技术人员在阅读了在多个附图所示的以下实施例的进一步细节之后,将了解本发明的上述以及其他目的与效果。
附图说明
图1是依据本发明的一个实施例的数据处理系统的举例说明。
图2是使用所提出的数据处理系统的第一应用的示意图。
图3是使用所提出的数据处理系统的第二应用的示意图。
图4是使用所提出的数据处理系统的第三应用的示意图。
图5是一个原始图像内的存取单元与编码单元的关系的示意图。
图6是依据第一情景针对选择的像素执行位平面扫描编码的示意图。
图7是由图1所示的编码器执行的示例性像素重新排序操作的示意图。
图8是依据第二情景针对选择的像素执行位平面扫描编码的示意图。
图9是由图1所示的编码器执行的示例性颜色通道重新排序操作的示意图。
图10是依据第三情景针对选择的像素执行位平面扫描编码的示意图。
图11由图1所示的编码器执行的示例性像素丢弃/省略操作的示意图。
图12是依据第四情景针对选择的像素执行位平面扫描编码的示意图。
图13是依据第五情景针对选择的像素执行位平面扫描编码的示意图。
图14是依据第一情景针对选择的像素执行位平面扫描解码的示意图。
图15是依据第二情景针对选择的像素执行位平面扫描解码的示意图。
图16是依据第三情景针对选择的像素执行位平面扫描解码的示意图。
图17是依据第四情景针对选择的像素执行位平面扫描解码的示意图。
图18是依据第五情景针对选择的像素执行位平面扫描解码的示意图。
图19是由图1所示的编码器执行的图像编码以及封包操作的示意图。
图20是依据本发明一实施例具有固定长度的颜色通道比特流片段的交错的比特流的示意图。
图21是图1所示的解码器所执行的图像解码以及解封操作的示意图。
图22是依据本发明的一实施例的图像编码方法的流程图。
图23是依据本发明的一实施例的图像解码方法的流程图。
具体实施方式
在说明书及权利要求书当中使用了某些词汇来指称特定的组件。所属领域中技术人员应可理解,硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。在通篇说明书及权利要求书中所提及的“包含”是一个开放式的用语,故应解释成“包含但不限定于”。此外,“耦接”一词在此是包含任何直接及间接的电气连接手段,因此,若文中描述第一装置耦接于第二装置,则代表该第一装置可直接电气连接于该第二装置,或者透过其他装置或连接手段间接地电气连接至该第二装置。
图1是依据本发明一个实施例的数据处理系统的图示。数据处理系统100包括图像编码装置102以及图像解码装置104,其中图像编码装置102是位于发射端TX,并且图像解码装置104是位于接收端RX。数据处理系统100内的每一个功能模块的操作将在以下部分中详细描述。一些举例说明中使用所提出的图2-4中的数据处理系统100来进行举例说明。
图2是使用所提出的数据处理系统的第一应用的举例说明。应用处理器202包括图像编码装置102以及其他电路203。驱动集成芯片(IC)204包括图像解码装置104以及其他电路205。应用处理器202中的其他电路203产生原始图像IMGRAW至图像编码装置102。其他电路203在输出原始图像IMGRAW之前,应用像素处理至原始图像IMGRAW。图像编码装置102耦接至其他电路203,并且依据原始图像IMGRAW执行有损/无损图像补偿/编码,以产生编码图像IMG_P,其中编码图像IMG_P经过其他电路203传递至显示接口206。在本发明的一个优选实施例中,编码图像IMG_P经由一个交错的比特流(interleavedbit-stream)传输。此外,当一种传统的图像压缩方法不能使得一个编码单元的压缩数据的尺寸小于或者等于该编码单元的设计的比特预算(bitbudget)时,图像编码装置102激活所提出的位平面扫描编码(bit-planescanningecoding)方法来产生编码单元的编码数据。应用处理器202经由显示接口206传输编码图像至驱动IC204。举例来说,显示接口206是一个符合移动工业处理器接口(MobileIndustryProcessorInterface,MIPI)标准的显示序列接口(displayserialinterface,DSI),或者是一个符合视频电子协会标准(videoElectronicsStandardsAssociation,VESA)的嵌入式显示端口(embeddeddisplayport,eDP)。
图像解码装置104从显示接口206接收编码图像,并且通过其他电路205传输该编码图像IMG_P至图像解码装置104。图像解码装置104依据编码图像IMG_P执行有损/无损解压缩/解码以恢复原始图像IMGRAW’,并且传输原始图像IMGRAW’至其他电路205以进行进一步的处理。如果图像编码装置102使用无损压缩/编码算法,自相对应的无损解压缩/解码算法产生的原始图像IMGRAW’将等同于原始图像IMGRAW。然而,如果图像编码装置102使用了有损的压缩/编码算法,自相对应的有损解压缩/解码产生的原始图像IMGRAW’将无法等同于原始图像IMGRAW。此外,当图像编码装置102使用所提出的位平面扫描编码方法,以产生编码单元的编码数据时,图像解码装置104使用相对应的位平面扫描解码方法来获得编码单元的解码数据。
与通过显示接口206直接传输原始图像IMGRAW相比较,通过显示接口206传输编码图像IMG_P具有更小的数据尺寸/更低的数据速率。因此显示接口206的功率消耗可以降低。此外,图像编码装置102被设置来产生具有交错的比特流结构的输出比特流。因此,驱动IC204所需的缓存(即解码端所需的缓存)将会缩减,并且获得一个像素的解码数据的处理延迟也将由于缩减的缓存而减小。此外,应用处理器202所需的缓存空间和处理延迟也将缩减。
图3举例说明了依据本申请第二实施例的数据处理系统。相机模组302包括图像编码装置102以及其他电路303。应用处理器304具有图像解码装置104以及其他电路305。相机模组302的其他电路303耦接至图像编码装置102,并且产生原始图像IMGRAW至图像编码装置102。其他电路303在输出原始图像IMGRAW之前,应用像素处理至原始图像IMGRAW。图像编码装置102依据原始图像IMGRAW执行有损/无损图像补偿/编码,以产生编码图像IMG_P,其中编码图像IMG_P经由其他电路303传输至相机接口306。在本发明的一个优选实施例中,编码图像IMG_P经由一个交错的比特流传输。此外,当一种传统的图像压缩方法不能使得一个编码单元的压缩数据的尺寸小于或者等于该编码单元的设计的比特预算时,图像编码装置102激活所提出的位平面扫描编码方法来产生编码单元的编码数据。相机模组302经由相机接口306传输编码图像IMG_P至应用处理器304。举例来说,相机接口306是一个符合移动工业处理器接口(MobileIndustryProcessorInterface,MIPI)标准的相机序列接口(cameraserialinterface,CSI)。
应用处理器304从相机接口306接收编码图像IMG_P,并且通过其他电路305传输编码图像IMG_P至图像解码装置104。图像解码装置104依据编码图像IMG_P执行有损/无损解压缩/解码以恢复原始图像IMGRAW’,并且传输原始图像IMGRAW’至其他电路305以进行进一步的处理。如果图像编码装置102使用无损压缩/编码算法,自相对应的无损解压缩/解码算法产生的原始图像IMGRAW’将等同于原始图像IMGRAW。然而,如果图像编码装置102使用了有损的压缩/编码算法,自相对应的有损解压缩/解码产生的原始图像IMGRAW’将无法等同于原始图像IMGRAW。此外,当图像编码装置102使用所提出的位平面扫描编码方法,以产生编码单元的编码数据时,图像解码装置104使用相对应的位平面扫描解码方法来获得编码单元的解码数据。
相似地,与通过相机接口306直接传输原始图像IMGRAW相比较,通过相机接口306传输编码图像IMG_P具有更小的数据尺寸/更低的数据速率。因此相机接口306的功率消耗因此可以降低。此外,图像编码装置102被设置来产生具有交错的比特流结构的输出比特流。因此,应用处理器304所需的缓存(即解码端所需的缓存)将会缩减,并且获得一个像素的解码数据的处理延迟也将由于缩减的缓存而减小。此外,相机模组302所需的缓存空间和处理延迟也将缩减。
图4是依据本发明第三实施例的使用数据处理系统的举例说明。在这个实施例中,所提出的数据处理系统由一个图形平台(graphicsplatform)实现,该图形平台包含,举例来说,图形处理单元(graphicsprocessingunit,GPU)402、视频编码器404、视频解码器406以及存储器408。GPU402、视频编码器404、视频解码器406以及存储器408通过总线401彼此沟通。GPU402、视频编码器404以及视频解码器406中的每一个配置了图像编码装置102_1/102_2/102_3以及图像解码装置104_1/104_2/104_3。由于编码图像是通过总线401传输的,总线401的频宽可缩减。优选地,图像编码装置102_1/102_2/102_3进一步被设置来产生具有交错的比特流结构的输出比特流。在这种方式下,解码端所需的缓存可减小,并且解码端获得一个像素的解码数据的处理延迟也可以减少。此外,编码端所需的缓存以及处理延迟也将减少。
如上所述,图像编码装置可以使用所提出的位平面扫描编码方法,该位平面扫描编码方法能够保证编码单元的编码数据的尺寸小于或者等于该编码单元所设计的比特预算。请参考图5,其绘示了一个原始图像中的存取单元与编码单元之间的关系。如图5所示,原始图像IMGRAW被划分为至少一个存取单元(AU),每一AU包含多个编码单元,并且每一个编码单元(EU)包含一组像素。一个EU是像素数据编码的一个基本单元。每一个AU的比特预算是一个预定值,并且配置给每一AU内的所有的EU的多个比特预算的总和被要求小于或者等于该AU的预定比特预算,其中一个EU的比特预算指的是该EU的最大编码比特长度。然而,当一个EU其中具有复杂的纹理/内容时,传统的压缩算法可能无法使EU的编码的比特长度满足该EU所需的设计的比特预算。因此,使用所提出的位平面扫描编码方法能够保证该EU的编码比特长度等于或者小于该EU的设计的比特预算。依据所提出的位平面扫描编码方法在一个EU内产生像素的编码像素数据的进一步细节将在以下的部分详细说明。
请再次参考图1。图像编码装置102具有输入端口112以及编码器114。输入端口112被配置为从前置电路元件(precedingcircuitelement)中接收一个帧中的一个编码单元EU中的多个目标像素。需注意的是,前置电路元件在输出帧至图像编码装置102之前,应用像素处理至该帧中的像素。每一目标像素的像素数据具有至少一个颜色通道数据,该颜色通道数据对应于至少一个颜色通道。当帧是使用颜色过滤阵列(colorfilterarray)的相机模组302产生的,该颜色过滤阵列例如是拜尔颜色过滤阵列,该帧的每一像素包含颜色通道数据,该颜色通道数据对应多个不同的颜色通道中的仅仅一个。在另一种情况下,该帧是应用处理器202产生的,该帧中的每一像素包括多个颜色通道数据,该多个颜色通道数据分别对应多个不同的颜色通道。在举例说明中,但并非强制要求,颜色通道对应RGB格式或者YUV(YCrCb)格式。此外,输入端口112进一步接收一个待编码的存取单元AU或者一个待编码的帧中多个像素的比特预算BB。
编码器114是图像编码装置102的核心部分。编码器114耦接至输入端口112,并设置为决定待编码的编码单元EU的比特预算BBEU,并且依据比特预算BBEU以及扫描顺序执行位平面扫描编码至编码单元EU的选择的像素,并据此产生所选择的像素的编码像素数据作为编码单元EU内的目标像素的编码数据。选择的像素是从目标像素获得的。在一个示范性设计中,编码单元EU内的所有目标像素被选择为待编码的选择的像素。在另一个示范性设计中,仅仅编码单元EU内的目标像素的一部分被选择作为待编码的选择的像素。因此,并非所有的编码单元EU的像素数据都经历所提出的位平面扫描编码。由编码器114执行的位平面扫描编码操作直接提取每一选择的像素的部分像素数据来作为选择的像素的编码的像素数据。因此,所提出的位平面扫描编码被视作有损的压缩操作,由于每一选择的像素的一部分像素数据在编码过程中没有被考虑。为了更好地理解本发明的技术特征,一些应用位平面扫描编码操作的情景如下所示。
在第一个情景中,待编码的编码单元EU内的所有的目标像素都选择为选择的像素,并且目标像素没有执行重新排序(reordering)。请参考图6,其绘示了依据第一个情景将位平面扫描编码应用至选择的像素的举例说明。EU中的像素可以是1维的、2维的或者3维的。如图6所示,不同的多个像素依据EU的预定的顺序在X个方向上布置,举例来说,预定的顺序是光栅扫描顺序(rasterscanorder);不同的多个颜色通道在Y方向上被布置;并且不同的位平面在Z方向上被布置。在这个实施例中,编码单元EU包括M个像素P1-PM,所有的像素直接被选择作为选择的像素来经历如下所述的位平面扫描编码;每一像素具有N个颜色通道CH1-CHN的颜色通道数据;并且每一颜色通道数据对应L个位平面,因此具有从最低有效位(leastsignificantbit,LSB)平面至最高有效位(mostsignificantbit,MSB)平面的位B1-BL。因此,所有M个像素的N个颜色通道的颜色通道数据的LSB来自第一位平面,并且,所有M个像素的N个颜色通道的颜色通道数据的MSB来自第L位平面。需注意的是,每一像素包括单一颜色通道的一个颜色通道数据或者多个颜色通道的多个颜色通道数据,依据多个帧的来源决定。
依据编码单元EU的扫描顺序以及比特预算BBEU,编码器114估计每一选择的像素的比特预算,并且每一选择的像素中的像素数据的部分比特实际上提取出来作为选择的像素的编码像素数据。扫描顺序可依据至少下列准则之一来定义:一个选择的像素的一个颜色通道的一个颜色通道数据,从最高有效位平面(例如BL)至最低有效位平面(例如B1);在一个位平面,从第一个选择的像素(即P1)至最后一个选择的像素(例如PM);在一个选择的像素,从第一个颜色通道(例如CH1)至最后一个颜色通道(例如CHN)。为了清楚与简便说明,下面将假设应用上述所有的准则来定义扫描顺序。需要注意的是,解码器124了解编码器114所使用的扫描顺序的信息,因此解码器124能够执行位平面扫描解码来正确地恢复编码单元内的目标像素的解码的像素数据。使得解码器124了解编码器114使用的扫描顺序的细节将在以下的部分详细说明。
由于编码单元EU的设计的比特预算BBEU是已知的,位平面扫描编码依据扫描顺序为每一选择的像素的每一颜色通道的每一颜色通道数据配置比特预算。更具体来说,位平面扫描编码的第一阶段(即比特预算配置过程)适当地依据扫描顺序分配编码单元EU的设计的比特预算BBEU至所有的选择的像素的颜色通道的颜色通道数据,接着位平面扫描编码的第二阶段(即比特提取过程)遵循比特预算配置结果来产生选择的像素的已编码的像素数据。以这样的方式,选择的像素的已编码的像素数据(即提取的比特)具有编码位长度等于或者小于编码单元EU的设计的比特预算BBEU,因此满足压缩的需求。
举例来说,编码器114计算比特预算BB_CH1-BB_CHN,并且比特预算BB_CH1-BB_CHN被分别配置至颜色通道CH1-CHN。在这种情况下,当分配给第i个颜色通道的比特预算BB_CHi被M个待编码的选择的像素分配时,从每一选择的像素的第i个颜色通道的颜色通道数据提取的更有效位的数量(即,每一选择的像素的第i个颜色通道的颜色通道数据的分配的比特预算)可以一致地设置为因此,从BL至BK的连续的位可以被提取作为编码数据,其中然而,第i个颜色通道(例如最后的颜色通道CHN)分配的比特预算BB_CHi是不能被待编码的选择的像素的数量M除尽的。因此,编码器114并非从一个相同的颜色通道的每一颜色通道数据中提取出相同的数量的位。举例来说,第i个颜色通道的比特预算BB_CHi可视为特定比特预算(例如BB_CHi1与BB_CHi2)的和(BB_CHi=BB_CHi1+BB_CHi2),其中比特预算BB_CHi1是由选择的像素P1-PM-1分享,并且比特预算BB_CHi2被仅分配给选择的像素PM。因此,从每一选择的像素P1-PM-1的颜色通道CHi的颜色通道数据可提取的更有效位的数量(即每一选择的像素P1-PM-1的第i个颜色通道的颜色通道数据的分配的比特预算)可统一地设置为其中
如图6中明确说明的,最后的选择的像素PM的特定颜色通道的颜色通道数据在特定颜色通道的扫描顺序中具有最低的优先级。因此,当特定颜色通道的配置的比特预算不能被待编码的选择的像素的数量M除尽时,由于较少的提取位,至少最后的选择的像素PM的特定颜色通道(例如最后的颜色通道CHN)的颜色通道数据的编码准确性被牺牲。如果连续的编码单元的相同的特定颜色通道被配置的比特预算不能被待编码的选择的像素的数量M除尽时,编码准确性的降低将在相同的位置规律地发生,因此可能导致观看者可觉察到的视觉效果。简单来说,当一个颜色通道的配置的比特预算不能被待编码的选择的像素的数量M除尽时,由于非统一的位提取,编码的准确性将降低。为了增强视觉质量,本发明提出了在执行位平面扫描编码之前,将编码单元EU内的目标像素重新排序以及/或者将编码单元EU中的颜色通道重新排序。以这种方式,发生编码准确性降低的位置将随机化,因此减轻了观看者可觉察的视觉效果。
在第二个情景中,所有的待编码的编码单元EU内的目标像素被选择作为选择的像素,并且针对目标像素重新排序来设置选择的像素。更具体来说,依据至少一个颜色通道来执行重新排序以设置选择的像素,选择的像素将经历位平面扫描编码。需注意的是,编码器114在每一重新排序的颜色通道的颜色通道数据的重新排序关系的信息被解码器124了解,从而解码器124能够参考编码器114使用的重新排序策略来执行位平面扫描解码以正确地恢复编码单元内的目标像素的已解码像素数据。能够使得解码器124了解编码器114使用的像素重新排序策略的方法将在以下部分中详细说明。
请一同参考图7与图8。图7是图1所示的编码器114执行的像素重新排序操作的举例说明。图8是依据第二情景将位平面扫描编码应用至选择的像素的举例说明。如图7所示,一个颜色通道的颜色通道数据顺序地属于待编码的编码单元EU的目标像素P1-PM。在执行像素重新排序操作之后,目标像素P2-PM与P1的颜色通道的颜色通道数据依序地成为选择的像素P1’-PM’的相同的颜色通道的颜色通道数据。需注意的是,在目标像素P1-PM与选择的像素P1’-PM’之间具有一一对应的重新排序/映射关系。换言之,当像素重新排序应用至一个颜色通道时,一个目标像素的颜色通道数据仅映射至一个选择的像素,并且没有一个不同的目标像素的颜色通道数据映射至相同的选择的像素。举例来说,针对目标像素PM的颜色通道数据的编码准确性下降将在没有进行像素重新排序操作之前发生,并且针对目标像素P1的颜色通道数据(即选择的像素PM’的颜色通道数据)的编码准确性下降将在执行像素重新排序操作之后发生。当使用不同的重新排序/映射关系至不同编码单元的相同的颜色通道时,编码准确性下降的发生位置将是动态的而不是静态的。如图8所示,位平面扫描编码是在待编码的编码单元EU的目标像素P1-PM重新排序之后的选择的像素P1’-PM’的比特预算配置已经决定之后。需注意的是,重新排序目标像素P1-PM的操作包括应用像素重新排序至目标像素P1-PM的颜色通道CH1-CHN的至少一个。此外,当目标像素P1-PM的重新排序操作包括应用像素重新排序至目标像素P1-PM的不同的颜色通道,针对不同的颜色通道可应用不同的一一对应重新排序/映射关系。图8所示的位平面编码情景与图6所示的位平面编码情景之间的主要不同之处在于选择的像素P1’-PM’并非由连续的目标像素P1-PM直接设定,其中目标像素P1-PM初始设置在待编码的编码单元EU中。因此,依据编码单元EU的扫描顺序以及比特预算BBEU,位平面扫描编码提取每一选择的像素的像素数据的部分比特作为已编码的像素数据的选择的像素。其中每一像素包括单一颜色通道的一个颜色通道数据或者多个颜色通道的多个颜色通道数据,依据多个帧的来源决定。
相同的重新排序思路可应用至待编码的编码单元EU中的多个颜色通道。在第三情景中,所有的待编码的编码单元EU内的目标像素选择作为选择的像素,并将重新排序应用至多个颜色通道,以设置选择的像素。更具体来说,针对至少一个像素执行颜色通道重新排序操作,以设置一个选择的像素,这个选择的像素将经历位平面扫描编码。需注意的是,编码器114使用的每一重新排序的像素的颜色通道数据的重新排序关系的信息被解码器124所了解,从而解码器124能够执行位平面扫描解码以正确地恢复编码单元内的目标像素的已解码像素数据。能够使得解码器124了解编码器114使用的重新排序策略的方法将在以下部分中详细说明。
请一同参考图9与图10。图9是图1所示的编码器114执行的颜色通道重新排序操作的举例说明。图10是依据第三情景将位平面扫描编码应用至选择的像素的举例说明。如图9所示,一个像素的颜色通道数据依序地属于待编码的编码单元EU的多个不同的颜色通道CH1-CHN。在执行颜色通道重新排序操作之后,一个原始像素的颜色通道CH2-CHN及CH1的颜色通道数据依序地成为一个选择的像素的颜色通道CH1’-CHN’的颜色通道数据。需注意的是,在颜色通道CH1-CHN与重新排序的颜色通道CH1’-CHN’之间具有一一对应的重新排序/映射关系。举例来说,针对颜色通道CHN的颜色通道数据编码准确性下降将在没有进行颜色通道重新排序操作之前发生,并且针对颜色通道CH1的颜色通道数据的编码准确性下降将在执行颜色通道重新排序操作之后发生。当使用不同的重新排序/映射关系至相同像素的不同编码单元时,编码准确性下降的发生位置将是动态的而不是静态的。如图10所示,位平面扫描编码是在选择的像素P1-PM的比特预算配置已经决定之后执行,其中选择的像素P1-PM是由待编码的编码单元EU的重新排序的颜色通道CH1-CHN设定。颜色通道CH1-CHN的重新排序操作包括应用颜色通道数据重新排序至目标像素P1-PM中至少一个。针对不同的目标像素可应用不同的一一对应重新排序/映射关系。依据编码单元EU的扫描顺序以及比特预算BBEU,位平面扫描编码提取具有重新排序的颜色通道的每一选择的像素的像素数据的部分比特作为选择的像素的已编码的像素数据。
图7所示的像素重新排序与图9所示的颜色通道重新排序可由编码器114单独或者结合使用。在另一替代设计中,一种混合重新排序操作,包含像素重新排序以及颜色通道重新排序,可被用来设置选择的像素,该选择的像素经历后续的位平面扫描编码。这也在本发明的精神涵盖之内。本领域技术人员在阅读了如上所述的像素重新排序(图7与图8)以及颜色通道重新排序(图9与图10)之后,能够理解混合重新排序的细节,更进一步的说明在此省略,以免赘述。
如上所述,所提出的位平面扫描编码提取每一选择的像素的像素数据的部分位作为选择的像素的已编码的像素数据。因此,每一像素的编码准确性依赖于该像素实际提取的位的数量。因此,当从一个像素中提出更多位作为该像素的编码数据时,由位平面扫描编码导致的编码错误将减少。此外,相同的编码单元的相邻的像素具有一定的关联。因此,当一个特定像素的一个特定颜色通道的颜色通道数据在编码端被有意地丢弃的时候,特定像素的特定颜色通道的丢失的颜色通道数据在解码端重新构建,该重新构建是通过相邻像素的相同的特定颜色通道的颜色通道数据的像素数据插值进行,或者依据相邻像素的其他颜色通道的颜色通道数据插值进行。在上述发现之下,本发明进一步提出丢弃待编码的编码单元EU中的目标像素P1-PM的部分像素数据,因此在编码单元EU相同的预定比特预算BBEU的情况下,允许配置一个较大的比特预算至多个颜色通道中的至少一个(例如一个对于视觉效果关键的颜色通道)。举例来说,但并不局限于,编码器114所丢弃/省略的颜色通道数据的信息被解码器124所知,从而解码器124能够识别丢失的颜色通道数据的位置,并且执行插值来正确地恢复有意丢弃/省略的颜色通道数据。能够使得解码器124了解编码器114使用的丢弃策略的方法将在以下部分中详细说明。
在第四情景中,并非所有的待编码的编码单元EU内的目标像素被选择来作为选择的像素,并且不应用重新排序至目标像素以及颜色通道来设置选择的像素。请一同参考图11与图12。图11是图1所示的编码器114所执行的通道像素丢弃/省略操作的举例说明。图12是依据第四情景应用位平面扫描编码至选择的像素的举例说明。在一个实施例中,通道像素丢弃/省略操作采用一个固定的子采样模型来决定哪一个颜色通道数据被丢弃/省略。举例来说,如图11的子图(A)所示,1维子采样应用至一个颜色通道,以周期性地在一个相同的颜色通道内丢弃/省略颜色通道数据。任何具有至少一个没有丢弃/省略的颜色通道数据的目标像素设置为多个选择的像素中一个,以进行后续的位平面扫描编码。在另一个举例说明中,如图11的子图(B)所示,2维(2D)子采样应用至相邻的颜色通道,从而在相邻的颜色通道交替地丢弃/省略颜色通道数据。任何具有至少一个没有丢弃/省略的颜色通道数据的目标像素设置为多个选择的像素中一个,以进行后续的位平面扫描编码。图11中所述的固定的子采样模型仅仅用来举例说明,而并非作为本发明的限制。
如果编码器114被设置来应用一个预定的子采样策略至任意的编码单元,来决定哪一个颜色通道数据应该被丢弃/省略,归结于解码器124也被设置应用相同的子采样策略来决定哪一个颜色通道数据应该被通过插值而重新构建的事实,则可能不需要增加子采样的信息至标头(header),该标头从图像编码装置102传输至图像解码装置104。因此,编码器114与解码器124中的每一个最初被设置为使用相同的子采样策略,而无论待编码的编码单元如何。因此不需要在编码器114与解码器124之间执行子采样的同步。
此外,通道像素丢弃/省略操作由动态的子采样策略实现,来决定哪一个颜色通道数据应该被丢弃/省略。因此,编码器114所使用的动态子采样模型将被信号通知给图像解码装置104,从而解码器124能够识别编码器114实际使用的子采样策略,并且执行插值来正确地恢复丢失的颜色通道数据。因此,编码器114与解码器124中的每一个都可以动态地调整当前处理的不同的编码单元的子采样策略。因此,需要由编码器114与解码器124所执行的子采样操作之间的同步。
如图12所示,在待编码的编码单元EU所包含的目标像素P1-PM应用通道像素丢弃/省略,以设定选择的像素P1-PM之后,执行位平面扫描编码,其中斜线所标识的区域代表丢弃/省略颜色通道数据,这些丢弃/省略颜色通道数据并没有被比特预算配置以及位平面扫描编码的位提取所考虑。图12所示的位平面编码情景与图6所示的位平面编码情景之间的不同之处在于待编码的编码单元EU的目标像素P1-PM并没有直接地设置为选择的像素P1-PM。具体来说,由位平面扫描编码实际处理的选择的像素P1-PM的数据数量小于待编码的编码单元EU初始包含的目标像素P1-PM的像素数量。相似的,在经过通道像素丢弃/省略获得选择的像素P1-PM之后,位平面扫描编码参考扫描顺序以及编码单元EU的比特预算BBEU来适当地提取每一选择的像素的像素数据的部分位作为选择的像素的已编码的像素数据。其中每一像素包括单一颜色通道的一个颜色通道数据或者多个颜色通道的多个颜色通道数据,依据多个帧的来源决定。
在这个例子中,目标像素P2的颜色通道CH1与CHN的颜色通道数据被丢弃/省略,从而不被位平面扫描编码所考虑,并且目标像素P3的颜色通道CH3的颜色通道数据被丢弃/省略,从而不被位平面扫描编码所考虑。因此,没有目标像素P2的颜色通道CH1与CHN的颜色通道数据以及目标像素P3的颜色通道CH3的颜色通道数据中的部分位被提取作为已编码的颜色通道数据;并且多个颜色通道中的至少一个被设置一个较大的比特预算,从而获得更好的编码准确性。在一种情况下,当颜色通道对应RGB格式时,绿色通道(G)比红色通道(R)及蓝色通道(B)更重要。因此,在位平面扫描编码没有考虑目标像素P1-PM的部分颜色通道数据的情况下(即,最终由通道像素丢弃/省略操作设定的选择的像素P1-PM具有一个缩减的待编码的像素数据的数量),绿色通道(G)可配置较大的比特预算。在另外一种情况下,当颜色通道对应YUV(YCrCb)格式时,亮度通道(Y)比色度通道(U,V)更重要。因此,在位平面扫描编码没有考虑目标像素P1-PM的部分颜色通道数据的情况下(即,最终由通道像素丢弃/省略操作设定的选择的像素P1-PM具有一个缩减的待编码的像素数据的数量),亮度通道(Y)可配置较大的比特预算。
在如图12所示的举例说明中,并非所有的颜色通道CH1-CHN具有相同数量的像素。更具体来说,具有丢弃的对应第一颜色通道的颜色通道数据的选择的像素的数量与具有丢弃的对应第二颜色通道的颜色通道数据的选择的像素的数量不同,其中第一颜色通道与第二颜色通道不同。然而,这仅仅用于举例说明,而并非本发明的限制。
在如上所述的第四情景中,具有至少一个没有丢弃/省略的颜色通道数据的目标像素直接地设置为选择的像素,来经历后续的位平面扫描编码,以获得选择的像素的更好的编码质量。在一个替代设计中,至少一个如上所述的重新排序操作,例如像素重新排序以及颜色通道重新排序,将引入来减轻观看者觉察的视觉效果。请参考图13,其是依据第五情景针对选择的像素执行位平面扫描编码的举例说明。在第五情景中,重新排序(例如,一种单独的重新排序操作(像素重新排序或者颜色通道重新排序)或一种混合的重新排序(包含像素重新排序与颜色通道重新排序))以及通道数据丢弃/省略都被使用来获得更好的编码质量以及视觉质量。
在一个示范性例子中,当单独的重新排序操作是像素重新排序时,通道数据重新排序将在执行通道数据丢弃/省略之前执行。因此,编码器114被配置来重新排序目标像素P1-PM以设置选择的像素P1’-PM’;接着在执行位平面扫描编码之前,丢弃至少一个选择的像素的一个颜色通道的颜色通道数据的至少一部分,位平面扫描编码包含针对选择的像素执行比特预算配置以及位提取。在另一个示范性举例中,当单独的重新排序操作是像素重新排序时,通道数据丢弃/省略在通道数据重新排序操作之前执行。因此,编码器114被设置为丢弃至少一个目标像素的一个颜色通道对应的颜色通道数据的至少一部分。举例来说,具有丢弃的对应第一颜色通道的颜色通道数据的目标像素的数量与具有丢弃的对应第二颜色通道的颜色通道数据的目标像素的数量不同,其中第一颜色通道与第二颜色通道不同。接下来,编码器114被设置在执行位平面扫描编码之前来重新排序目标像素以获得选择的像素,这些目标像素是从丢弃的步骤获得,位平面扫描编码包含针对选择的像素执行比特预算配置以及位提取。与图13所示的针对选择的像素执行位平面扫描编码的相同的目的也可以获得。
相似的,当重新排序操作是单独的重新排序操作,单独的重新排序操作仅仅是颜色通道重新排序,或者重新排序操作是混合的重新排序操作,混合的重新排序操作包含像素重新排序与颜色通道重新排序时,重新排序的操作可以在执行通道数据丢弃/省略之前或者在执行通道数据丢弃/省略之后执行,这依据设计考量而决定。与图13所示的针对选的像素执行位平面扫描编码的相同的目的也可以获得。
如图1所示,编码器114依据选择的像素的已编码的像素数据输出比特流BS_O,选择的像素的已编码的像素数据作为目标像素P1-PM的已编码的像素数据。在这个实施例中,图像解码装置104包括输入端口122以及解码器124。在TX端(例如一个芯片)的编码器114产生的输出比特流BS_O传输至RX端(例如另一芯片)的解码器124,并且作为输入比特流BS_I,携带了待解码的已编码的像素数据。输入端口122被设置为接收对应多个选择的像素的输入比特流BS_I,其中选择的像素是从一个帧的一个编码单元的目标像素中获得。举例来说,待解码的选择的像素可以是所有的目标像素,或者待解码的选择的像素可以是目标像素的一部分(即,输入比特流BS_I包含的一个已编码帧的一个编码单元的选择的像素的像素数据的数据数量比一个待解码帧的编码单元中的目标像素的像素数据的数据数量小)。此外,输入端口122更进一步接收待解码的一个存取单元或者待解码的一帧的像素的比特预算BB。解码器124耦接至输入端口122,并且配置为决定编码单元EU的比特预算BBEU,并且更进一步依据比特预算BBEU以及编码器114所使用的扫描顺序针对选择的像素执行位平面扫描解码,并因此依据选择的像素的已解码的像素数据产生编码单元EU’的目标像素P1-PM的已解码像素数据。
依据编码端处理的帧的来源,每一目标像素的已解码像素数据具有对应至少一个颜色通道的至少一颜色通道数据。举例来说,当编码端已处理的帧是从相机模组302产生的时,其中相机模组302使用一种颜色过滤阵列(例如拜尔颜色过滤阵列),该帧中的每一像素包括对应多个不同的颜色通道的仅仅一个颜色通道的颜色通道数据。因此,每一目标像素的已解码像素数据具有仅仅对应单一颜色通道的颜色通道数据。在另一种情况下,当编码端处理的帧是从应用处理器202产生时,该帧的每一像素包括分别对应多个不同颜色通道的多个颜色通道数据。因此,每一目标像素的已解码像素数据包含对应多个不同颜色通道的多个颜色通道数据。举例来说,但并不局限于,颜色通道可对应RGB格式或者YUV(YCrCb)格式。
解码器124所执行的位平面扫描解码至少以选择的像素的已编码的像素数据填充每一选择像素的已解码像素数据的部分位。具体来说,解码端的位平面扫描解码可视为编码端所执行的位平面扫描编码的逆程序。因此,解码端的编码单元EU’的获得是参看了在编码端原始编码单元EU是如何编码的。
如上所述,每一编码单元EU的比特预算BBEU是由编码器114控制与配置。为了在解码端适当地重建像素数据,每一编码单元EU的比特预算BBEU的信息应该被解码器124所了解。下面所述的一或多种模式能够使得解码器124来决定每一编码单元EU的比特预算BBEU
当采用第一模式时,编码单元EU的比特预算BBEU的信息从编码器114传输至解码器124。举例来说,编码器114被设置为将编码单元EU的比特预算BBEU的信息增加至输出比特流BS_0,并且解码器124被设置为从输入比特流BS_I提取编码单元EU的比特预算BBEU的信息。举例来说,在编码器114与解码器124之间增加一个附加的通信/握手/轮询机制,从编码器114与解码器124使用编码单元EU的相同的比特预算BBEU
当使用第二模式时,编码器114所使用的设定编码单元EU的比特预算BBEU的控制机制也被解码器124所使用。在这样的方式下,由于采用了相同的机制,编码端的待编码的编码单元EU的比特预算BBEU与解码端待解码的相同的编码单元EU的比特预算BBEU彼此同步。举例来说,编码器114参考一个待编码的图像帧的一个存取单元AU的比特预算BB以及编码器114已处理的先前编码单元的比特预算来决定当前待编码的编码单元EU的比特预算BBEU。由于编码器114与解码器124使用相同的机制来设置编码单元EU的比特预算BBEU,解码器124能够在编码器114没有给出编码单元EU的比特预算BBEU的信息时,获得编码单元EU的比特预算BBEU
当使用第三模式时,编码器114与解码器124被设置为使用编码单元EU的相同的比特预算BBEU。相似地,解码器124能够在编码器114没有给出编码单元EU的比特预算BBEU的信息时,获得编码单元EU的比特预算BBEU
更进一步,为了在解码端适当地重新构建像素数据,关于编码器114的扫描顺序、重新排序(如果使用了像素重新排序以及/或者颜色通道重新排序来设置经历后续的位平面扫描编码的选择的像素)以及丢弃(如果编码单元中的目标像素的一部分像素数据被丢弃,以设置经历后续的位平面扫描编码的选择的像素)的信息也应该被解码器124所了解。举例来说,可使用如上所述的一个或者多个模式来使得解码器124获得所需要的扫描顺序信息、重新排序策略信息以及/或者丢弃策略信息。
请参考图14,是依据第一情景的将位平面扫描解码应用至选择的像素的举例说明。在这个例子中,图14所示的位平面扫描解码是图6所示的位平面扫描编码的逆程序。因此,待解码的编码单元EU’内的所有目标像素是待解码的选择的像素。开始,如图14的右上部分所示,位平面扫描解码重置待解码的编码单元EU’的所有像素(即,作为选择的像素)的已解码像素数据的所有位。换句话说,每一像素的每一颜色通道的颜色通道数据的位被重置为0。重置的已解码像素数据由选择的像素(M个像素P1-PM)组成;每一像素具有N个颜色通道CH1-CHN的颜色通道数据;并且每一颜色通道数据对应L个位平面,并因此具有从最低有效位平面至最高有效位平面的位B1-BL
接下来,位平面扫描解码执行一个填充操作,依据编码器114所使用的扫描顺序以及比特预算BBEU,来将每一选择的像素的每一颜色通道的已编码的颜色通道数据填充至该选择的像素的每一颜色通道的解码的颜色通道数据的部分位。因此,一个选择的像素的解码的颜色通道数据的部分位被该选择的像素的已编码的颜色通道数据覆写,并且该选择的像素的已解码的颜色通道数据的剩余部分(即不太重要的位)用0填充。当执行位平面扫描解码时,解码器124可遵循编码单元114使用的相同的扫描顺序以及相同的比特预算,来顺序地执行比特预算配置以及位填充程序。更具体来说,依据扫描顺序以及比特预算BBEU,解码器124所执行的位平面扫描解码了解属于一个选择的像素的一个相同颜色通道的颜色通道数据的位的数量,并且了解这些位是从哪些位置提取的。因此,位平面扫描解码也依据扫描顺序为每一选择的像素的每一颜色通道的每一颜色通道数据配置比特预算。在这样的方式下,解码器124所执行的位平面扫描解码能够区分不同的选择的像素的已编码的颜色通道数据(即提取的位),并且储存已编码的颜色通道数据(即提取的位)至适当的位置,以作为不同的选择的像素的已解码的颜色通道数据,其中不同的选择的像素的剩余位是没有被相对应的已编码颜色通道数据(即提取位)覆写/填充的,这些剩余位直接设置为0。
如图14的右下部分所示,目标像素P1-PM的已解码像素数据可以在位平面扫描解码的比特配置程序以及比特填充程序之后获得。在一个示范性设计中,目标像素P1-PM的已解码像素数据可以直接输出作为编码单元EU’的解码结果。因此编码单元EU’的解码结果是由目标像素P1-PM组成,包含依据已编码的像素数据的部分位以及部分直接填充0的位;每一像素包含N颜色通道CH1-CHN的颜色通道数据;并且每一颜色通道数据对应至L个位平面,并因此具有从最低有效位平面至最高有效位平面的位B1-BL
在另一个举例说明中,解码端处理的附加的像素数据增强了编码单元EU’的解码结果的准确性。在这样的情况下,当在编码端的位平面扫描编码直接提取每一选择的像素的像素数据的部分位作为选择的像素的已编码的像素数据(即在编码段没有执行取整运算(roundingoperation))时,位平面扫描编码是一个有损的压缩算法。在这个实施例中,解码端直接用0设置任何选择的像素的剩余位,这些剩余位是没有被相对应的已编码的颜色通道数据(即,提取位)覆写/填充的。为了降低编码端的原始编码单元EU以及解码端的重新构建的编码单元EU’之间的误差,位平面扫描解码进一步在执行位填充操作之后针对选择的像素的每一解码的颜色通道数据执行取整运算,因此在执行了用选择的像素的已编码的像素数据填充选择的像素的已解码像素数据的部分位的操作之后,调整选择的像素的剩余位中的一个。如图14所示,针对每一颜色通道数据,与最后填充位相邻的第一剩余位改变为1。更具体来说,考量到一个颜色通道的一个像素的颜色通道数据,当位平面扫描解码的填充操作最后填充的位是位于在位平面k(1<k≤L)时,位平面扫描解码的取整操作将位于位平面(k-1)的一个位的二进制值从0改变为1。在这个例子中,编码单元EU’的目标像素的最后的已解码像素数据是在取整操作执行之后产生。因此编码单元EU’的解码结果是由目标像素P1-PM组成,目标像素P1-PM具有部分位是依据已编码的像素数据设置的,部分位是直接用0填充的,部分位是取整为1的;每一像素具有N个颜色通道CH1-CHN的颜色通道数据;并且每一颜色通道数据对应至L个位平面,因此具有从最低有效位平面至最高有效位平面的位B1-BL
请参考图15,是依据第二情景的应用至选择的像素的位平面扫描解码的示例图。在这个例子中,图15所示的位平面扫描解码是图8所示的位平面扫描编码的逆程序。因此,待解码的编码单元EU’内的所有目标像素是待解码的选择的像素。开始,位平面扫描解码重置待解码的编码单元EU’的所有像素P1’-PM’的已解码像素数据的所有位为0。重置的已解码像素数据由M个重新排序的像素P1’-PM’组成;每一重新排序的像素具有N个颜色通道CH1-CHN的颜色通道数据;并且每一颜色通道数据对应L个位平面,并因此具有从最低有效位平面至最高有效位平面的位B1-BL
在一个举例说明中,在位平面扫描解码的填充操作完成之后,选择的像素(即重新排序的目标像素)P1’-PM’逆重新排序以设置目标像素P1-PM,其中针对选择的像素P1’-PM’的逆重新排序的操作包括应用通道像素逆重新排序(IR)至选择的像素(即重新排序的像素)P1’-PM’的颜色通道CH1-CHN中的至少一个。因此,编码单元EU’的解码结果由目标像素P1-PM组成,包含依据已编码的像素数据的部分位以及部分直接填充0的位;每一像素包含N个颜色通道CH1-CHN的颜色通道数据;并且每一颜色通道数据对应至L个位平面,并因此具有从最低有效位平面至最高有效位平面的位B1-BL
在一个替代设计中,在位平面扫描解码的填充操作完成之后,位平面扫描解码针对选择的像素(即重新排序的目标像素)P1-PM’执行取整运算,以降低原始编码单元EU以及解码端的重新构建的编码单元EU’之间的误差,接着执行重新排序操作来产生目标像素P1-PM的已解码像素数据。因此,编码单元EU’的解码结果由目标像素P1-PM组成,目标像素P1-PM包含依据已编码的像素数据的部分位,部分直接填充0的位以及部分取整为1的填充位;每一像素包含N个颜色通道CH1-CHN的颜色通道数据;并且每一颜色通道数据对应至L个位平面,并因此具有从最低有效位平面至最高有效位平面的位B1-BL
如上所述,编码端的重新排序操作可是一个单独的重新排序操作(像素重新排序或者颜色通道重新排序);或一种混合的重新排序(包含像素重新排序与颜色通道重新排序)。图15是具有像素重新排序的位平面扫描编码的逆程序。然而,将图15所示的位平面扫描解码进行适当的改变,也可以容易地获得具有颜色通道重新排序的位平面扫描编码的逆程序,具有像素重新排序与颜色通道重新排序的位平面扫描编码的逆程序。举例来说,请参考图16,图16是依据第三情景针对选择的像素执行位平面扫描解码的示意图。在这个例子中,图16所示的位平面扫描解码是图10所示的位平面扫描编码的逆程序。在阅读了本发明的上述部分之后,本领域技术人员可容易理解图16所示的位平面扫描解码的具体细节,具体的说明在此省略,以免赘述。
请参考图17,是依据第四情景的针对选择的像素进行位平面扫描解码的示意图。在这个例子中,图17所示的位平面扫描解码是图12所示的位平面扫描编码的逆程序。因此,待解码的选择的像素仅仅是待解码的编码单元EU’内的目标像素的一部分。开始时,位平面扫描解码重新设置编码单元EU’内的所有目标像素P1-PM的已解码像素数据的所有位为0。重置的已解码像素数据是由M个像素P1-PM组成,像素P1-PM的一部分是将用已编码的像素数据填充的选择的像素(即没有斜线所标识的像素);每一像素包含N个颜色通道CH1-CHN的颜色通道数据;并且每一颜色通道数据对应至L个位平面,并因此具有从最低有效位平面至最高有效位平面的位B1-BL
在位平面扫描解码的填充操作完成之后,由于在编码端执行了通道数据丢弃/省略操作,至少一个目标像素的对应于一个颜色通道的颜色通道数据的至少一部分丢失。在一个示范性举例说明中,位平面扫描解码依据相同颜色通道或者其他颜色通道的相邻颜色通道数据进行插值,来恢复至少一个目标像素对应的颜色通道的颜色通道数据的至少一部分。举例来说,具有恢复的对应第一颜色通道的颜色通道数据的选择的像素的数量与具有恢复的对应第二颜色通道的颜色通道数据的选择的像素的数量不同,其中第一颜色通道与第二颜色通道不同。因此,编码单元EU’的解码结果是由目标像素P1-PM组成,目标像素P1-PM的一部分是依据已编码的像素数据设置,一部分是直接用0填充,另一部分是通过插值产生;每一像素包含N个颜色通道CH1-CHN的颜色通道数据;并且每一颜色通道数据对应至L个位平面,并因此具有从最低有效位平面至最高有效位平面的位B1-BL
在一个替代型设计中,在位平面扫描解码的填充操作完成之后,位平面扫描解码针对选择的像素执行取整运算,选择的像素是包含在目标像素P1-PM中,以缩减编码端的初始编码单元EU与解码端重新构建的编码单元EU’之间的误差,并且接着执行插值操作来产生目标像素P1-PM的已解码像素数据。因此,编码单元EU’的解码结果是由目标像素P1-PM组成,目标像素P1-PM的一部分是依据已编码的像素数据设置,一部分是直接用0填充,一部分是取整为1,以及另一部分是通过插值产生;每一像素包含N个颜色通道CH1-CHN的颜色通道数据;并且每一颜色通道数据对应至L个位平面,并因此具有从最低有效位平面至最高有效位平面的位B1-BL
请参考图18,图18是依据第五情景的针对选择的像素执行位平面扫描解码的示意图。在一个例子中,图18所示的位平面扫描解码是图13所示的位平面扫描编码的逆程序。因此,待解码的选择的像素仅仅是待解码的编码单元EU’内的目标像素的一部分。开始时,位平面扫描解码重新设置编码单元EU’内的所有重新排序的目标像素P1’-PM’的已解码像素数据的所有位为0以及/或者重新设置编码单元EU’内的所有重新排序的颜色通道CH1’-CHN’的已解码像素数据的所有位为0。重置的已解码像素数据是由M个像素P1-PM组成,像素P1-PM的一部分是用已编码的像素数据填充的选择的像素(即没有斜线所标识的像素);每一像素包含N个颜色通道CH1-CHN的颜色通道数据;并且每一颜色通道数据对应至L个位平面,并因此具有从最低有效位平面至最高有效位平面的位B1-BL。考量到编码端执行在通道数据丢弃/省略操作之前执行重新排序操作的情况,因此,在位平面扫描解码的填充操作完成之后,接着顺序地执行插值操作与逆重新排序操作,以获得目标像素P1-PM的已解码像素数据。在另一种情况下,当编码端执行在重新排序操作之前执行通道数据丢弃/省略操作时,因此,在位平面扫描解码的填充操作完成之后,接着顺序地执行逆重新排序操作与插值操作,以获得目标像素P1-PM的已解码像素数据。
在一个替代型实施例中,在位平面扫描解码的填充操作完成之后,针对选择的像素执行取整运算,选择的像素是包含在重新排序的目标像素P1-PM以及/或者重新排序的颜色通道CH1’-CHN’中,以缩减编码端的初始编码单元EU与解码端重新构建的编码单元EU’之间的误差,并且接着执行逆重新排序操作与插值操作(或者插值操作与逆重新排序操作)来产生目标像素P1-PM的已解码像素数据。
优选地,取整操作是在解码端执行,从而在编码端不需要取整操作。然而,这并非本发明的一个限制。可替换地,取整操作是在编码端执行,从而在解码端不需要取整操作。换言之,在编码端处理附加的像素数据以增进编码单元EU的编码结果的准确性。具体来说,在编码端的位平面扫描编码在执行位配置程序之后并且在执行位提取程序之前执行取整操作。举例来说,假设比特预算(L-K+1)被配置给一个特定像素的一个颜色通道数据X的位平面L至位平面K,编码端取整操作增加2^(K-2)至X(即位于位平面K-2的一个位增加‘1’),并且选择性地执行距离裁剪(rangeclipping)以避免调整的颜色通道数据X溢出。在一个举例说明中,在编码端取整操作完成处理编码单元EU内的每一选择的像素的每一颜色通道数据之后,其中选择的像素可能是编码单元EU内的所有的目标像素(应用/不应用重新排序)或者仅仅是编码单元EU内的所有的目标像素的一部分(应用/不应用重新排序),执行提取操作,以提取每一选择的像素的像素数据的部分位作为选择的像素的已编码的像素数据。由于在编码端完成了取整操作,在解码端将不再需要执行取整操作。
需注意的是,位平面扫描编码依据扫描顺序为每一选择的像素的每一颜色通道的每一颜色通道数据配置一个比特预算。然而,位平面扫描编码不需要依据扫描顺序编码选择的像素的颜色通道的这些颜色通道数据。因此,编码器114参考扫描顺序来决定从待编码的编码单元EU的每一选择的像素的每一颜色通道的每一颜色通道数据中需要提取多少个位。在完成为每一选择的像素的每一颜色通道的每一颜色通道数据估计配置的比特预算之后,编码器114将遵循一个编码顺序,来完成实际的位提取操作,其中编码顺序与扫描顺序相同或者不同。
如上所述,输出比特流BS_O是从编码器114依据选择的像素的已编码的像素数据产生,上述选择的像素的已编码的像素数据作为目标像素P1-PM的已编码的像素数据。假设,每一像素具有多于一个颜色通道的颜色通道。编码器114遵循编码顺序(与扫描顺序相同)来完成实际位提取操作,TX端的编码器114通过直接输出每一颜色通道数据作为编码的颜色通道数据来产生输出比特流BS_O。从而,输出比特流BS_O是由联系在一起的多个比特流部分组成,其中该多个比特流部分对应多个不同的颜色通道,并且每一比特流部分包括编码单元EU内的相同的颜色通道的所有编码的颜色通道数据。RX端的解码器124解码接收的比特流(即输入比特流BS_I),来重新构建编码单元EU’的像素数据,由于不同颜色通道的比特流部分是联系在一起,解码器124逐一解码比特流部分。因此,包含一个颜色通道的已编码的颜色通道数据的比特流部分需在包含另一个颜色通道的已编码的颜色通道数据的比特流部分被解码之后解码。获得一个像素的已解码像素数据的处理延迟高,将导致图像解码的性能下降。此外,RX端需要一个较大的数据缓存来存储解码包含在联系在一起的比特流部分的已编码的颜色通道数据所获得的所有已解码的颜色通道数据,这将不可避免地增加硬件成本。为了创造具有一个顺序比特流结构的输出比特流BS_0,TX端也需要一个较大的数据缓存,来存储原始颜色通道数据。相似地,图像编码所需的缓存以及处理延迟较高。
为了解决如上所述的问题,编码器114使用一个封包程序(packingprocess),并且解码器124使用一个相对应的解封程序(unpackingprocess)。当编码器114遵循一个编码顺序(与扫描顺序相同或者不同)以完成实际的位提取操作时,TX端的编码器114可能产生具有交错的比特流结构的输出比特流BS_O,该具有交错的比特流结构的输出比特流BS_O是通过适当地分离以及/或者封包编码的颜色通道数据获得的。更进一步的细节如下所述。
当实施封包功能时,编码器114被配置为编码该编码单元EU的像素数据为交错的输出比特流BS_O,该交错的输出比特流包含联系在一起的多个颜色通道比特流片段,其中每一颜色通道比特流片段包含一个颜色通道的颜色通道信息。在第一个示例性交错设计中,相同颜色通道的颜色通道比特流片段具有可变的长度。每一选择的像素的已编码的像素数据包括对应选择的像素的每一颜色通道的一个提取的比特流,并作一个颜色通道比特流片段,从而每一颜色通道比特流片段包含一个颜色通道的颜色通道信息。编码器114执行封包程序,封包程序包含将相同的选择的像素的颜色通道比特流片段联系在一起成为一个比特流部分;并且将不同的选择的像素的比特流部分联系在一起成为输出比特流BS_O。
请参考图19,图19是图1所示的编码器114执行的图像编码以及封包程序的示意图。为了清楚与简洁,假设颜色通道CH1-CHN对应RGB格式。编码器114编码编码单元EU的像素数据为交错的输出比特流BS_O。在这个实施例中,编码单元EU可看做包含多个像素数据部分P1-PN,每一像素数据部分具有相同的数据长度;并且每一像素数据部分P1-PN包括相同的像素的不同的颜色通道数据。因此,像素数据部分P1包括编码单元EU的第一个像素的像素数据,像素数据部分P2包括编码单元EU的第二个像素的像素数据,等等。如图19所示,编码器114编码像素数据部分P1-PN(即相同的编码单元EU的不同像素的像素数据)为比特流部分BS1-BSN,其中比特流部分BS1-BSN是彼此联系的,每一比特流部分BS1-BSN是相同的像素的不同的颜色通道的一组颜色通道比特流片段。具体来说,比特流部分BS1具有颜色通道比特流片段CH_R1、CH_G1、CH_B1;比特流部分BS2具有颜色通道比特流片段CH_R2、CH_G2、CH_B2;并且比特流部分BSN具有颜色通道比特流片段CH_RN、CH_GN、CH_BN。颜色通道比特流片段CH_R1、CH_G1、CH_B1分别包括编码的颜色通道数据R1’、G1’、B1’(即比特流是依据所提出的位平面扫描编码从编码的颜色通道数据R1、G1、B1中获得);颜色通道比特流片段CH_R2、CH_G2、CH_B2分别包括编码的颜色通道数据R2’、G2’、B2’(即比特流是依据所提出的位平面扫描编码从编码的颜色通道数据R2、G2、B2中获得);颜色通道比特流片段CH_RN、CH_GN、CH_BN分别包括编码的颜色通道数据RN’、GN’、BN’(即比特流是依据提出的位平面扫描编码从编码的颜色通道数据RN、GN、BN中获得)。换言之,包含在不同的像素中的像素数据的相同的颜色通道数据的比特流封包为各自的颜色通道比特流片段,并且不同的颜色通道数据的颜色通道比特流片段联系在一起成为最终的比特流(即交错的输出比特流BS_O)。
尽管编码器114编码的像素数据部分P1-PN具有相同的数据长度L1,比特流部分BS1-BSN可能不具有相同的数据长度,其原因为从每一颜色通道数据中提出的部分比特的数量不需要是固定的。
在图19所示的实施例中,每一颜色通道比特流片段是通过编码编码单元EU的固定长度的像素数据部分获得的。因此,颜色通道比特流片段具有可变的数据长度。在一个替代实施例中,最终比特流中的颜色通道比特流片段是具有固定长度的。较佳地,每一固定长度满足解码器124的解码能力,相同的颜色通道的颜色通道比特流具有相同的固定的长度。每一选择的像素的已编码的像素数据包括一个提取的比特流,对应选择的像素的每一颜色通道。编码器114通过将不同的选择的像素的相同的颜色通道的提取的比特流封包为多个颜色通道比特流片段,每一颜色通道比特流片段具有相同的预设大小(即固定的长度);并且将不同的颜色通道的颜色通道比特流片段联系在一起成为交错的输出比特流BS_O。
请参考图20,图20是依据本发明的实施例的具有固定长度的颜色通道比特流片段的交错的比特流BS_I的示意图。在这个实施例中,红色通道的每一颜色通道比特流片段具有固定的长度LR,绿色通道的每一颜色通道比特流片段具有固定的长度LG,并且蓝色通道的每一颜色通道比特流片段具有固定的长度LB。固定的长度LR、LG、LB可以是相同的或者不同的,依据设计需要来选择。
举例来说,每一固定的长度LR、LG、LB是10比特。假设位平面扫描编码产生的编码的颜色通道数据R1’具有6比特,假设位平面扫描编码产生的编码的颜色通道数据R2’具有8比特,假设位平面扫描编码产生的编码的颜色通道数据R3’具有12比特,假设位平面扫描编码产生的编码的颜色通道数据G1’具有15比特,假设位平面扫描编码产生的编码的颜色通道数据G2’具有5比特,假设位平面扫描编码产生的编码的颜色通道数据B1’具有10比特,假设位平面扫描编码产生的编码的颜色通道数据B2’具有7比特,假设位平面扫描编码产生的编码的颜色通道数据R3’具有7比特。因此,颜色通道比特流片段CH_R1是由编码的颜色通道数据R1’(R1’=6比特)以及编码的颜色通道数据R2’(R21’=4比特)的一部分组成;颜色通道比特流片段CH_R2是由编码的颜色通道数据R2’(R22’=4比特)的剩余部分以及编码的颜色通道数据R3’(R31’=6比特)的一部分组成;颜色通道比特流片段CH_G1是由编码的颜色通道数据G1’(G11’=10比特)的一部分组成;颜色通道比特流片段CH_G2是由编码的颜色通道数据G1’(G12’=5比特)的剩余部分以及编码的颜色通道数据G2’(G2’=5比特)组成;颜色通道比特流片段CH_B1是由编码的颜色通道数据B1’(B1’=10比特)组成;并且颜色通道比特流片段CH_B2是由编码的颜色通道数据B2’(B2’=7比特)以及编码的颜色通道数据B3’(B31’=3比特)的一部分组成。
由于针对每一相同的特定颜色通道的每一颜色通道比特流片段需要具有一个固定的片段长度,并且由于针对一个编码单元中的相同的特定颜色通道的编码的颜色通道数据的尺寸可能并非固定的片段长度的整数倍,交错输出比特流BS_O中的至少一颜色通道比特流片段包括不同的编码单元的相同特定颜色通道的颜色通道信息。请参考图20。假设编码单元EU中的所有像素的颜色通道数据R1-RN被转换为编码的颜色通道数据R1’-RN’,其中编码的颜色通道数据R1’-RN’的总量是105比特。由于固定的长度LR是10比特,10个颜色通道比特流片段CH_R1-CH_R10携带100比特的编码的颜色通道数据R1’-RN’,因此在下一颜色通道比特流片段CH_R11中剩余5比特的编码的颜色通道数据R1’-RN’。为了使得颜色通道比特流片段CH_R11以10比特填充,5比特的编码的颜色通道数据属于一个不同编码单元EU”,被包含在颜色通道比特流片段CH_R11中。换言之,颜色通道比特流片段CH_R11具有不同编码单元的颜色通道信息。
如图19/图20所示的图像编码以及封包操作可通过一个使用纯硬件的编码器实现。因此为了放松对缓存的限制,每一组颜色通道比特流片段(例如BS1)是由编码器114在编码单元EU的像素数据的编码部分获得所需的颜色通道比特流片段(例如CH_R1、CH_G1与CH_B1)时,立即产生并输出。举例来说,编码器114被配置为遵循一个不同于扫描顺序的编码顺序来获得实际的位提取操作。
此外,如图19/图20所示的图像编码与封包操作可由执行软件指令的处理器来实现的编码器实施。举例来说,编码器114被配置为遵循一个与扫描顺序相同的编码顺序来获得实际的位提取操作。因此,编码器114逐一地处理编码单元的不同的颜色通道,从而产生并且存储一个颜色通道的所有编码的颜色通道数据。为了获得如图19/图20所示的交错输出比特流BS_O,编码器114所执行的比特流重新排序操作将编码的像素数据分割为多个颜色通道比特流片段并且封包颜色通道比特流片段为输出比特流BS_O。产生具有交错的比特流结构的输出比特流的相同的目的也可实现。
依据编码器114所使用的封包模式,解码器124需要使用一个相同的解封模式。请参考图21,图21是由图1所示的解码器124所执行的图像解码以及解封操作的示意图。在这个实施例中,编码器114产生图19所示的交错输出比特流BS_O。由于比特流部分(即多组颜色通道比特流片段)BS1-BSN是联系在一起的,解码器124逐一应用图像解码(即位平面扫描解码)至比特流片段BS1-BSN。此外,由于颜色通道比特流片段在每一比特流BS1-BSN中联系在一起,解码器224逐一应用图像解码(即位平面扫描解码)至相同比特流部分中的多个颜色通道比特流。如图19所示,每一颜色通道比特流片段CH_R1-CH_RN、CH_G1-CH_GN、CH_B1-CH_BN包括单一像素的一个编码的颜色通道数据。因此,解码器124逐一地产生解码的颜色通道数据R1”、G1”、B1”、R2”、G2”、B2”…RN”、GN”、BN”,其中像素数据部分P1”中连续的解码的颜色通道数据R1”、G1”、B1”是编码单元EU’中的第一个像素的已解码像素数据,其中像素数据部分P1”是从比特流BS1所包含的解码的颜色通道比特流片段CH_R1、CH_G1以及CH_B1产生,连续的解码的颜色通道数据R2”、G2”、B2”是编码单元EU’中的第二个像素的已解码像素数据,其中像素数据部分P2”是从比特流BS2所包含的解码的颜色通道比特流片段CH_R2、CH_G2以及CH_B2产生,连续的解码的颜色通道数据RN”、GN”、BN”是编码单元EU’中的第N个像素的已解码像素数据,其中像素数据部分PN”是从比特流BSN所包含的解码的颜色通道比特流片段CH_RN、CH_GN以及CH_BN产生。由于像素的已解码像素数据是从解码器124顺序地产生,不需要数据缓存来存储两个颜色通道(例如红色通道与绿色通道)的解码的颜色通道数据(例如红色通道与绿色通道)。与传统的需要较大数据缓存来存储解码的颜色通道数据的设计相比较,所提出的解码设计具有宽松的数据缓存需要以及较低的硬件成本。此外,与传统的解码设计相比较,由于缩小了缓存开销,所提出的解码设计具有较低的延迟来获得一个像素的已解码像素数据。用来产生交错输出比特流BS_O的所提出的编码设计明显地也具有较低的数据存储需求以及处理延迟。
如上述所述,由于使用固定的片段长度的要求,每一颜色通道比特流片段是通过多于一个像素的编码颜色通道数据产生的。相似地,当接收到如图20所示的具有交错比特流结构的输入比特流BS_I时,解码器124逐一解码交错输入比特流BS_I中的比特流部分(即多组颜色通道比特流片段),并且逐一解码每一比特流部分中的颜色通道比特流片段。为了获得编码单元EU’中的一个像素的像素数据,由于一个颜色通道的一个固定长度的颜色通道比特流片段包括多于一个像素的编码的颜色通道数据,解码器124需要一个小尺寸数据缓存,来暂时存储解码的颜色通道数据。以交错输入比特流BS_I的解码举例来说,解码器124针对R1’、R21’、G11’、B1’、R22’、R31’、G12’、G2’、B2’、B31’等等逐一产生解码的颜色通道数据。因此,从解码R1’、R21’、G11’、B1’、R22’、R31’获得顺序解码的颜色通道数据被存储。当获得G12’的解码的颜色通道数据时,编码单元EU’的第一个像素的像素数据是输出的,其中R1’、G11’、B1’的解码的颜色通道数据是从数据缓存中读取的。相似的,从解码G2’获得的解码的颜色通道数据也存储。当获得G2’的解码的颜色通道数据时,输出编码单元EU’的第二个像素的像素数据,其中R21’、R22’、G2’的解码的颜色通道数据是从缓存中读出。类推可获得后续的解码以及解封操作。在阅读了图21所示的图像解码操作的以上相关段落之后,本领域技术人员能够理解应用至具有图20所示的交错的比特流结构的交错输入比特流BS_I的图像解码操作的细节,更进一步的细节在此省略,以免赘述。
图22是依据本申请实施例的图像编码方法的流程图。如果可以获得相似的效果,图22所示的步骤不需要依照规定的步骤顺序执行。由图1所示的图像编码装置102执行图像编码方法,并且简单总结如下:
步骤1902:接收一个帧内的一个编码单元内的多个目标像素。
步骤1904:决定一个编码单元内的目标像素的一个比特预算(例如BBEU)。
步骤1906:依据比特预算以及一个扫描顺序针对选择的像素执行位平面扫描编码,其中所有的目标像素选择作为待编码的选择的像素,或者仅仅一部分目标像素选择作为选择的像素。此外,重新排序(例如像素重新排序以及/或者颜色通道重新排序)以及/或者通道数据丢弃/省略可在位平面扫描编码的过程中执行。
步骤1908:产生选择的像素的已编码的像素数据,其中位平面扫描编码提取每一选择的像素的像素数据的部分位作为该选择的像素的已编码的像素数据。
步骤1910:检查是否应该旁路比特流重新排序操作。如果是,至步骤1914,否则,执行步骤1912。
步骤1912:执行比特流重新排序操作来分割已编码的像素数据为颜色通道比特流片段。
步骤1914:封包颜色通道比特流片段为具有交错的比特流结构的输出比特流。
本领域技术人员在阅读过图像编码装置102有关的各个段落之后,能够了解图22所示的每一步骤的具体内容,更进一步的说明在此省略。需注意的是,执行编码端的取证操作能够增强编码准确性,而不需要同时执行解码端的取整操作。
图23是依据本发明的实施例的图像解码方法的流程图。如果可以获得相似的效果,图23所示的步骤不需要依照规定的步骤顺序执行。由图1所示的图像解码装置104执行图像解码方法,并且简单总结如下:
步骤2002:接收具有交错的比特流结构并且对应多个选择的像素的一个输入比特流。
步骤2004:决定一个帧的一个编码单元的多个目标像素的比特预算(例如BBEU)。
步骤2006:依据比特预算以及扫描顺序针对选择的像素执行位平面扫描解码,其中待解码的选择的像素是所有的目标像素,或者待解码的选择的像素仅仅是目标像素的一部分。此外,逆重新排序(例如逆像素重新排序以及/或者逆颜色通道重新排序)以及/或者通道数据插值可以在位平面扫描解码的过程中执行。
步骤2008:产生并且解封选择的像素的已编码的像素数据,其中位平面扫描编码以选择的像素的已编码的像素数据填充每一选择的像素的已解码像素数据的部分位。
本领域技术人员在阅读过图像解码装置104有关的各个段落之后,能够了解图23所示的每一步骤的具体内容,更进一步的说明在此省略。需注意的是,执行解码端的取证操作能够增强解码准确性,而不需要同时执行编码端的取整操作。
本领域技术人员可容易地理解基于本发明的教导的各种变型与替换。因此以上说明并非用来限制本发明的范围。本发明所保护的范围以权利要求书为准。

Claims (32)

1.一种图像编码方法,包含:
接收一帧内的多个目标像素,其中每一目标像素的像素数据具有对应至少一颜色通道的至少一颜色通道数据;
决定该多个目标像素的一比特预算;并且
针对多个选择的像素依据该比特预算以及一扫描顺序执行位平面扫描编码,并据此产生该多个选择的像素的已编码的像素数据,作为该多个目标像素的编码数据,其中该多个选择的像素是从该多个目标像素中选择的;并且该位平面扫描编码提取每一选择的像素的像素数据的部分位作为该选择的像素的已编码的像素数据。
2.根据权利要求1所述的图像编码方法,其特征在于,所有的目标像素选择作为待编码的选择的像素。
3.根据权利要求2所述的图像编码方法,其特征在于,进一步包含:
重新排序该多个目标像素或者多个颜色通道,来设置该多个选择的像素。
4.根据权利要求1所述的图像编码方法,其特征在于,该多个目标像素的一部分被选择作为该多个选择的像素。
5.根据权利要求4所述的图像编码方法,其特征在于,进一步包含:
在针对该多个选择的像素执行该位平面扫描编码之前,丢弃对应至少一个选择的像素的一个颜色通道的颜色通道数据的一部分。
6.根据权利要求5所述的图像编码方法,其特征在于,每一个具有丢弃的对应第一颜色通道的颜色通道数据的选择的像素的数量与每一个具有丢弃的对应第二颜色通道的颜色通道数据的选择的像素的数量不同,其中该第二颜色通道与该第一颜色通道不同。
7.根据权利要求5所述的图像编码方法,其特征在于,进一步包含:
在执行该丢弃步骤之前,重新排序该多个目标像素或多个颜色通道,来设定该多个选择的像素。
8.根据权利要求4所述的图像编码方法,其特征在于,进一步包含:
在针对该多个选择的像素执行该位平面扫描编码之前,丢弃对应至少一个目标像素的一个颜色通道的颜色通道数据的一部分。
9.根据权利要求8所述的图像编码方法,其特征在于,每一个具有丢弃的对应第一颜色通道的颜色通道数据的目标像素的数量与每一个具有丢弃的对应第二颜色通道的颜色通道数据的目标像素的数量不同,其中该第二颜色通道与该第一颜色通道不同。
10.根据权利要求8所述的图像编码方法,其特征在于,进一步包含:
在执行该丢弃步骤之后,重新排序该多个目标像素或多个颜色通道,来设定该多个选择的像素。
11.根据权利要求1所述的图像编码方法,其特征在于,其中该位平面扫描编码依据该扫描顺序为每一选择的像素的每一颜色通道的每一颜色通道数据配置一个比特预算。
12.根据权利要求11所述的图像编码方法,其特征在于,其中在依据该比特预算提取每一选择的像素的每一颜色通道的每一颜色通道数据的部分位之前,该位平面扫描编码增加一个非零二进制值至该颜色通道数据的一个位,该颜色通道数数据的该位是没有包含在依据该比特预算提取的该部分位中,并且选择性地执行距离裁剪,以避免该颜色通道数据的溢出。
13.根据权利要求1所述的图像编码方法,其特征在于,该扫描顺序包含下面中的至少一个:
在一个选择的像素的一个颜色通道的一个颜色通道数据中,从最高有效位平面至最低有效位平面;
在一个位平面,从第一个选择的像素至最后一个选择的像素;以及
在一个选择的像素,从第一颜色通道至最后一个颜色通道。
14.根据权利要求1所述的图像编码方法,其特征在于,其中每一选择的像素的已编码的像素数据包括一个提取的比特流,该提取的比特流对应该选择的像素的每一颜色通道,并且作为一个颜色通道比特流片段;该图像编码方法进一步包含:
将一个相同的选择的像素的多个颜色通道比特流片段联系在一起成为一个比特流部分;并且
将不同的多个选择的像素的多个比特流部分联系在一起成为一个输出比特流。
15.根据权利要求1所述的图像编码方法,其特征在于,每一选择的像素的已编码的像素数据包括一个提取的比特流,该提取的比特流对应该选择的像素的每一颜色通道;该图像编码方法进一步包含:
将不同的多个选择的像素的一个相同的颜色通道的该提取的比特流封包为多个颜色通道比特流片段,每一颜色通道比特流片段具有一个相同的预定尺寸;并且
将不同的多个颜色通道的多个颜色通道比特流片段联系在一起成为一个输出比特流。
16.一种图像解码方法,包含:
接收一个输入比特流,该输入比特流对应多个选择的像素;
决定一帧内的多个目标像素的一个比特预算,其中该多个选择的像素来自该多个目标像素;并且
依据该比特预算以及一扫描顺序针对该多个选择的像素执行位平面扫描解码,并据此依据该多个选择的像素的已解码的像素数据产生该多个目标像素的已解码的像素数据,其中每一目标像素的已解码的像素数据具有对应至少一个颜色通道的至少一个颜色通道数据,并且该位平面扫描解码至少以该选择的像素的已编码的像素数据填充每一选择的像素的已解码像素数据的部分位。
17.根据权利要求16所述的图像解码方法,其特征在于,该待解码的多个选择的像素是所有的目标像素。
18.根据权利要求17所述的图像解码方法,其特征在于,其中基于该多个选择的像素的已解码的像素数据产生该多个目标像素的已解码像素数据的步骤包含:
针对该多个选择的像素或多个颜色通道执行逆重新排序,以设定该多个目标像素。
19.根据权利要求16所述的图像解码方法,其特征在于,待解码的多个选择的像素是该多个目标像素的一部分。
20.根据权利要求19所述的图像解码方法,其特征在于,其中基于该多个选择的像素的已解码的像素数据产生该多个目标像素的已解码像素数据的步骤包含:
执行插值以恢复对应至少一选择的像素的一个颜色通道的一个颜色通道数据的至少一部分。
21.根据权利要求20所述的图像解码方法,其特征在于,其中每一个具有恢复的对应第一颜色通道的颜色通道数据的选择的像素的数量与每一个具有恢复的对应第二颜色通道的颜色通道数据的选择的像素的数量不同,其中该第二颜色通道与该第一颜色通道不同。
22.根据权利要求20所述的图像解码方法,其特征在于,其中基于该多个选择的像素的已解码的像素数据产生该多个目标像素的已解码像素数据的步骤包含:
在执行该插值之后,针对该多个选择的像素或多个颜色通道执行逆重新排序,以设定该目标像素。
23.根据权利要求19所述的图像解码方法,其特征在于,其中基于该多个选择的像素的已解码的像素数据产生该多个目标像素的已解码像素数据的步骤包含:
执行插值以恢复对应至少一目标像素的一个颜色通道的一个颜色通道数据的至少一部分。
24.根据权利要求23所述的图像解码方法,其特征在于,其中每一个具有恢复的对应第一颜色通道的颜色通道数据的目标像素的数量与每一个具有恢复的对应第二颜色通道的颜色通道数据的目标像素的数量不同,其中该第二颜色通道与该第一颜色通道不同。
25.根据权利要求23所述的图像解码方法,其特征在于,其中基于该多个选择的像素的已解码的像素数据产生该多个目标像素的已解码像素数据的步骤包含:
在执行该插值之前,针对该多个选择的像素或多个颜色通道执行逆重新排序,以设定该目标像素。
26.根据权利要求16所述的图像解码方法,其特征在于,其中该位平面扫描解码依据该扫描顺序为每一选择的像素的每一颜色通道的每一颜色通道数据配置一个比特预算。
27.根据权利要求16所述的图像解码方法,其特征在于,该扫描顺序包含下面中的至少一个:
在一个选择的像素的一个颜色通道的一个颜色通道数据中,从最高有效位平面至最低有效位平面;
在一个位平面,从第一个选择的像素至最后一个选择的像素;以及
在一个选择的像素,从第一颜色通道至最后一个颜色通道。
28.根据权利要求16所述的图像解码方法,其特征在于,该输入比特流是由联系在一起的多个比特流部分组成,每一比特流部分包含仅对应一个选择的像素的信息。
29.根据权利要求16所述的图像解码方法,其特征在于,该输入比特流包含联系在一起的多个不同的颜色通道的多个颜色通道比特流片段,并且一个相同的颜色通道的颜色通道比特流片段具有相同的预定尺寸。
30.根据权利要求16所述的图像解码方法,其特征在于,该位平面扫描解码初始将每一选择的像素的已解码像素数据的所有位重置为一第一二进制值;并且以该选择的像素的已编码的像素数据填充每一选择的像素的已解码像素数据的部分位,该位平面扫描解码进一步执行取整操作来制定一第二二进制值至该选择的像素的已解码像素数据的剩余位中一个。
31.一种图像编码装置,包含:
一输入端口,配置为接收一帧内的多个目标像素,其中每一目标像素的像素数据具有对应至少一颜色通道的至少一颜色通道数据;以及
一编码器,配置为决定该多个目标像素的一比特预算;并且针对多个选择的像素依据该比特预算以及一扫描顺序执行位平面扫描编码,并据此产生该多个选择的像素的已编码的像素数据,作为该多个目标像素的编码数据,其中该多个选择的像素是自该多个目标像素中选择的;并且该位平面扫描编码提取每一选择的像素的像素数据的部分位作为该选择的像素的已编码的像素数据。
32.一种图像解码装置,包含:
一输入端口,配置为接收一个输入比特流,该输入比特流对应多个选择的像素,其中该多个选择的像素是来自一帧内的多个目标像素;以及
一解码器,配置为决定一帧内的多个目标像素的一个比特预算,并且依据该比特预算以及一扫描顺序针对该多个选择的像素执行位平面扫描解码,并据此依据该多个选择的像素的已解码的像素数据产生该多个目标像素的已解码的像素数据,其中每一目标像素的已解码的像素数据具有对应至少一个颜色通道的至少一个颜色通道数据,并且该位平面扫描解码至少以该选择的像素的已编码的像素数据填充每一选择的像素的已解码像素数据的部分位。
CN201480013044.6A 2013-03-08 2014-03-07 依据像素数据执行位平面扫描编码的图像编码方法与装置以及相关的图像解码方法与装置 Active CN105191304B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361774811P 2013-03-08 2013-03-08
US61/774,811 2013-03-08
US14/183,537 2014-02-19
US14/183,537 US9307248B2 (en) 2013-03-08 2014-02-19 Image encoding method and apparatus for performing bit-plane scanning coding upon pixel data and related image decoding method and apparatus
PCT/CN2014/073034 WO2014135112A1 (en) 2013-03-08 2014-03-07 Image encoding method and apparatus for performing bit-plane scanning coding upon pixel data and related image decoding method and apparatus

Publications (2)

Publication Number Publication Date
CN105191304A true CN105191304A (zh) 2015-12-23
CN105191304B CN105191304B (zh) 2018-07-17

Family

ID=51487911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480013044.6A Active CN105191304B (zh) 2013-03-08 2014-03-07 依据像素数据执行位平面扫描编码的图像编码方法与装置以及相关的图像解码方法与装置

Country Status (3)

Country Link
US (1) US9307248B2 (zh)
CN (1) CN105191304B (zh)
WO (1) WO2014135112A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392838A (zh) * 2017-07-27 2017-11-24 郑州云海信息技术有限公司 基于OpenCL的WebP压缩并行加速方法及装置
CN108604436A (zh) * 2016-01-13 2018-09-28 深圳云英谷科技有限公司 用于像素数据重新排序的装置和方法
CN110769211A (zh) * 2019-11-07 2020-02-07 鲁东大学 一种图像栅格数据的传输与存储方法
CN111508409A (zh) * 2019-01-31 2020-08-07 联咏科技股份有限公司 显示面板的驱动装置及其操作方法
CN113747167A (zh) * 2020-05-27 2021-12-03 深圳绿米联创科技有限公司 图像压缩编码方法、装置及电子设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9148672B2 (en) * 2013-05-08 2015-09-29 Mediatek Inc. Method and apparatus for residue transform
US10061537B2 (en) 2015-08-13 2018-08-28 Microsoft Technology Licensing, Llc Data reordering using buffers and memory
US10277904B2 (en) * 2015-08-28 2019-04-30 Qualcomm Incorporated Channel line buffer data packing scheme for video codecs
US10418002B2 (en) * 2016-10-18 2019-09-17 Mediatek Inc. Merged access units in frame buffer compression
US11411989B2 (en) * 2017-04-27 2022-08-09 Arxan Technologies, Inc. Transmitting surreptitious data on an existing communication channel
US10705898B2 (en) * 2017-04-27 2020-07-07 Arxan Technologies, Inc. Transmitting surreptitious data on an existing communication channel
US20190020411A1 (en) * 2017-07-13 2019-01-17 Qualcomm Incorporated Methods and apparatus for efficient visible light communication (vlc) with reduced data rate
US10885871B2 (en) 2018-03-14 2021-01-05 Samsung Display Co., Ltd. Scalable driving architecture for large size displays
US10832632B2 (en) * 2018-03-14 2020-11-10 Samsung Display Co., Ltd. Low power architecture for mobile displays
CN109583255A (zh) * 2018-11-19 2019-04-05 深圳盈达信息科技有限公司 一种扫描装置及其扫描模块
CN111316644B (zh) * 2019-02-21 2022-06-28 上海极清慧视科技有限公司 图像的编码方法、解码方法及所适用的设备、系统
US11327687B2 (en) * 2020-03-18 2022-05-10 Arm Limited Encoding data arrays
US11941895B1 (en) * 2021-04-01 2024-03-26 Endera Corporation Vehicle-based facial recognition system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909811B1 (en) * 1998-03-06 2005-06-21 Canon Kabushiki Kaisha Image processing apparatus and method and storage medium storing steps realizing such method
US20110033126A1 (en) * 2009-08-05 2011-02-10 Sony Corporation Method for improving the performance of embedded graphics coding
CN102396219A (zh) * 2009-06-09 2012-03-28 索尼公司 对于具有稀疏直方图的图像的嵌入式图形编码
CN102396223A (zh) * 2009-06-22 2012-03-28 索尼公司 压缩图形图像和视频的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158681B2 (en) * 1998-10-01 2007-01-02 Cirrus Logic, Inc. Feedback scheme for video compression system
US8170101B2 (en) * 2006-10-27 2012-05-01 Sharp Laboratories Of America, Inc. Methods and systems for low-complexity data compression
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909811B1 (en) * 1998-03-06 2005-06-21 Canon Kabushiki Kaisha Image processing apparatus and method and storage medium storing steps realizing such method
CN102396219A (zh) * 2009-06-09 2012-03-28 索尼公司 对于具有稀疏直方图的图像的嵌入式图形编码
CN102396223A (zh) * 2009-06-22 2012-03-28 索尼公司 压缩图形图像和视频的方法
US20110033126A1 (en) * 2009-08-05 2011-02-10 Sony Corporation Method for improving the performance of embedded graphics coding

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604436A (zh) * 2016-01-13 2018-09-28 深圳云英谷科技有限公司 用于像素数据重新排序的装置和方法
CN108604436B (zh) * 2016-01-13 2024-02-13 云英谷科技股份有限公司 用于像素数据重新排序的装置和方法
CN107392838A (zh) * 2017-07-27 2017-11-24 郑州云海信息技术有限公司 基于OpenCL的WebP压缩并行加速方法及装置
CN107392838B (zh) * 2017-07-27 2020-11-27 苏州浪潮智能科技有限公司 基于OpenCL的WebP压缩并行加速方法及装置
CN111508409A (zh) * 2019-01-31 2020-08-07 联咏科技股份有限公司 显示面板的驱动装置及其操作方法
CN110769211A (zh) * 2019-11-07 2020-02-07 鲁东大学 一种图像栅格数据的传输与存储方法
CN113747167A (zh) * 2020-05-27 2021-12-03 深圳绿米联创科技有限公司 图像压缩编码方法、装置及电子设备

Also Published As

Publication number Publication date
US9307248B2 (en) 2016-04-05
CN105191304B (zh) 2018-07-17
WO2014135112A1 (en) 2014-09-12
US20140254929A1 (en) 2014-09-11

Similar Documents

Publication Publication Date Title
CN105191304A (zh) 依据像素数据执行位平面扫描编码的图像编码方法与装置以及相关的图像解码方法与装置
CN101142821B (zh) 新压缩格式和用其在帧存储器中暂存图像数据的设备
US9373176B2 (en) Image compression method and apparatus for encoding pixel data of frame into interleaved bit-stream, and related image decompression method and apparatus
TWI533668B (zh) 影像資料壓縮與解壓縮方法以及使用該方法的顯示驅動裝置
US10255021B2 (en) Low latency screen mirroring
CN101990095B (zh) 压缩文件生成方法和设备、相关的相机模块和终端
RU2454021C2 (ru) Устройство и способ обработки информации
CN103581678B (zh) 通过使用多个解码器信道来改良解码器性能的方法与系统
CN104376831A (zh) 数据处理装置以及相关数据处理方法
CN109643456A (zh) 图像压缩方法与设备
CN102761738A (zh) 基于混合色度采样率的图像压缩方法和装置
CN102349290A (zh) 扩展动态范围和扩展维数图像信号转换
CN106031168B (zh) 具有减少色彩分辨率的视频流的自适应处理
CN103124350A (zh) 基于rle的图像压缩方法及装置
CN108933961B (zh) 一种根据图像边缘数据控制led显色的方法及系统
TWI487366B (zh) 用於無線hd1.1規範中的圖形模式壓縮的位元流語法
CN108881915B (zh) 基于dsc编码技术视频播放的装置和方法
CN102550009B (zh) 用于彩色图像的联合标量嵌入式图形编码
CN107845358B (zh) 显示器驱动设备和显示器驱动方法
CN102231834A (zh) 一种apng文件在数字电视系统中的处理方法和装置
CN101406034B (zh) 使用限定符水印的压缩方案及使用该压缩方案在帧存储器中临时存储图像数据的装置
WO2017007902A1 (en) Display stream compression pixel format extensions using subpixel packing
US20110242112A1 (en) Display device and driving circuit thereof
CN105323589B (zh) 应用于视频系统的编码/解码方法及编码/解码装置
US10002586B1 (en) Compression of display data stored locally on a GPU

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant